CN114915830A - 一种利用手机麦克风实现wifi可视设备音视频合成的方法 - Google Patents

一种利用手机麦克风实现wifi可视设备音视频合成的方法 Download PDF

Info

Publication number
CN114915830A
CN114915830A CN202210629856.XA CN202210629856A CN114915830A CN 114915830 A CN114915830 A CN 114915830A CN 202210629856 A CN202210629856 A CN 202210629856A CN 114915830 A CN114915830 A CN 114915830A
Authority
CN
China
Prior art keywords
mobile phone
image
wifi
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210629856.XA
Other languages
English (en)
Inventor
鲁霖
莫木新
王春海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Smic Technology Co Ltd
Original Assignee
Wuhan Smic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Smic Technology Co Ltd filed Critical Wuhan Smic Technology Co Ltd
Priority to CN202210629856.XA priority Critical patent/CN114915830A/zh
Publication of CN114915830A publication Critical patent/CN114915830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供了一种利用手机麦克风实现wifi可视设备音视频合成的方法，包括以下步骤：S1.wifi可视设备和手机通过wifi连接；S2.手机的APP发送获取图像的命令到wifi可视设备；S3.wifi可视设备将图像传输到手机的APP上；S4.在手机的APP上解析出完整的帧图像；S5.通过安卓平台的AudioRecord调用麦克风，获取录制的音频；S6.通过安卓平台的MediaCode分别对图像和声音进行编码；S7.通过安卓平台的MediaMuexr将编码后的声音和图像合成视频；通过利用手机的麦克风采集声音，再与wifi可视设备采集到的图像合成音视频保存，实现了用户能够保存有声音的视频的目的，方便用户查看视频时通过声音获悉此视频记录的内容。

Description

一种利用手机麦克风实现wifi可视设备音视频合成的方法
技术领域
本发明涉及音视频合成技术领域，特别是涉及一种利用手机麦克风实现wifi可视设备音视频合成的方法。
背景技术
当前wifi可视类的产品，如wifi可视耳镜、wifi可视牙镜，通过wifi、app与可视设备建立连接，可视设备上有摄像头，将图像传输到手机app上，在手机上展示图像，同时可将图像保存成视频，方便记录和以后查阅。但是因为可视设备上没有麦克风，也不适合安装麦克风，所以保存的视频都只有图像，没有声音，当想给视频增加一些声音的备注记录时则无法实现。
因此，亟需一种利用手机麦克风实现wifi可视设备音视频合成的方法，能够解决现有wifi可视设备采集的图像没有声音的问题。
发明内容
本发明的目的是提供一种利用手机麦克风实现wifi可视设备音视频合成的方法，以解决上述现有wifi可视设备采集的图像没有声音的问题。
为实现上述目的，本发明提供了如下方案：
本发明提供一种利用手机麦克风实现wifi可视设备音视频合成的方法，包括以下步骤：
S1.wifi可视设备和手机通过wifi连接；
S2.手机的APP发送获取图像的命令到wifi可视设备；
S3.wifi可视设备将图像传输到手机的APP上；
S4.在手机的APP上解析出完整的帧图像；
S5.通过安卓平台的AudioRecord调用麦克风，获取录制的音频；
S6.通过安卓平台的MediaCode分别对图像和声音进行编码；
S7.通过安卓平台的MediaMuexr将编码后的声音和图像合成视频。
优选地，步骤S2中，当需要展示wifi可视设备的实时图像时，手机的APP采集图像，当不需要展示wifi可视设备的实时图像时，手机的APP停止采集图像。
优选地，步骤S3中，传输时将一帧完整的图像拆分成若干个包发送，每个包中添加总包数和当前的包号信息。
优选地，步骤S4中，收到包数据后根据当前包号和总包数，重新组合成一帧完整的图像。
优选地，步骤S5包括：
S51.创建audioRecord；
S52.开始录音；
S53.获取录音数据。
优选地，步骤S6包括：
S61.创建图像编码类，采用H.264编码图像，设置码率、帧间隔；
S62.创建音频编码类，采用aac编码，设置采样率、声道数、码率；
S63.视频编码，输入原始图像数据，一帧图像对应的时长；
S64.音频编码，输入原始pcm音频数据，音频数据对应的时长。
优选地，步骤S7包括：
S71.创建视频合成类，封装为mp4格式的视频；
S72.封装声音和图像；
S73.最终将合成的视频，保存到指定路径。
本发明相对于现有技术取得了以下有益技术效果：
本发明提供的一种利用手机麦克风实现wifi可视设备音视频合成的方法，包括以下步骤：S1.wifi可视设备和手机通过wifi连接；S2.手机的APP发送获取图像的命令到wifi可视设备；S3.wifi可视设备将图像传输到手机的APP上；S4.在手机的APP上解析出完整的帧图像；S5.通过安卓平台的AudioRecord调用麦克风，获取录制的音频；S6.通过安卓平台的MediaCode分别对图像和声音进行编码；S7.通过安卓平台的MediaMuexr将编码后的声音和图像合成视频；通过利用手机的麦克风采集声音，再与wifi可视设备采集到的图像合成音视频保存，实现了用户能够保存有声音的视频的目的，方便用户查看视频时通过声音获悉此视频记录的内容。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种利用手机麦克风实现wifi可视设备音视频合成的方法流程框图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种利用手机麦克风实现wifi可视设备音视频合成的方法，以解决现有wifi可视设备采集的图像没有声音的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例提供一种利用手机麦克风实现wifi可视设备音视频合成的方法，如图1所示，包括以下步骤：
S1.wifi可视设备和手机通过wifi连接；
在手机设置中的wifi连接界面，连接wifi可视设备释放出的wifi热点，建立通信连接，用于建立后续的图像和命令传输通道；
S2.手机的APP发送获取图像的命令到wifi可视设备；
由于wifi可视设备的电池容量有限，摄像头采集图像时会消耗大量的电能，因此通过手机的APP控制在需要展示wifi可视设备的实时图像时，才需要采集图像，不需要展示wifi可视设备的实时图像时，停止采集图像，以减少对电量的消耗，提升设备的电池使用时间和寿命；
S3.wifi可视设备将图像传输到手机的APP上；
因wifi可视设备采集到的图像比较大，所以需要对图像进行压缩和分包处理；将一帧完整的图像拆分成若干个包发送，每个包中添加总包数和当前的包号信息；
S4.在手机的APP上解析出完整的帧图像；
收到包数据后根据当前包号和总包数，重新组合成一帧完整的图像；
S5.通过安卓平台的AudioRecord调用麦克风，获取录制的音频；
具体为：
S51.创建audioRecord；
audioRecord＝new AudioRecord(MediaRecorder.AudioSource.MIC,
16000,
AudioFormat.CHANNEL_IN_MONO,
AudioFormat.ENCODING_PCM_16BIT,
2560)；
其中，参数MediaRecorder.AudioSource.MIC代表通过手机麦克风采集声音数据；
参数16000代表音频的采样率1秒钟16000次；
参数AudioFormat.CHANNEL_IN_MONO代表单声道采集声音数据；
参数AudioFormat.ENCODING_PCM_16BIT代表一次采集的声音数据用16bit表示；
参数2560代表数据的缓存区域大小是2560字节；
S52.开始录音；
audioRecord.startRecording()；
S53.获取录音数据；
audioRecord.read(buffer,0,buffer.length)；
S6.通过安卓平台的MediaCode分别对图像和声音进行编码；
具体为：
S61.创建图像编码类，采用H.264编码图像，设置码率、帧间隔；
int colorFormat＝MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar；
MediaFormat mediaFormat＝MediaFormat.createVideoFormat(
MediaFormat.MIMETYPE_VIDEO_AVC,width,height)；
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,colorFormat)；
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE,bitRate)；
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE,frameRate)；
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL,6)；
MediaCodec mediaCodec＝MediaCodec.createEncoderByType(
MediaFormat.MIMETYPE_VIDEO_AVC)；
mediaCodec.configure(mediaFormat,null,null,
MediaCodec.CONFIGURE_FLAG_ENCODE)；
S62.创建音频编码类，采用aac编码，设置采样率、声道数、码率；
MediaCodec mAudioCodec＝MediaCodec.createEncoderByType(
MediaFormat.MIMETYPE_AUDIO_AAC)；
MediaFormat audioFormat＝MediaFormat.createAudioFormat(
MediaFormat.MIMETYPE_AUDIO_AAC,sampleRate,channel)
audioFormat.setInteger(MediaFormat.KEY_BIT_RATE,BIT_RATE)；
audioFormat.setInteger(MediaFormat.KEY_AAC_PROFILE,
MediaCodecInfo.CodecProfileLevel.AACObjectLC)；
audioFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE,MAX_INOUT_SIZE)；
mAudioCodec.configure(audioFormat,null,null,
MediaCodec.CONFIGURE_FLAG_ENCODE)；
S63.视频编码，输入原始图像数据，一帧图像对应的时长；
ByteBuffer inputBuffer＝mediaCodec.getInputBuffer(inputBufferIndex)；
inputBuffer.clear()；
byte[]input＝VideoFormatUtils.getNV12(colorFormat,getSize(bitmap.getWidth()),
getSize(bitmap.getHeight()),bitmap)；
ByteBuffer inputBuffer＝mediaCodec.getInputBuffer(inputBufferIndex)；
inputBuffer.clear()；
inputBuffer.put(input)；
mediaCodec.queueInputBuffer(inputBufferIndex,0,input.length,ptsUsec,0)；
S64.音频编码，输入原始pcm音频数据，音频数据对应的时长；
int buffIndex＝mAudioCodec.dequeueInputBuffer(0)；
ByteBuffer byteBuffer＝mAudioCodec.getInputBuffer(buffIndex)；
byteBuffer.clear()；
byteBuffer.put(pcmBuffer)；
mAudioCodec.queueInputBuffer(buffIndex,0,buffSize,mPresentationTimeUs,0)；
S7.通过安卓平台的MediaMuexr将编码后的声音和图像合成视频；
具体为：
S71.创建视频合成类，封装为mp4格式的视频；
MediaMuxer mediaMuxer＝new MediaMuxer(filePath,
MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)；
S72.封装声音和图像；
ByteBuffer outputBuffer＝mAudioCodec.getOutputBuffers()[outputBufferIndex]；
outputBuffer.position(bufferInfo.offset)；
outputBuffer.limit(bufferInfo.offset+bufferInfo.size)；
mediaMuxer.writeSampleData(mAudioTrackIndex,outputBuffer,bufferInfo)；
ByteBuffer outputBuffer＝mediaCodec.getOutputBuffer(encoderStatus)；outputBuffer.position(bufferInfo.offset)；
outputBuffer.limit(bufferInfo.offset+bufferInfo.size)；
mediaMuxer.writeSampleData(mTrackIndex,outputBuffer,bufferInfo)；
S73.最终将合成的视频，保存到指定路径。
本发明应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：包括以下步骤：
S1.wifi可视设备和手机通过wifi连接；
S2.手机的APP发送获取图像的命令到wifi可视设备；
S3.wifi可视设备将图像传输到手机的APP上；
S4.在手机的APP上解析出完整的帧图像；
S5.通过安卓平台的AudioRecord调用麦克风，获取录制的音频；
S6.通过安卓平台的MediaCode分别对图像和声音进行编码；
S7.通过安卓平台的MediaMuexr将编码后的声音和图像合成视频。
2.根据权利要求1所述的利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：步骤S2中，当需要展示wifi可视设备的实时图像时，手机的APP采集图像，当不需要展示wifi可视设备的实时图像时，手机的APP停止采集图像。
3.根据权利要求2所述的利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：步骤S3中，传输时将一帧完整的图像拆分成若干个包发送，每个包中添加总包数和当前的包号信息。
4.根据权利要求3所述的利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：步骤S4中，收到包数据后根据当前包号和总包数，重新组合成一帧完整的图像。
5.根据权利要求4所述的利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：步骤S5包括：
S51.创建audioRecord；
S52.开始录音；
S53.获取录音数据。
6.根据权利要求5所述的利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：步骤S6包括：
S61.创建图像编码类，采用H.264编码图像，设置码率、帧间隔；
S62.创建音频编码类，采用aac编码，设置采样率、声道数、码率；
S63.视频编码，输入原始图像数据，一帧图像对应的时长；
S64.音频编码，输入原始pcm音频数据，音频数据对应的时长。
7.根据权利要求6所述的利用手机麦克风实现wifi可视设备音视频合成的方法，其特征在于：步骤S7包括：
S71.创建视频合成类，封装为mp4格式的视频；
S72.封装声音和图像；
S73.最终将合成的视频，保存到指定路径。
CN202210629856.XA 2022-06-06 2022-06-06 一种利用手机麦克风实现wifi可视设备音视频合成的方法 Pending CN114915830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210629856.XA CN114915830A (zh) 2022-06-06 2022-06-06 一种利用手机麦克风实现wifi可视设备音视频合成的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210629856.XA CN114915830A (zh) 2022-06-06 2022-06-06 一种利用手机麦克风实现wifi可视设备音视频合成的方法

Publications (1)

Publication Number Publication Date
CN114915830A true CN114915830A (zh) 2022-08-16

Family

ID=82770543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210629856.XA Pending CN114915830A (zh) 2022-06-06 2022-06-06 一种利用手机麦克风实现wifi可视设备音视频合成的方法

Country Status (1)

Country Link
CN (1) CN114915830A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2175961A1 (en) * 1996-05-07 1997-11-08 Chae Woo Lee Wireless accompaniment apparatus
WO2016177296A1 (zh) * 2015-05-04 2016-11-10 腾讯科技（深圳）有限公司 一种生成视频的方法和装置
US20170272784A1 (en) * 2016-03-16 2017-09-21 Xiaomi Inc. Live video broadcasting method and device
WO2017185338A1 (zh) * 2016-04-29 2017-11-02 高翔 音视频文件生成方法及装置
CN111491137A (zh) * 2020-04-27 2020-08-04 孙根海 一种实现无线可视钓鱼的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2175961A1 (en) * 1996-05-07 1997-11-08 Chae Woo Lee Wireless accompaniment apparatus
WO2016177296A1 (zh) * 2015-05-04 2016-11-10 腾讯科技（深圳）有限公司 一种生成视频的方法和装置
US20170272784A1 (en) * 2016-03-16 2017-09-21 Xiaomi Inc. Live video broadcasting method and device
WO2017185338A1 (zh) * 2016-04-29 2017-11-02 高翔 音视频文件生成方法及装置
CN111491137A (zh) * 2020-04-27 2020-08-04 孙根海 一种实现无线可视钓鱼的方法

Similar Documents

Publication Publication Date Title
US7386219B2 (en) Video data recording apparatus and video data recording method
KR100565156B1 (ko) 동화상 데이터의 송신 방법, 송신 장치 및 송신 시스템
CN108847248B (zh) 蓝牙设备音频处理方法、系统、可读存储介质和蓝牙设备
EP0938222A3 (en) Mobile radio telephone and method for operating the same
CN105959717A (zh) 一种基于移动终端的现场直播方法及装置
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
JP4526965B2 (ja) テレビドアホン装置
CN116437116A (zh) 一种音视频调度方法及系统
CN111246331A (zh) 一种无线全景声混音耳机
CN111885412B (zh) Hdmi信号传屏方法及无线传屏器
CN117062034A (zh) 蓝牙数据的传输方法、装置、设备及存储介质
CN101645967B (zh) 一种以自定义格式处理多媒体数据的移动终端及实现方法
CN101763874A (zh) 移动通讯设备与外部设备同步播放声音影像的方法及系统
CN105847957A (zh) 一种基于移动终端的现场直播方法及装置
CN114915830A (zh) 一种利用手机麦克风实现wifi可视设备音视频合成的方法
JPWO2009013958A1 (ja) マルチメディア提供サービス
CN101621482A (zh) 一种语音视频信箱设备及实现方法
CN214413006U (zh) 真无线立体声耳机
CN105120049B (zh) 一种家庭网关及其实现电话录音的方法
KR100231695B1 (ko) 홈오토메이션 시스템의 오디오/비디오 자동응답 제어장치 및 그 제어방법
CN201114207Y (zh) 3d商务信息电话机
CN101009897A (zh) 使用无线终端输出音频数据的设备和方法
JP2002314676A (ja) 録音再生装置
JPWO2009013956A1 (ja) マルチメディア提供サービス
CN101102510A (zh) 便携式图像终端机的音频和视频同步方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination