CN109639979B - 一种基于usb的可穿戴设备传输方法 - Google Patents
一种基于usb的可穿戴设备传输方法 Download PDFInfo
- Publication number
- CN109639979B CN109639979B CN201811621371.6A CN201811621371A CN109639979B CN 109639979 B CN109639979 B CN 109639979B CN 201811621371 A CN201811621371 A CN 201811621371A CN 109639979 B CN109639979 B CN 109639979B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- image data
- usb
- transmission method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于USB的可穿戴设备传输方法，包括图像传感器、图像处理单元、控制及编码器DSP和USB接口控制器，具体传输方法如下：获取图像数据→处理图像数据→图像编码→图像打包发送；该种基于USB的可穿戴设备传输方法，通过控制及编码器DSP的设置，利用控制及编码器DSP根据指令对收到的YUV图像数据进行两种尺寸的编码，并提供一种图像数据传输方法，对于小尺寸的720P每次都是整帧发出，大尺寸则均分成N分(N＝6),每次只发送完整帧的1/6，从而能够实现Usb_Video_Class模式进行切换时会出现预览卡顿问题的解决，通过提供一种图像数据传输装置方案，能够实现两种模式传输的UVC设备，从而可以兼顾UVC设备流畅的预览和拍大尺寸照片的需求，提高用户的使用体验。
Description
技术领域
本发明涉及电子设备领域，特别涉及一种基于USB的可穿戴设备传输方法。
背景技术
随着可穿戴设备也是日益发展，配备拍照功能的眼镜也是其中之一。而对于相机功能，支持UVC协议的视频设备类设备是广泛采用的实现方式，它具有开放的标准，拥有维护良好的驱动，多平台支持，接入摄像头后就可以工作等优点。
同时近年来在手机平台上，以照相功能为主要特色的手机也逐渐得到摄影爱好者的青睐。拍照功能中包括ZSL模式(Zero Shutter Lag，零延时拍照)即零延时拍照，当你按下拍照键的瞬间，它会避开快门抖动，界面的卡顿，体验效果较好。(而早期手机工作机制限定，后台要做很多的切换及编码工作，画面会有明显卡顿)目前主流手机都已支持ZSL功能。
而可穿戴设备如配备UVC camera眼镜，会有接入手机作为主机使用需要的场合。手机此时就是UVC的主机端，通过相关程序，像PC上一样显示UVC camera图像。同时这时通过应用可以实现拍照功能，传统的方法是将预览的图像如MJPEG中的当前帧，作为拍照的图像直接保存即可，这种方法快捷方便。但有时想要拍照更大尺寸，比如预览需要720P,拍照需要13M.而对于13M实时高速预览(大于等于30帧)，限于各种硬件条件，UVC传输基本很难达到要求，且不论手机还是PC预览界面不需要太大的尺寸，大多可采用预览模式时用较小的尺寸(如720P)，拍照时切换为大尺寸(如13M),但过程难免涉及到一些命令及UVC硬件本身的工作切换，模式进行切换时会出现预览卡顿等，极大地影响到用户的体验。
因此，如何兼顾流畅的预览和拍下大尺寸照片，有效的解决UVC预览(小尺寸)模式与拍照(大尺寸)模式切换时的卡顿问题，就成为本领域技术人员亟待解决的问题之一。
发明内容
本发明的主要目的在于提供一种基于USB的可穿戴设备传输方法，可以有效解决背景技术中的问题。
为实现上述目的，本发明提供如下技术方案：一种基于USB的可穿戴设备传输方法，包括图像传感器、图像处理单元、控制及编码器DSP和USB接口控制器，具体传输方法如下：
步骤一、获取图像数据：图像传感器为图像数据获取模块，用于获取图像数据，并发送给图像数据处理单元；
步骤二、处理图像数据：通过图像处理单元处理收到的原始RAW数据，进行3A及各种算法处理后，输出彩色的YUV数据图片，也称为ISP；
步骤三、图像编码：所述控制及编码器DSP根据指令对收到的YUV图像数据进行两种尺寸的编码，包括大尺寸和小尺寸的编码，不同的编码放入不同的buffer缓冲区，为后续的发送做准备；
步骤四、图像打包发送：所述USB接口控制器，最后图像数据经Usb core打包后，经由物理层发给手机或PC等主机；
所述步骤一中采用无驱摄像头作为图像传感器时，图像数据获取模块为感光设备。
所述步骤三中的缓冲区只有两个，小尺寸的720P每次都是整帧发出，拍照用的大尺寸，则可均分成N分(N＝6),需要的时候每次只发送完整帧的1/6。
优选的，所述步骤二中，为得到理想的效果，所述图像处理单元会有一个专门的ISP进行图像的处理，输出具有彩色良好效果的图像数据。
优选的，所述步骤三中的控制及编码器DSP具备resize和fullsize编码及控制功能，且有两个缓冲区可以接受编码的数据buffer1和buffer2。
优选的，所述步骤三中，正常的预览720P，不需要任何改动，而对于fullsize则需要在每次编码的时候，在比如EXIF相关信息中某一字节加入标识位，具体值可以1-6，然后上层应用收到的数据每次都去判断这个位置的标识，没有改动，则直接解码做正常显示，如果有数字，应用程序此时没有拍照动作，则放弃编码，直到收到了take picture动作，则从收到1开始，在一个新的buffer中，开始存放数据，一直累计叠加存放到最后一帧结束，然后将完整的此帧MJPEG数据提取JPEG数据，即为得到的Fullsize拍照JPEG图像。
优选的，所述步骤四中的USB接口控制器能够从两个缓冲区交替的发送图像数据，也可只发送其中一个buffer1的数据。
优选的，所述步骤四中的USB接口控制器增加一个判断，直到收到主机通过usb总线的发送的命令，DSP才会进行fullsize编码，并放入buffer1中，然后USB接口控制器才开始交替读取，发送给主机端，如果没有收到指令，则像普通UVC一样只编码小尺寸720P然后正常发送。
与现有技术相比，本发明具有如下有益效果：该种基于USB的可穿戴设备传输方法，通过控制及编码器DSP的设置，利用控制及编码器DSP根据指令对收到的YUV图像数据进行两种尺寸的编码，并提供一种图像数据传输方法，对于小尺寸的720P每次都是整帧发出，拍照用的大尺寸，则可均分成N分(N＝6),需要的时候每次只发送完整帧的1/6，从而能够实现Usb_Video_Class模式进行切换时会出现预览卡顿问题的解决，通过提供一种图像数据传输装置方案，能够实现两种模式传输的UVC设备，从而可以兼顾UVC设备流畅的预览和拍大尺寸照片的需求，提高用户的使用体验。
附图说明
图1为本发明所述一种基于USB的可穿戴设备传输方法的数据处理流程示意图；
图2为本发明所述一种基于USB的可穿戴设备传输方法对编码后的帧在缓冲区中的存放示意图；
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，本发明公开了一种基于USB的可穿戴设备传输方法，包括图像传感器、图像处理单元、控制及编码器DSP和USB接口控制器，具体传输方法如下：
步骤一、获取图像数据：图像传感器为图像数据获取模块，用于获取图像数据，并发送给图像数据处理单元；
步骤二、处理图像数据：通过图像处理单元处理收到的原始RAW数据，进行3A及各种算法处理后，输出彩色的YUV数据图片，也称为ISP；这里只是画出了图像数据流，而事实ISP与SENSOR的交互等则不是本发明重点，这里不作说明；
步骤三、图像编码：控制及编码器DSP是本发明处理方法的核心，通过控制及编码器DSP根据指令对收到的YUV图像数据进行两种尺寸的编码，包括大尺寸和小尺寸的编码，不同的编码放入不同的buffer缓冲区，为后续的发送做准备；
步骤四、图像打包发送：USB接口控制器，最后图像数据经Usbcore打包后，经由物理层(Phy)发给手机或PC等主机。
步骤一中采用无驱摄像头作为图像传感器时，图像数据获取模块为感光设备(Sensor)。
步骤三中的缓冲区只有两个，小尺寸的720P每次都是整帧发出，拍照用的大尺寸，则可均分成N分(N＝6),需要的时候每次只发送完整帧的1/6。
步骤二中，为得到理想的效果，图像处理单元会有一个专门的ISP进行图像的处理，输出具有彩色良好效果的图像数据。
步骤三中控制及编码器DSP具备resize和fullsize编码及控制功能，且有两个缓冲区可以接受编码的数据buffer1和buffer2。
步骤三中，正常的预览720P，不需要任何改动，而对于fullsize则需要在每次编码的时候，在比如EXIF相关信息中某一字节加入标识位，具体值可以1-6，然后上层应用收到的数据每次都去判断这个位置的标识，没有改动，则直接解码做正常显示，如果有数字，应用程序此时没有拍照动作，则放弃编码，直到收到了take picture动作，则从收到1开始，在一个新的buffer中，开始存放数据，一直累计叠加存放到最后一帧结束，然后将完整的此帧MJPEG数据提取JPEG数据，即为得到的Fullsize拍照JPEG图像。
步骤四中的USB接口控制器能够从两个缓冲区交替的发送图像数据，也可只发送其中一个buffer1的数据。
步骤四中的USB接口控制器增加一个判断，直到收到主机通过usb总线的发送的命令，DSP才会进行fullsize编码，并放入buffer1中，然后USB接口控制器才开始交替读取，发送给主机端，如果没有收到指令，则像普通UVC一样只编码小尺寸720P然后正常发送。
具体地，如图1-2所示，以小尺寸(720P)预览，大尺寸(13M)拍照进行具体实例说明：
图像数据获取模块为感光设备(Sensor)，目前主流大尺寸均为RAW图像输出，为得到理想的效果，会有一个专门的ISP(图像信号处理)进行图像的处理，输出具有彩色良好效果的图像数据(一般为YUV格式)。SENSOR+ISP可以输出大尺寸(13M)YUV数据。
DSP需具备resize和fullsize编码及控制功能，需要有两个缓冲区可以接受编码的数据buffer1、buffer2，首先Sensor+ISPYUV图像流通过MIPI实时输入进来，进行mjpegresize编码，此时编码的方案为每收到一帧数据都进行720P MJPEG编码，放入BUFFER2，同时考虑率到负载，每隔10帧(一般预览帧率设为30帧)去编码full mjpeg数据放buffer1等待发送。编码器可以迅速切换输出不同分辨率的mjpeg,每次第10帧需要编码fullsizemjpeg图像时，考虑时间效率，则此第10帧一般不会再编码为720P，(每帧间隔为30毫秒，预览的720P丢失一帧对于用户体验影响较小)。
然后下一阶段，检测到buffer1有数据，则buffer1数据和buffer2交替通过USB控制器读取，然后通过USB总线发送到主机端，和发送过程和普通的UVC没有区别。Buffer1没有数据，则像普通UVC camera一样，正常的发送720P图像数据即可
由于720P数据是每一帧是一幅完整的图像，而13M fullsize放入buffer1，一次性传输必然会导致预览的图像卡顿，传输过程可分成6份或更多，每次只发此帧数据量的1/6，每次传输大小根据buffer中mjpeg数据大小计算，这样传输带宽不会增加很明显且和720P的帧大小相近，同时由于这样的数据是全尺寸的，需要上层应用拿到数据，不能立刻解码，需要再次合并数据。该方法包括：
正常的预览720P，不需要任何改动，而对于fullsize则需要在每次编码的时候，在比如EXIF相关信息中某一字节(比如第10字节)加入标识位(具体值可以1-6)，然后上层应用收到的数据每次都去判断这个位置的标识，没有改动，则直接解码做正常显示，如果有数字，应用程序此时没有拍照动作，则抛弃，直到收到了take picture动作，则从收到1开始，在一个新的BUFFER中，开始存放数据，一直累计叠加存放到最后一帧(6)结束，然后将完整的此帧MJPEG数据提取JPEG数据，即为得到的Fullsize拍照JPEG(需要从MJPEG中分离)图像。
同时考虑到不拍照也需要不断的发送部分fullsize图像，USB控制器增加一个判断，直到收到主机通过usb总线的发送的命令(可以由ioctl某一暂不用的controlID改为拍照指令)，DSP才会进行fullsize编码，并放入buffer1中，然后USB控制器才开始交替读取，发送给主机端。如果没有收到指令，则像普通UVC一样只编码小尺寸720P然后正常发送。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于USB的可穿戴设备传输方法，包括图像传感器、图像处理单元、控制及编码器DSP和USB接口控制器，其特征在于，具体传输方法如下：
步骤一、获取图像数据：图像传感器为图像数据获取模块，用于获取图像数据，并发送给图像数据处理单元；
步骤二、处理图像数据：通过图像处理单元处理收到的原始RAW数据，进行3A及各种算法处理后，输出彩色的YUV数据图片，也称为ISP；
步骤三、图像编码：所述控制及编码器DSP根据指令对收到的YUV图像数据进行两种尺寸的编码，包括大尺寸和小尺寸的编码，不同的编码放入不同的buffer缓冲区，为后续的发送做准备；
步骤四、图像打包发送：所述USB接口控制器，最后图像数据经Usb core打包后，经由物理层发给手机或PC等主机；
所述步骤一中采用无驱摄像头作为图像传感器时，图像数据获取模块为感光设备；
所述步骤三中的缓冲区只有两个，小尺寸的720P每次都是整帧发出，拍照用的大尺寸，则可均分成N分(N＝6),需要的时候每次只发送完整帧的1/6。
2.根据权利要求1所述的一种基于USB的可穿戴设备传输方法，其特征在于，所述步骤二中图像处理单元会有一个专门的ISP进行图像的处理，输出具有彩色良好效果的图像数据。
3.根据权利要求1所述的一种基于USB的可穿戴设备传输方法，其特征在于，所述步骤三中的控制及编码器DSP具备resize和fullsize编码及控制功能，且有两个缓冲区可以接受编码的数据buffer1和buffer2。
4.根据权利要求1所述的一种基于USB的可穿戴设备传输方法，其特征在于，所述步骤三中，正常的预览720P，不需要任何改动，而对于fullsize则需要在每次编码的时候，在比如EXIF相关信息中某一字节加入标识位，具体值可以1-6，然后上层应用收到的数据每次都去判断这个位置的标识，没有改动，则直接解码做正常显示，如果有数字，应用程序此时没有拍照动作，则放弃编码，直到收到了take picture动作，则从收到1开始，在一个新的buffer中，开始存放数据，一直累计叠加存放到最后一帧结束，然后将完整的此帧MJPEG数据提取JPEG数据，即为得到的Fullsize拍照JPEG图像。
5.根据权利要求1所述的一种基于USB的可穿戴设备传输方法，其特征在于，所述步骤四中的USB接口控制器能够从两个缓冲区交替的发送图像数据，也可只发送其中一个buffer1的数据。
6.根据权利要求1所述的一种基于USB的可穿戴设备传输方法，其特征在于，所述步骤四中的USB接口控制器增加一个判断，直到收到主机通过usb总线的发送的命令，DSP才会进行fullsize编码，并放入buffer1中，然后USB接口控制器才开始交替读取，发送给主机端，如果没有收到指令，则像普通UVC一样只编码小尺寸720P然后正常发送。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811621371.6A CN109639979B (zh) | 2018-12-28 | 2018-12-28 | 一种基于usb的可穿戴设备传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811621371.6A CN109639979B (zh) | 2018-12-28 | 2018-12-28 | 一种基于usb的可穿戴设备传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109639979A CN109639979A (zh) | 2019-04-16 |
| CN109639979B true CN109639979B (zh) | 2020-11-24 |
Family
ID=66078768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811621371.6A Active CN109639979B (zh) | 2018-12-28 | 2018-12-28 | 一种基于usb的可穿戴设备传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109639979B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080177994A1 (en) * | 2003-01-12 | 2008-07-24 | Yaron Mayer | System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows |
| CN101217623B (zh) * | 2007-12-26 | 2012-07-11 | 广东威创视讯科技股份有限公司 | 一种快速手动调焦、对焦方法 |
| CN101777036B (zh) * | 2009-01-09 | 2011-12-14 | 比亚迪股份有限公司 | 一种实现无驱图像数据传输的装置、usb设备和方法 |
| GB0901084D0 (en) * | 2009-01-22 | 2009-03-11 | Trayner David J | Autostereoscopic display |
| KR102139660B1 (ko) * | 2012-07-03 | 2020-07-31 | 삼성전자주식회사 | 시간적 스케일러빌러티를 갖는 비디오 부호화 방법 및 장치, 시간적 스케일러빌러티를 갖는 비디오 복호화 방법 및 장치 |
| US20170272623A1 (en) * | 2014-12-03 | 2017-09-21 | Nec Corporation | Direction control device, direction control method and recording medium |
| CN107087169B (zh) * | 2017-03-22 | 2019-11-12 | 建荣半导体（深圳）有限公司 | 一种压缩方法、uvc视频设备及电子设备 |
| CN108366244A (zh) * | 2018-03-16 | 2018-08-03 | 北京虚拟映画科技有限公司 | 影视图像传输方法及装置 |
-
2018
- 2018-12-28 CN CN201811621371.6A patent/CN109639979B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109639979A (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020063505A1 (zh) | 图像处理方法、系统及计算机可读存储介质 | |
| US20080316331A1 (en) | Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method | |
| US20140111670A1 (en) | System and method for enhanced image capture | |
| TWI606419B (zh) | 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法 | |
| JP2008543203A (ja) | 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ | |
| US7747097B2 (en) | Method for simple hardware implementation of JPEG size limiter | |
| US20090041363A1 (en) | Image Processing Apparatus For Reducing JPEG Image Capturing Time And JPEG Image Capturing Method Performed By Using Same | |
| WO2020063506A1 (zh) | 智能终端、图像处理方法及计算机可读存储介质 | |
| CN105611177A (zh) | 实现全景相机的多个摄像头同时拍摄的方法及全景相机 | |
| CN101690173B (zh) | 用于没有时间延迟地显示所捕获的图像的图像处理设备和方法 | |
| US20130308014A1 (en) | Moving-image capturing apparatus and electronic zoom method for moving image | |
| US20090033760A1 (en) | Apparatus and method for processing image data | |
| JP2001238190A (ja) | 画像処理装置及びその制御処理方法 | |
| JP2005150985A (ja) | 画像情報処理システムおよび画像情報処理方法 | |
| WO2004112396A1 (ja) | 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造 | |
| CN102547086B (zh) | 摄像装置、摄像控制方法及程序产品 | |
| CN109639979B (zh) | 一种基于usb的可穿戴设备传输方法 | |
| JP2013175824A (ja) | 電子カメラ | |
| CN111510629A (zh) | 数据显示方法、图像处理器、拍摄装置和电子设备 | |
| JP2006014298A (ja) | 回転されたイメージを処理するための方法及びマルチメディアプロセッサ | |
| US20060274152A1 (en) | Method and apparatus for determining the status of frame data transmission from an imaging device | |
| WO2021213017A1 (zh) | 一种视频叠加方法、装置及系统 | |
| US20070008325A1 (en) | Method and apparatus providing for high efficiency data capture for compression encoding | |
| JP5906846B2 (ja) | 電子カメラ | |
| JP4266477B2 (ja) | 情報処理装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |