CN103281510A - 将数码成像装置的数码图像传输至主机的方法 - Google Patents

将数码成像装置的数码图像传输至主机的方法 Download PDF

Info

Publication number
CN103281510A
CN103281510A CN201310100786XA CN201310100786A CN103281510A CN 103281510 A CN103281510 A CN 103281510A CN 201310100786X A CN201310100786X A CN 201310100786XA CN 201310100786 A CN201310100786 A CN 201310100786A CN 103281510 A CN103281510 A CN 103281510A
Authority
CN
China
Prior art keywords
digital image
main frame
forming device
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310100786XA
Other languages
English (en)
Inventor
沈济
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN103281510A publication Critical patent/CN103281510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种将数码图像传输至主机的方法,该方法包括以下步骤:对主机的图形显示分辨率尺寸大小,收集主机视频播放窗口的数据,并向主机发送缩放输入数据(SID),其中SID包括显示、窗口、缩放系数和通过系统驱动级接口相对数码设备的平移偏移数据。数码图像以分辨率不超过主机视频播放窗口的最大分辨率进行传输。大大减少了需要通过狭窄的数据管道传输的数据,只向主机提供那些可见或所需的像素。成像装置通过从主机接收每个帧之间的实时输入来完成这一步骤,并动态计算每个帧,只转发所需像素以实现通过数据链路的最少传输延迟,使高分辨率图像可在主机显示器上实时观看,流畅运行。

Description

将数码成像装置的数码图像传输至主机的方法
【技术领域】
本发明涉及相机视频拍摄、实时视频预览,及超高分辨率相机实时视频预览技术领域。 
【背景技术】
实物文件摄影机和其他数码相机的数字成像传感器越来越具备高分辨率,从2MPixel、5MPixel、10MPixel到30MPixel甚至40MPixei,并会在未来具备更高分辨率。当需要在主机上实时预览从这些相机输入的视频时,几个因素明显限制主机以帧率(fps)测量的视频播放速度。 
参考图1,实物文件摄影机或其他数码相机由嵌入式电子设备系统组成,这些嵌入式电子设备包括CMOS或CCD传感器,它们结合数字信号处理(DSP)处理器、现场可编程门阵列(FPGA)处理器或ARM处理器工作。基于这些处理器的相机能以超高帧率发送高清晰度(HD)视频,如以60fps传送1080P的高清视频。但是,目前面向消费者的高清电视的最高显示分辨率1080P大约只有2MPixel分辨率,而传感器分辨率远远超出1080P分辨率的10倍甚至20倍,并还会不断增加。因此高清电视显示器上显示的视频通常能以60fps传送但无法充分利用相机传感器的高分辨率。 
数码相机输入的实时视频传输到主机上时通常需要使用USB2.0或USB3.0接口,并可以最大传感器分辨率传送全帧图像。然而,实时视频输入通常受限于USB接口的带宽,从而导致视频帧率极低。 
主机显示屏分辨率很可能低于传感器分辨率。过去,无论从传感器输出端接收怎样的图像分辨率,数码相机均直接向主机发送图像。这种陈旧的方法容易堵塞数据链路,并导致在主机显示器上播放视频时帧率较低。 
如今数码相机装置常备有标量软件。图像在相机装置上缩放至一系列预定分辨率。图像输出一端指向主机或其他显示终端。大尺寸视频帧数据必须通过有限的带宽连接在相机装置和主机之间传输。当帧分辨率高时,将导致在主机上视频播放的传输帧率低得令人无法接受。 
为了克服这样的USB带宽限制,通常采用动态JPEG或H.264编码技术进行图像压缩,然而,鉴于大多数压缩演算法的特性,图像压缩往往导致图像清晰度缺失。相机上的视频编码和主机上的视频解码还可能产生大量处理开销,这会增加成本,并导致播放时的较低帧率。 
【发明内容】
本发明针对以上情况提出了一种可以克服USB带宽限制、只需要转发少量数据,就可以在主机显示器上实时观看,流畅运行的画面的数码图像传输方法。 
本申请公开了一种在数码成像装置和主机之间传输图像的方法,包括以下步骤:在数码成像装置和主机之间以预定帧率传输图像数据;在主机上从数码相机接收视频帧,视频帧在被主机接收之前已在数码成像装置中进行缩放或裁切;并执行命令,以在主机视频播放窗口播放视频帧。 
本系统采用独特的无损数据简化技术。该系统包括运行在相机装置中的实时交互/自适应标量(RTS)。一旦通过USB3.0或USB2.0高速接口(或任何其他高速数据链路)连接即从主机获取输入,并调整数码相机输出的每个视频帧在传输至计算机并播放之前即与主机性能相匹配。输入参数包括:目前电脑显示器的屏幕分辨率/大小(以像素为单位)、当前窗口大小、当前放大倍数,平移偏移值和其他值。 
一种将数码成像装置的数码图像传输至主机的方法,包括:在数码成像装置内:对主机的图形显示分辨率尺寸大小;收集主机视频播放窗口的数据;以及并通过系统驱动级接口从主机向数码相机发送缩放输入数据;以及传输数码图像,其中该图像分辨率不超过主机视频播放窗口的最大分辨率或用户可见的最大像素数。 
当数码成像装置的数码图像传输到主机时,与外围设备交互以使用鼠标、触控板和键盘,确定当前的缩放系数和图像的平移偏移,在数码成像装置保持较高帧率将数码图像传输到主机。 
数码图像在高速数据链路上从数码成像装置传输至主机上,其中,高速数据链路是USB2.0连接、USB3.0连接或有线传输带宽连接中任一连接。 
从数码成像装置向处理器传输图像,图像的分辨率与显示窗口分辨率或显示时用户可见图像的分辨率相等。 
其中缩放输入数据为显示、窗口、缩放系数、平移偏移数据中任一项或其任意一项以上.的组合数据。 
在数码成像装置中处理图像的一种方法,包括使用实时标量软件,用于: 
a.从主机的视频预览应用软件接收标量输入数据; 
b.在数码成像装置中对原始图像帧数据进行缩放和裁切操作,以在数码成像装置内建立缩放帧或裁切帧; 
c.在非暂时性介质内存储缩放帧或裁切帧,以备用于向主机发送。 
一种在数码成像装置和主机之间传输图像的方法,包括: 
在数码成像装置和主机之间以预定分辨率传输图像数据; 
在主机上从数码成像装置接收视频帧,视频帧在被主机接收之前已在数码成像装置中进行缩放或裁切; 
并执行命令,以在主机视频播放窗口播放视频帧。 
其中传输的视频帧为以二十、三十或更高帧数传输的高分辨率。 
RTS对从高分辨率传感器获得的原始图像帧数据的每个帧进行缩放或裁切。对于USB2.0连接还可选择更强化的缩放帧数据简化,因为这种连接上的带宽极其有限。在主机上运行的应用软件整合主机操作系统(OS)、CPU、图形处理单元(GPU)和图形卡共同绘制缩放/处理后的图像帧。 
对主机的图形显示分辨率以像素尺寸分析。收集主机视频播放窗口的数据,并向主机发送缩放输入数据(SID)。SID包括数码相机的显示、窗口、缩放系数和平移偏移数据。数码图像以未压缩或压缩格式传输,分辨率不超过主机视频播放窗口的最大分辨率。 
数码图像通过结合USB2.0连接和USB3.0连接或其中之一或有限的传输带宽连接,在数据链路上从数码成像装置向主机传输。使用该系统的压缩技术可以实现,但不是必需的。数据简化足以完成该系统的目标而无需使用压缩技术。 
在数码成像装置中处理图像的另一种方法包括使用实时标量软件(RTSS)用于:从主机 的视频预览应用软件(VPAS)接收标量输入数据(SID),并在数码成像装置中对原始图像帧数据进行缩放和裁切操作以在数码成像装置内建立缩放帧(SDF)。这样,高分辨率图像可在数据链路上有效传输,数据量大大减少,并实现较高的每秒帧数。 
本发明的有益效果是大大减少了需要通过狭窄的数据管道传输的数据,只向主机提供那些可见或所需的像素。成像装置通过从主机接收每个帧之间的实时输入来完成这一步骤,并动态计算每个帧,只转发所需像素以实现通过数据链路的最少传输延迟,使高分辨率图像可在主机显示器上实时观看,流畅运行。 
【附图说明】
图1是本发明现有技术示意图; 
图2是本发明系统描述框图; 
图3是主机电子结构框图; 
图4是系统处理流程框图; 
图5是系统缩放和剪裁算法框图; 
图 6是系统缩放和剪裁算法框图-2。 
【具体实施方式】
下面将结合本发明附图和具体实施方式对本发明进行进一步的详细说明。 
在数码成像装置和主机之间传输图像,包括以下步骤:在数码成像装置和主机之间以预定帧率传输图像数据;在主机上从数码相机接收视频帧,视频帧在被主机接收之前已在数码成像装置中进行缩放或裁切;并执行命令,以在主机视频播放窗口播放视频帧。 
本系统采用独特的无损数据简化技术。该系统包括运行在相机装置中的实时交互/自适应标量(RTS)。一旦通过USB3.0或USB2.0高速接口(或任何其他高速数据链路)连接即从主机获取输入,并调整数码相机输出的每个视频帧在传输至计算机并播放之前即与主机性能相匹配。输入参数包括:目前电脑显示器的屏幕分辨率/大小(以像素为单位)、当前窗口大小、当前放大倍数,平移偏移值和其他值。 
一种将数码成像装置的数码图像传输至主机的方法,包括:在数码成像装置内:对主机 的图形显示分辨率尺寸大小;收集主机视频播放窗口的数据;以及并通过系统驱动级接口从主机向数码相机发送缩放输入数据;以及传输数码图像,其中该图像分辨率不超过主机视频播放窗口的最大分辨率或用户可见的最大像素数。 
当数码成像装置的数码图像传输到主机时,与外围设备交互以使用鼠标、触控板和键盘,确定当前的缩放系数和图像的平移偏移,在数码成像装置保持较高帧率将数码图像传输到主机。 
数码图像在高速数据链路上从数码成像装置传输至主机上,其中,高速数据链路是USB2.0连接、USB3.0连接或有线传输带宽连接中任一连接。 
从数码成像装置向处理器传输图像,图像的分辨率与显示窗口分辨率或显示时用户可见图像的分辨率相等。 
其中缩放输入数据为显示、窗口、缩放系数、平移偏移数据中任一项或其任意一项以上的组合数据。 
在数码成像装置中处理图像的一种方法,包括使用实时标量软件,用于: 
d.从主机的视频预览应用软件接收标量输入数据; 
e.在数码成像装置中对原始图像帧数据进行缩放和裁切操作,以在数码成像装置内建立缩放帧或裁切帧; 
f.在非暂时性介质内存储缩放帧或裁切帧,以备用于向主机发送。 
一种在数码成像装置和主机之间传输图像的方法,包括: 
在数码成像装置和主机之间以预定分辨率传输图像数据; 
在主机上从数码成像装置接收视频帧,视频帧在被主机接收之前已在数码成像装置中进行缩放或裁切; 
并执行命令,以在主机视频播放窗口播放视频帧。 
其中传输的视频帧为以二十、三十或更高帧数传输的高分辨率。 
RTS对从高分辨率传感器获得的原始图像帧数据的每个帧进行缩放或裁切。对于USB2.0. 连接还可选择更强化的缩放帧数据简化,因为这种连接上的带宽极其有限。在主机上运行的应用软件整合主机操作系统(OS)、CPU、图形处理单元(GPU)和图形卡共同绘制缩放/处理后的图像帧。 
对主机的图形显示分辨率以像素尺寸分析。收集主机视频播放窗口的数据,并向主机发送缩放输入数据(SID)。SID包括数码相机的显示、窗口、缩放系数和平移偏移数据。数码图像以未压缩或压缩格式传输,分辨率不超过主机视频播放窗口的最大分辨率。 
数码图像通过结合USB2.0连接和USB3.0连接或其中之一或有限的传输带宽连接,在数据链路上从数码成像装置向主机传输。使用该系统的压缩技术可以实现,但不是必需的。数据简化足以完成该系统的目标而无需使用压缩技术。 
在数码成像装置中处理图像的另一种方法包括使用实时标量软件(RTSS)用于:从主机的视频预览应用软件(VPAS)接收标量输入数据(SID),并在数码成像装置中对原始图像帧数据进行缩放和裁切操作以在数码成像装置内建立缩放帧(SDF)。这样,高分辨率图像可在数据链路上有效传输,数据量大大减少,并实现较高的每秒帧数。 
以上所述,仅是本发明较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许变更或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰,均属于本发明技术方案的范围内。 

Claims (10)

1.一种将数码成像装置的数码图像传输至主机的方法,其特征在于,包括:
在数码成像装置内:
对主机的图形显示分辨率尺寸大小;
收集主机视频播放窗口的数据;以及
并通过系统驱动级接口从主机向数码相机发送缩放输入数据;以及
传输数码图像,其中该图像分辨率不超过主机视频播放窗口的最大分辨率或用户可见的最大像素数。
2.根据权利要求1所述将数码成像装置的数码图像传输至主机的方法,其特征在于,当数码成像装置的数码图像传输到主机时,与外围设备交互以使用鼠标、触控板和键盘,确定当前的缩放系数和图像的平移偏移。
3.根据权利要求2所述将数码成像装置的数码图像传输至主机的方法,其特征在于,在所述数码成像装置的数码图像传输到主机的过程中,保持高帧率。
4.根据权利要求1所述将数码成像装置的数码图像传输至主机的方法,其特征在于,数码图像在高速数据链路上从数码成像装置传输至主机上,其中,高速数据链路是USB2.0连接、USB3.0连接或有线传输带宽连接中任一连接。
5.根据权利要求1所述将数码成像装置的数码图像传输至主机的方法,其特征在于,从数码成像装置向处理器传输图像,图像的分辨率与显示窗口分辨率或显示时用户可见图像的分辨率相等。
6.根据权利要求1所述的方法,其中缩放输入数据为显示、窗口、缩放系数、平移偏移数据中任一项或其任意一项以上的组合数据。
7.在数码成像装置中处理图像的一种方法,包括使用实时标量软件,用于:
a.从主机的视频预览应用软件接收标量输入数据;
b.在数码成像装置中对原始图像帧数据进行缩放和裁切操作,以在数码成像装置内建立缩放帧或裁切帧;
c.在非暂时性介质内存储缩放帧或裁切帧,以备用于向主机发送。
8.根据权利要求7所述的方法,进一步包括:通过高速数据链路将缩放帧传输至主机。
9.一种在数码成像装置和主机之间传输图像的方法,包括:
在数码成像装置和主机之间以预定分辨率传输图像数据;
在主机上从数码成像装置接收视频帧,视频帧在被主机接收之前已在数码成像装置中进行缩放或裁切;
并执行命令,以在主机视频播放窗口播放视频帧。
10.根据权利要求9所述在数码成像装置和主机之间传输图像的方法,其中传输的视频帧为以二十、三十或更高帧数传输的高分辨率。
CN201310100786XA 2012-11-06 2013-03-26 将数码成像装置的数码图像传输至主机的方法 Pending CN103281510A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261722966P 2012-11-06 2012-11-06
US61/722966 2012-11-06

Publications (1)

Publication Number Publication Date
CN103281510A true CN103281510A (zh) 2013-09-04

Family

ID=49063942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310100786XA Pending CN103281510A (zh) 2012-11-06 2013-03-26 将数码成像装置的数码图像传输至主机的方法

Country Status (2)

Country Link
CN (1) CN103281510A (zh)
WO (1) WO2014074361A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095355A (zh) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 视频显示控制方法及其装置、设备、介质、产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040205546A1 (en) * 1999-03-11 2004-10-14 Robert Blumberg Method and system for viewing scalable documents
JP2005191949A (ja) * 2003-12-25 2005-07-14 Fujitsu Ltd 映像配信装置及び映像閲覧装置
US20060277393A1 (en) * 2005-06-01 2006-12-07 Avermedia Technologies, Inc. Multi-image-source document camera
US20060290792A1 (en) * 2005-06-27 2006-12-28 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US20070174489A1 (en) * 2005-10-28 2007-07-26 Yoshitsugu Iwabuchi Image distribution system and client terminal and control method thereof
CN101049019A (zh) * 2004-10-25 2007-10-03 苹果电脑有限公司 图像缩放方案
CN101931691A (zh) * 2009-06-23 2010-12-29 Lg电子株式会社 移动终端和控制移动终端的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040205546A1 (en) * 1999-03-11 2004-10-14 Robert Blumberg Method and system for viewing scalable documents
JP2005191949A (ja) * 2003-12-25 2005-07-14 Fujitsu Ltd 映像配信装置及び映像閲覧装置
CN101049019A (zh) * 2004-10-25 2007-10-03 苹果电脑有限公司 图像缩放方案
US20060277393A1 (en) * 2005-06-01 2006-12-07 Avermedia Technologies, Inc. Multi-image-source document camera
US20060290792A1 (en) * 2005-06-27 2006-12-28 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US20070174489A1 (en) * 2005-10-28 2007-07-26 Yoshitsugu Iwabuchi Image distribution system and client terminal and control method thereof
CN101931691A (zh) * 2009-06-23 2010-12-29 Lg电子株式会社 移动终端和控制移动终端的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095355A (zh) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 视频显示控制方法及其装置、设备、介质、产品

Also Published As

Publication number Publication date
WO2014074361A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
US10402940B2 (en) Method and system for accelerating video preview digital camera
US10454986B2 (en) Video synchronous playback method, apparatus, and system
CN103347163A (zh) 一种超高清视频图像处理和传送的系统及其方法
CN102801963B (zh) 基于高清数字摄像头监控的电子ptz方法及装置
US20010043282A1 (en) Multi-function USB video capture chip using bufferless data compression
CN102036043A (zh) 视频数据处理方法、装置及视频监控系统
US6256350B1 (en) Method and apparatus for low cost line-based video compression of digital video stream data
KR101611531B1 (ko) 촬영장치 및 촬영영상 제공방법
CN101681243A (zh) 通过通用串行总线接口的视频数据传输
CN110958431A (zh) 多路视频压缩后传系统及方法
US8228362B2 (en) Image capturing device and image delivery method
TWI381733B (zh) 高解析度視訊會議系統
CN103281510A (zh) 将数码成像装置的数码图像传输至主机的方法
CN108184053B (zh) 嵌入式图像处理方法及装置
CN217240799U (zh) 一种数据传输处理装置及车辆
CN102843566A (zh) 一种3d视频数据的通讯方法和设备
CN107318021B (zh) 一种远程显示的数据处理方法及系统
US8208555B2 (en) Image capturing and transmission device and image receiving and reconstruction device
CN202206464U (zh) 一种新型sdi全景摄像机
JP3300228B2 (ja) 画像通信システム
US7656433B2 (en) Web camera
EP3079344B1 (en) Image pickup apparatus, image pickup method and image pickup system
CN113473059A (zh) 一种数据处理方法、智能设备及智能处理系统
CN114666477B (zh) 一种视频数据处理方法、装置、设备及存储介质
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130904