CN102598651B - 动图像处理装置及方法、安装有动图像处理装置的摄像装置 - Google Patents
动图像处理装置及方法、安装有动图像处理装置的摄像装置 Download PDFInfo
- Publication number
- CN102598651B CN102598651B CN201080049361.5A CN201080049361A CN102598651B CN 102598651 B CN102598651 B CN 102598651B CN 201080049361 A CN201080049361 A CN 201080049361A CN 102598651 B CN102598651 B CN 102598651B
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- privileged site
- downscaled images
- interpolation processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 89
- 230000033001 locomotion Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 41
- 239000000872 buffer Substances 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000003795 chemical substances by application Substances 0.000 claims 4
- 238000001914 filtration Methods 0.000 claims 3
- 238000003672 processing method Methods 0.000 claims 1
- 238000004513 sizing Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 21
- 230000006870 function Effects 0.000 description 24
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000005755 formation reaction Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000012856 packing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/053—Detail-in-context presentations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
Abstract
照相机(100)向主机终端(20)输出用于显示到显示器上的动图像。图像取得部(102)取得用摄像元件所拍摄的未加工图像。简易插值处理部(106)对未加工图像进行插值处理。金字塔滤波器部(170)将未加工图像变换成分辨率阶段性地不同的多个缩小图像。图像送出部(150)具有选择部，选择未加工图像中的一部分作为特定部位，并选择多个缩小图像的任一者作为指定缩小图像。所选择的未加工图像的特定部位和指定缩小图像为接受进一步的图像处理而被通信部(108)发送到主机终端。
Description
技术领域
本发明涉及将照相机上的摄像元件所生成的图像发送给主机终端的技术。
背景技术
以往已知有用摄像机拍摄用户的头部等身体的一部分，抽取出眼、口、手等预定的区域，并用其它图像替换该区域而显示于显示器的游戏(例如专利文献1)。此外，还已知有接收摄像机所拍摄的口或手的移动来作为应用的操作指示的用户接口系统。
〔在先技术文献〕
〔专利文献〕
〔专利文献1〕欧州专利申请公开第0999518号说明书
发明内容
〔发明所要解决的课题〕
在上述那样的技术中，为抽取用户的口或手等预定的区域，需要高分辨率的图像。然而，越使摄像机的摄像元件高性能化，想要在摄像机侧将图像压缩后发送给游戏机或个人计算机等主机侧时，压缩处理就越花费时间。因此，存在照相机侧摄像时与主机侧影像输出时之间的延时増大的问题。此外，在将照相机作为用户接口而使用的情况下，还存在延时的増大会显著降低使用便利性的问题。这样，即使摄像机的摄像元件的性能提高，系统整体的性能也可能较差。
本发明是鉴于这样的课题而完成的，其目的在于提供一种在使用高性能的摄像元件的情况下，能抑制从照相机侧向主机侧发送图像时所发生的延时的图像处理技术。
〔用于解决课题的手段〕
本发明的一实施方式是一种动图像处理程序。该程序在动图像处理装置上工作，使动图像处理装置实现如下功能：图像取得功能，取得用摄像元件所拍摄的未加工图像；插值功能，对未加工图像进行插值处理；滤波器功能，将未加工图像变换成分辨率阶段性地不同的多个缩小图像；选择功能，选择未加工图像中的一部分作为特定部位，并选择多个缩小图像的任一者作为指定缩小图像；发送功能，使所选择的未加工图像的特定部位和指定缩小图像为接受进一步的图像处理而发送到主机终端。
根据该方案，从动图像处理装置发送到主机终端的仅是作为未加工图像的一部分的特定部位和指定缩小图像。因此，针对特定部位能够在主机终端侧自由地进行加工，而发送给主机终端侧的发送数据量与发送未加工图像整体时相比减少了。由此，能够既保持主机终端中的图像处理的自由度，又抑制伴随于图像发送的延时。
本发明的另一实施方式也是一种动图像处理程序。该程序一种在主机终端上工作，该主机终端是对摄像装置所拍摄的动图像施以加工后输出到显示器的主机终端，本动图像处理程序使主机终端实现如下功能：接收从摄像元件输出的作为未加工图像的一部分的特定部位、和未加工图像被施以插值处理和缩小处理后的缩小图像的功能；对未加工图像的特定部位进行插值处理的功能；将缩小图像放大到与未加工图像相等的尺寸而变换成等倍图像的功能；将插值处理后的特定部位与等倍图像合成，将分辨率局部性不同的合成图像输出到显示器的功能。
根据该方案，针对摄像元件所拍摄的未加工图像中的特定部位，能够在主机终端侧施以插值处理。因此，能够活用处理能力通常比摄像装置高的主机终端的计算资源来执行高画质的插值处理。此外，针对特定部位以外的部分，是将缩小图像放大来使用的，故能抑制从摄像装置接收的数据量，从而能抑制伴随于图像通信的延时。
当然，将本发明的构成要素及表现形式在方法、系统、计算机程序、存储有计算机程序的记录介质等间相互变换后的方案，作为本发明的方案也是有效的。
〔发明效果〕
通过本发明，能够既抑制从图像处理装置向主机终端的图像通信时所发生的延时，又针对特定部位得到使用了未加工图像的高分辨率的部分图像。
附图说明
图1是表示本发明一实施方式的低延迟照相机系统的整体构成的图。
图2是表示一实施方式的照相机的构成的图。
图3是表示图2的照相机的图像送出部的构成的图。
图4是说明图像送出部的作用的图。
图5是表示主机终端中参与低延迟图像输出的部分的构成的图。
图6是说明低延迟照相机系统的工作的流程图。
图7是说明低延迟照相机系统的工作的流程图。
图8是说明将低延迟照相机系统适用于视频聊天应用时的图像处理的概要的图。
具体实施方式
图1表示本发明一实施方式的低延迟照相机系统10的整体构成。在该系统中，用照相机100拍摄用户6的动图像，在主机终端20施以图像处理后，在显示器4上映出用户的图像，或者介由因特网、LAN(LocalAreaNetwork)等网络12发送到预定的通信目的地。
照相机100是具有CCD(ChargeCoupledDevice)或CMOS(ComplementaryMetalOxideSemiconductor)等摄像元件的数字摄像机，如图所示被设置在显示器4的壳体的上部。显示器4例如是液晶电视、等离子电视、PC显示器等，通常，用户6位于显示器4的前方，由照相机100拍摄用户的全身或一部分。映于显示器4上的像根据系统10中所执行的应用而不同。例如在将系统10作为识别用户6的动作或表情而解释为某种操作指示的用户接口(U1)来使用的情况下，映于显示器4上的像8是用户6的脸部或手等身体的一部分或全身。在将系统10作为视频聊天而使用的情况下，映于显示器4的像8是聊天对手的脸部，用户6自身的像介由网络12而被映于聊天对手的显示器上。
由上述那样的使用方式可知，照相机100设置于显示器4的上部是最佳的。但若只是能够拍摄用户6的全身或一部分，则也可以设置在显示器4的附近以外的位置，例如主机终端20附近或用户周围等。此外，照相机100也可以非单体构成，可以被集成在显示器4的壳体等中。在照相机100中也可以取代摄像元件的使用，而是将模拟图像A/D变换后使用。
主机终端20是具备图像处理功能的个人计算机或游戏装置等计算机终端。主机终端20时序地连续取入用照相机100拍摄用户6而得到的动图像，施以预定的图像处理。在视频聊天应用的情况下，将图像处理后的用户6的图像介由网络12实时地发送给聊天对手。在用户接口应用的情况下，进一步施以镜面处理后实时地输出到显示器4上。所谓镜面处理，是左右反转地生成图像的处理，由此，用户能够以照镜子的感觉进行操作。除上述的图像处理外，主机终端20还能合成用于执行各种应用的菜单、光标等对象图像而使之显示在显示器4上。
在使用以往的照相机的游戏或聊天等应用中，多是照相机侧承担图像的识别处理及压缩处理的功能，用与主机终端相比一般较贫乏的照相机的计算资源的情况下，处理会很花费时间。因此，用户动作的识别将花费时间，或者映于显示器上的图像出现时滞(time-lag)等，经常会损害实时性。照相机中所装配的摄像元件的像素数越増大，该倾向就越显著。
因此，在本实施方式中，在照相机侧准备有分辨率阶段性地不同的多个图像，根据系统所执行的应用的种类而仅将所需分辨率的图像部分从照相机发送到主机终端，以使得在具有足够的计算资源的主机终端中进行高品质化处理。
图2表示本实施方式的照相机100的构成。它们在硬件上能够用CPU(CentralProcessingUnit：中央处理单元)、RAM(RandomAccessMemory：随机存取存储器)、ROM(ReadOnlyMemory：只读存储器)、描绘电路等结构来实现，软件上由发挥数据输入功能、数据保持功能、图像处理功能、描绘功能等诸功能的程序来实现，但在图2中描述了由它们的合作而实现的功能块。因此，这些功能块能够通过硬件、软件的组合而以各种各样的形式实现。
在图2中，为方便说明，还包含有各功能块所处理的图像部分的示意图。
照相机100具有图像取得部102、插值(de-mosaic)部104、图像送出部150、金字塔滤波器部170、以及通信部108。
图像取得部102按预定的定时(timing)(例如60次/秒)读出由CCD或CMOS等摄像元件所曝光的图像。在以下说明中，假定该图像在横方向具有h像素量的宽度。该图像是所谓的RAW图像。图像取得部102在每次RAW图像的横向一行量的曝光结束时将之发送到插值部104和图像送出部150。
插值部104包括具有h像素量的容量的FIFO(FirstInFirstOut：先进先出)缓冲器105和简易插值处理部106。
FIFO缓冲器105被输入RAW图像的横向一行量的像素信息，并保持之直到下一横向一行量的像素被输入到插值部104。简易插值处理部106收到横向两行量的像素时，使用它执行插值(de-mosaic)处理，即，针对各像素，基于其周边像素而对色信息进行插值，生成全彩色图像。如本领域技术人员所公知的那样，该插值处理存在多种方法，但在此进行仅使用横向两行量的像素的简易的插值处理就够了。作为一例，在应计算对应的YCbCr值的像素仅具有G值的情况下，R值采用左右相邻的R值的平均，G值就原样使用该G值，B值采用位于上或下方的B值，这样作为RGB值，将之带入预定的变换式而算出YCbCr值等。这样的插值处理是公知的，故省略更详细的说明。
采用简易的插值处理就足够的理由如下：如后述的那样，在本实施方式中，针对需要高品质图像的部分(以下称为“特定部位”)，主机终端20从照相机100接收RAW图像并施以处理。因此，针对特定部位以外的部分，画质并不重要或者仅用于图像检测等，所以插值后的画质不太会成为问题。作为简易的插值处理的变形例，可以采用基于RGB的四像素来构成一像素的YCbCr值的方法。在该情况下，会得到RAW图像的1/4尺寸的插值后图像，故后述的第1滤波器110就不再需要了。
简易插值处理部106例如如图示那样将横2×纵2的RGB四像素变换成YCbCr彩色信号。然后，由该四像素构成的块被作为1/1插值图像而传送给图像送出部150，并被送到金字塔滤波器部170。
金字塔滤波器部170具有将一个图像阶层化为多个分辨率而输出的功能。金字塔滤波器一般具有与所需分辨率的级别相应的数量的1/4缩小滤波器，在本实施方式中，具有第1滤波器110～第4滤波器140的四阶层的滤波器。各滤波器执行对彼此相邻的4个像素进行双线性(Bilinear)插值而计算四像素的平均像素值的处理。因此，处理后的图像尺寸成为处理前的图像的1/4。
在第1滤波器110的前级，与Y、Cb、Cr信号分别相对应地各配置一个h像素量的FIFO缓冲器112。这些FIFO缓冲器112具有保持横向一行量的YCbCr像素直到下一横向一行量的像素被从简易插值处理部106输出的功能。像素的保持时间是根据摄像元件的行扫描速度而决定的。当被输入横向两行量的像素时，第1滤波器110对横2×纵2的四像素量的Y、Cb、Cr的像素值进行平均。通过反复进行该处理，1/1插值后图像纵横分别变为1/2长度，整体被变换成1/4尺寸。变换后的1/4插值后图像被送到图像送出部150，并被传送到后级的第2滤波器120。
在第2滤波器120的前级，与Y、Cb，Cr信号分别相对应地各配置一个h/2像素量的FIFO缓冲器122。这些FIFO缓冲器114也具有保持横向一行量的YCbCr像素直到下一横向一行量的像素被从第1滤波器110输出的功能。当被输入横向两行量的像素时，第2滤波器120对横2×纵2的四像素量的Y、Cb、Cr的像素值进行平均。通过反复进行该处理，1/4插值后图像纵横分别成为1/2长度，整体被变换成1/16尺寸。变换后的1/16插值后图像被送到图像送出部150，并被送到后级的第3滤波器130。
关于第3滤波器130和第4滤波器140，除其前级分别被配置h/4量的FIFO缓冲器132和h/8量的FIFO缓冲器142以外，反复进行与上述同样的处理。然后，向图像送出部150输出1/64及1/256尺寸的插值后图像。
上述那样的金字塔滤波器如专利文献1所记载那样是公知的，故在本说明书中省略更加详细的说明。
这样，图像送出部150被从金字塔滤波器部170的各滤波器输入每次被缩小为1/4的图像。由此可知，越是通过金字塔滤波器部170内的滤波器，各滤波器的前级所需要的FIFO缓冲器的大小就可以越小。
图像送出部150根据从主机终端20介由通信部108而收到的指示，在从图像取得部102收到的RAW图像、从插值部104收到的1/1插值后图像、以及从金字塔滤波器部170收到的1/4～1/256插值后图像中选出所需要的图像。然后，用这些图像构成包而送往通信部108。
通信部108按照例如USB1.0/2.0等预定的协议将包送出到主机终端20。与主机终端20的通信不限于有线，例如还可以是IEEE802.11a/b/g等无线LAN通信、IrDA等红外线通信。
图3是表示照相机100的图像送出部150的构成的图。图像送出部150具有块写入部152、缓冲器154、块读取部156、编码部158、打包部160、包缓冲器162、以及控制部164。
控制部164基于来自主机终端20的指示，向块写入部152和块读取部156指示将各种图像数据中的某一者作为包而送出。如后所述在本实施方式中，仅被输入到图像送出部150的RAW图像和插值后图像中的一部分被送往主机终端侧。
块写入部152被从图像取得部102输入RAW图像，并被经由插值部104和金字塔滤波器部170输入1/1～1/256尺寸的插值后图像。
块写入部152的尺寸选择部152A基于来自控制部164的指示而将插值后图像的一部分写入缓冲器154。块写入部152如图2中也有所示的那样按每2×2像素地接收图像，并依次写入缓冲器154。此外，块写入部152的剪切块选择部152B针对RAW图像，仅将包含控制部164所指示的特定部位的块写入到缓冲器154。该特定部位例如是用户的脸部或手等需要高画质且高分辨率的图像的部位。关于剪切块选择部152B，将在后面再叙述。
块读取部156按照在缓冲器154上一块量的像素所被准备的顺序读出各图像块，送往编码部158。块写入部152和块读取部156被控制部164调整为同步动作。即，块写入部152的读写是在每次从图像取得部102、插值部104及金字塔滤波器部170输出像素时而进行的，与之相对，块读取部156的读取是按每次一块量的像素被存储到缓冲器154中而进行的。该同步定时是根据摄像元件的曝光速度而决定的。一块的大小优选是符合后级的JPEG编码的8×8像素块。在以下说明中，将RAW图像的块记作Br，将1/1、1/4、1/16、1/64及1/256尺寸的插值后图像的块分别记作B1、B4、B16、B64、B256。
在本实施方式中，并非RAW图像整体或缩小图像整体量的像素备齐后发送给主机终端，而是按块单位送出的，故缓冲器154最大只要具有能存储RAW图像及缩小图像的全部图像块的大小就够了。根据应用的种类不同，只要能储存2～3个图像块即可。这样，减少被缓冲的数据，在每次成块时依次打包传送，所以能削减照相机内的处理所带来的延时。此外，从图像取得部102的像素输出以及从金字塔滤波器部170的像素输出是在每次摄像元件的曝光结束时依次输出像素到块写入部152的，所以在构造上不会发生不同帧的块被写入缓冲器154、或块被按不同的顺序打包发送的情况。
剪切块选择部152B接收从主机终端20发送来的特定部位的位置信息，从该区域选择内含预定像素数大的区域的块作为特定块。
编码部158针对RAW图像以外的缩小图像的图像块执行JPEG等公知的压缩编码，并送到打包部160。打包部160将RAW图像块及编码后的缩小图像的图像块按到达打包部160的顺序打包后写入到包缓冲器162中。通信部108将包缓冲器162内的包按照预定的通信协议传送给主机终端20。
当然，也可以使用LLVC、AVC等其它公知的编码，但优选能够按块单位编码的。此外，还能符合编码地变更块读取部156所读取的块的大小，例如可以按256×256单位的块进行读取和编码。
接下来，使用图4说明图像送出部150的作用。右列S1表示块写入部接收的RAW图像和插值后图像。小正方形表示一像素。但要注意，在RAW图像中是对应于RGB的某一者的一像素值，而在插值后图像中一像素包含YCbCr信号的全部。正方形的稠密度表示被金字塔滤波器间取像素的情况。在块写入部中，仅将所传输来的这些图像中的与控制部164的指示相应的几个图像写入缓冲器。在该例子中，假定RAW图像、1/16及1/64插值后图像被选择。此外，针对RAW图像，仅选择包含特定部位的块。其结果，表示于图中的中央列S2的块读取部从缓冲器读出RAW图像块Br中的4块量、1/16插值后图像块B16、以及1/64插值后图像块B64。在此，要注意实际中并非从块写入部直接将块传送给块读取部，而是在缓冲器储存预定尺寸的块后，块读取部按块单位读取的。
所读出的块在插值后图像块B16、B64被编码处理后如图中的左列S3所示那样与RAW图像块一起被打包。
图5表示主机终端20中的参与本实施方式的低延迟图像输出的部分的构成。这些构成也是在硬件上能由CPU、RAM、ROM、GPU、输入输出控制装置等结构来实现，软件上由发挥数据输入功能、数据保持功能、图像处理功能、描绘功能等诸功能的程序来实现，但在图6中描绘了由它们合作所实现的功能块。因此，这些功能块能够通过硬件、软件的组合而以各种各样的形式实现。
主机终端20包括通信部22、控制部52、图像处理部50及显示控制部54。
控制部52除使操作系统工作而控制图像处理部50的整体动作外，还进行主机终端20所需要的其它控制，例如控制游戏或聊天等各种应用的执行、驱动器的控制、从记录介质读出程序等。
通信部22从照相机100接收各种图像数据，送往图像处理部50。
图像处理部50具有分配部24、高画质插值部28、高品质处理部32、解码部34、放大部36、图像合成部38、图像输出部40、以及特定部位检测部42。
分配部24被从照相机100输入RAW图像的特定部位以及被编码了的缩小图像的块。然后，按照来自控制部52的指示，将RAW图像的图像块送到高画质插值部28，将其它图像块送到解码部34。
高画质插值部28针对RAW图像的特定部位执行插值处理。此处的插值处理与照相机100的简易插值处理部不同，是活用主机终端20的计算资源来执行高画质的插值处理。例如可以为计算1像素的YCbCr图像信号而使用3×3像素以上的RGB值，或使用考虑水平方向和/或垂直方向的像素间的相关程度地修正插值系数这样的已有的或将来所开发的任意算法。这样的插值处理例如在日本特开平7-236147号公报中有所公开。
插值后的图像被送往高品质处理部32。
高品质处理部32将插值后的图像变换成适于视听的更高精度的图像。此处所进行的处理根据应用的种类而有各种各样的方式，例如在视频聊天中大画面地显示脸部的情况下，执行脸部的亮度调整、脸部色修正、眼或嘴角的修正等任意的处理。高品质图像被送往图像合成部38。
另一方面，解码部34接收RAW图像以外的缩小图像的图像块，按JPEG等对压缩图像进行解码。若在照相机100侧没有进行图像压缩，则不需要该解码部34。
特定部位检测部42接收在解码部34中被解码了的缩小图像。然后，按照公知的图像检测手法，确定用户图像中的在应用中特别重要的部位。关于该部位，例如若在视频聊天中，则是用户的脸部，若在UI中，则是眼、嘴角、手足等。所确定的部位的位置信息被介由通信部22而反馈到照相机100。按照该位置信息，从照相机100发送出特定部位周边的RAW图像块，因此，仅被限定的块在高画质插值部中被进行插值处理。
特定部位的检测例如按以下方法来执行。在脸部检测的情况下，仅使用亮度(Y)信号将图像分割成20×20个块，将亮度比较亮且跨越多个块的部分识别为脸部。或者，在未图示的基准图像存储部中预先记录有特定部位(脸部或手等)的基准图像，由未图示的匹配部执行基准图像与输入图像的匹配，来确定相当于用户的脸部或手的区域的图像。在确定脸部区域后，再在其内部通过与各部分的基准图像的匹配来确定相当于眼、鼻、口等的区域。
放大部36接收被解码了的缩小图像(例如1/64)，将之放大到1/1(等倍)尺寸。放大后的图像数据被送往图像合成部38。
图像合成部38将1/1尺寸的低品质图像与特定部位的高品质图像块合成。结果，生成如下图像，即，应用中被重视的特定部位成为非常高的画质、高分辨率，而这之外的部分为低品质、低分辨率。图像输出部40将所生成的合成图像写入帧缓冲器(未图示)中。
显示控制部54生成用于将描绘在帧缓冲器中的图像数据显示在显示器4上的视频信号。
接下来说明主机终端20的作用。从照相机100收到各种图像块的分配部24将RAW图像块分配给高画质插值部28，将这之外的块分配给解码部34。高画质插值部28在与特定部位对应的RAW图像块汇集后，施以高画质的插值处理，变换成YCbCr的彩色图像，进而在高品质处理部32中施以预定的处理而得到高品质的特定部位图像。另一方面，缩小图像的块在解码部34中被进行解码处理后，在放大部36中被放大到1/1尺寸。然后，图像合成部38输出将放大后的缩小图像中的特定部位置换为高品质的特定部位图像后的合成图像。
利用解码后的缩小图像中的Y信号，由特定部位检测部42检测出特定部位。该信息被送到照相机的控制部，用于块写入部152中的RAW图像块的选择。
以上一系列处理按每帧而反复进行。结果，生成特定部位具有非常高的品质的用户动图像。
图6和图7是说明本实施方式的低延迟照相机系统10的整体的动作的流程图。
首先说明图6的照相机侧的动作。图像取得部102从摄像元件收到图像后，RAW图像被送到图像送出部150和插值部104(S10)。插值部104对RAW图像的像素执行比较低画质的插值处理，将插值后的像素送到图像送出部150和金字塔滤波器部170(S12)。在金字塔滤波器部170的各阶层的滤波器中分别实施双线性插值，1/4～1/256尺寸的像素串被输出到图像送出部150(S14)。
图像送出部150的块写入部152按照来自控制部164的指示将缩小图像中的一部分写入缓冲器154(S16)，并针对RAW图像仅选择包含特定部位的图像块写入缓冲器154(S18)。块读取部156在每次缓冲器154内被记录例如8×8个块量的像素时将这些图像块读出，送到编码部158(S20)。在编码部158中被实施预定的编码后(S22)，被打包送往主机终端20(S24)。
接下来说明图7的主机终端侧的动作。分配部24从收自照相机的包中取出各种图像块，送到高画质插值部28或解码部34(S30)。RAW图像块在高画质插值部28中被进行插值处理后(S32)，在高品质处理部32被施以预定的处理而输出到图像合成部38(S34)。另一方面，针对缩小图像块，在解码部34中被解码后(S36)，由特定部位检测部42使用亮度信号检测出特定部位(S38)。该信息被送到照相机100，用于RAW图像的特定块的选择(S40)。此外，解码后的缩小图像被放大部36放大到1/1尺寸后被输出到图像合成部38(S42)。
图像合成部38将特定部位的高精度图像与这之外的放大图像合成(S44)，图像输出部40将合成图像输出到帧缓冲器(S46)。
本实施方式是基于这样的识别的，即，希望映于显示器的用户图像中的脸部或手等特定部位尽可能高画质、高分辨率，而这以外的背景等即使画质比较低也没关系。其实，在视频聊天等应用中，有时反而希望背景图像为低画质。
如上所述，脸部识别只要有亮度信号就够了，所以不需要高画质的插值处理。尽管如此，在以往的照相机系统中，还是进行在照相机侧将进行高画质的插值后的图像再进行数据压缩，使用解压后的图像进行脸部识别这样的非常浪费的多余处理。在本实施方式中，是使用将简易插值后的图像再进行缩小后的图像来进行脸部识别的，故多余的数据很少。另一方面，对于脸部区域，能够从照相机接收RAW图像，使用主机终端20的计算能力来执行高画质的插值。因此，尽管从照相机送往主机终端的数据量较少、延时较小，但与以往的照相机系统相比仍能提高脸部区域的画质。
此外，在以往的照相机系统中，仅有原样发送RAW图像、或者发送在插值后进行了JPEG压缩的图像的选项。在前者的情况下，数据量会増大，故通信频带成为瓶颈，发生延时。在后者的情况下，由于施加非可逆压缩，故后级的画质提高方面存在界限。一般来说，插值是左右图像的画质的处理，非常占用计算能力，故在计算资源有余裕的主机终端侧进行较为有利。在本实施方式中，RAW图像是仅将脸部或手等特定部位发送到主机终端，故发送数据量较少，能抑制延时，同时主机终端侧的利用RAW图像的画质提高的自由度显著増大。
图8是说明将本实施方式的低延迟照相机系统10适用于视频聊天应用时的图像处理的概要的图。在该例子中，假定执行这样的应用程序，即，照相机与主机终端USB连接，检测进行视频聊天的用户的脸部部分，并仅使脸部为高画质地作为高分辨率图像发送到聊天对方的主机终端。
在该应用中，假定主机终端20向照相机100指示了仅发送RAW图像和1/16缩小图像。1/16缩小图像块B16被尺寸选择部152A选择(S50)，并被编码部158编码(S52)。针对RAW图像，块写入部152从主机终端接收特定部位的位置信息(S54)，剪切块选择部152B将使脸部识别的位置信息所确定的区域D向上下左右扩展预定像素数后的范围E作为特定部位块而选中输出(S56)。之所以这样做，是因为在脸部识别中仅肤色部分被识别，但在聊天中却需要头部整体的图像。优选与块的边界相一致地设定该范围。这样所得到的RAW图像的特定部位块与缩小图像块被打包后发送到主机终端20(S58)。
在主机终端20中，RAW图像的特定部位块接受插值处理和高品质处理(S62)，被作为高品质图像而输出(S64)。此外，缩小图像被进行解码处理(S66)，进而被放大到1/1尺寸(S68)。实施将该放大图像中的相当于用户头部的部分用高品质图像进行置换的图像合成(S70)，输出合成图像。
同时，使用缩小图像中的Y信号进行脸部检测(S72)，检测出的脸部的位置信息被反馈到照相机100(S74)，在特定部位块的选择中进行使用。
当然，也可以在视频聊天的实施中总是进行脸部识别的处理，但实用中只要间隔预定时间(例如间隔1秒)地针对多个帧分别执行就够了。因为通常动图像是按每秒60帧以上而输出的，1帧期间用户的头部不会有较大的移动。
如该例这样，如果是视频聊天的应用，则脸部图像最重要，这以外的身体部分、背景等重要度低。因此，从RAW图像中仅剪切出与脸部部分对应的块，利用主机终端侧的充足的计算资源来进行使用了该块的插值处理及高品位化处理，由此得到高画质高品位的脸部图像。同时，针对脸部以外的部分使用压缩图像，从而能削减照相机与主机终端间的传输堵塞而抑制延时。
如以上说明的那样，根据本实施方式，对于需要高画质、高分辨率的部分，从照相机接收RAW图像而在主机终端侧执行高画质的插值处理，而对于这以外的允许低画质、低分辨率的部分，从照相机接收缩小图像并将之放大来使用。其结果，能局部地确保高画质的图像，并抑制照相机内部的处理及照相机与主机间的通信中的延时。
因此，在用户接口的应用中，能实现比以往更迅速的响应。因此，有能高响应性地实现例如基于用户手势(gesture)的图像识别的画面上的光标移动或拨号操作、或者游戏的玩家操作等的可能性。此外，在视频聊天的应用中，能提供移动平滑、延迟少的图像。这样，能够仅选择符合各应用的需求的图像数据来发送。
近年来，即便是廉价的网络摄像头，其像素数也逐渐増大，并且随着摄像元件的CMOS化，其扫描速度也变快。为传送容量大的图像，必须在照相机侧进行高压缩，但若这样，则照相机的处理时间会增加。因此，以往伴随于照相机内的处理及通信的延时正显著化。即，虽然摄像元件的能力和主机终端侧的能力都正在提高，但其之间却成为瓶颈，并未充分发挥它们的能力。然而，在备有具备高计算能力的主机终端的情况下，得到未在照相机中加工的RAW图像更有利于保证画质不降低，并能进行白平衡及曝光的后处理等。
在本实施方式中，简化照相机侧的插值来抑制延时，并针对要进行识别处理等需要高画质、高分辨率的部分，直接从照相机获取RAW图像，在计算能力高的主机终端侧执行插值。因此，能够既抑制延时又充分活用摄像元件的性能。
此外，在照相机侧常备有被金字塔滤波器阶层化了的缩小图像。因此，主机终端能够随时要求执行中的应用所需要的尺寸的缩小图像。例如，若用户是完全静止着的，则自始就固定有RAW图像的特定部位，总是使用它即可，但现实中这样的状况很少。在本实施方式中，接收RAW图像的特定部位，并能够总是使用缩小图像来跟踪用户移动地检测脸部或手的部分的移动，所以能够配合此而适当变更所要求的RAW图像的块。关于所要求的缩小图像的尺寸，可以根据应检测的用户的脸部或手的大小、用户的人数、用户的移动的大小等而选择最佳的尺寸。
此外，在块写入部和块读取部中，能够减小图像处理所需要的缓冲器。这是因为，块写入部在摄像元件每进行一行的像素扫描时，将来自简易插值部、金字塔滤波器部的像素写入缓冲器，而在每存储一块量的像素时，块读取部从缓冲器读出它并打包发送。
此外，在本实施方式的图像处理装置中，无需像以往那样在照相机侧安置识别处理装置等，故能减小硬件。仅对已有的数字摄像机新追加金字塔滤波器部和图像送出部，就能构建低延时的照相机系统。
以上基于实施方式说明了本发明。这些实施方式仅是例示，本领域技术人员当理解可以对其各构成要素或处理的组合进行各种变形，并且这样的变形例也包含在本发明的范围内。
将实施方式中所述的构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、记录介质等间变换后的形式，作为本发明的方案也是有效的。此外，在本说明书中作为流程图而记载的方法除按该顺序时序地执行的处理外，还包括并行地或个别地执行的处理。
在实施方式中，是仅针对RAW图像选择特定的块的，但也可以针对其它的插值后图像选择特定的块。例如在检测手的手势的情况下，以用户的脸部为基准将手的部分决定为特定部位，将手的区域的插值图像发送到主机终端。在用户移动较大的情况下，即便是较粗略的图像、即尺寸小的插值图像，也能进行追踪，而在移动较小的情况下，要使用较细致的图像、即尺寸大的插值图像。这样，通过金字塔滤波器而总是在照相机侧准备有被阶层化了的图像数据，能够根据用户的移动速度或大小而适当改变要求的图像尺寸。同样，例如在用户数增加到两人时，因是监视整体，故能迅速地重新选择RAW图像块。进而，只要用RAW图像处理特定部位，即使是在以往照相机的识别中非常困难的指尖移动那样的微小动作，也能进行检测。
在实施方式中，叙述了照相机侧的插值处理与主机侧相比较简易的情况，但若伴随于插值处理的延时的影响较小，则也可以进行与主机终端侧同等的性能的插值处理。即，在本发明中，只是照相机和主机终端按照不同的算法进行插值处理，并不限定插值处理的算法的种类。由此，在主机终端能够处理两种插值处理后的图像，故输出到显示器的合成图像的构成自由度得到提高。
在实施方式中，叙述了缩小图像整体从照相机发送到主机终端的情况，但也可以仅发送缩小图像的一部分。例如，基于JPEG的特性，可以仅发送1/16的缩小图像的Y信号和1/64的缩小图像的CbCr信号。
在实施方式中，作为主机终端，表示了个人计算机为台式的游戏机，但主机终端也可以是笔记本计算机或便携式游戏机等。在该情况下，优选照相机被安装或集成在显示器的上部等。
在实施方式中，叙述了在主机终端进行用户的脸部或手等的检测的情况，但也可以在照相机侧进行。例如若是脸部识别那样使用亮度信号的识别处理，则认为増加的延时比较少。在该情况下，可以不等待来自主机终端的指示，在照相机侧选择相当于脸部的RAW图像的块而发送到主机终端。
作为应用，说明了在接口中使用用户的手势的情况以及视频聊天的情况。但本发明也可以在施加必要的修正的基础上适用于接收用户身体的一部分或手势作为识别的输入的任意应用、以及利用用户图像的任意应用。
〔标号说明〕
4显示器、6用户、10低延迟照相机系统、20主机终端、22通信部、24分配部、28高画质插值部、32高品质处理部、34解码部、36放大部、38图像合成部、40图像输出部、42特定部位检测部、50图像处理部、52控制部、54显示控制部、100照相机、102图像取得部、104插值部、106简易插值处理部、108通信部、110第1滤波器、120第2滤波器、130第3滤波器、140第4滤波器、150图像送出部、152块写入部、154缓冲器、156块读取部、158编码部、160打包部、162包缓冲器、164控制部、170金字塔滤波器部。
〔工业可利用性〕
通过本发明，能够抑制伴随于从图像处理装置向主机终端的图像通信的延时，并针对特定部位得到利用了未加工图像的高分辨率的部分图像。
Claims (11)
1.一种动图像处理装置，其特征在于，包括：
图像取得部，取得用摄像元件所拍摄的、有必要进行色信息补充的插值处理的未加工图像，
插值处理部，对上述未加工图像进行插值处理，
滤波器部，将上述施加了插值处理的图像变换成分辨率阶段性地不同的多个缩小图像，
发送部，将上述未加工图像的至少一部分和上述施加了插值和滤波处理的图像中的至少其中之一为接受进一步的图像处理而发送到主机终端；以及
选择部，通过使用亮度信号选择上述未加工图像中的一部分作为特定部位，并选择上述多个缩小图像的任一者作为指定缩小图像，
上述发送部发送所选择的上述特定部位和上述指定缩小图像。
2.如权利要求1所述的动图像处理装置，其特征在于，
上述选择部按照上述主机终端所给与的指示而在选择上述未加工图像的特定部位作为图像内应设定为高画质的区域。
3.如权利要求1或2所述的动图像处理装置，其特征在于，
上述选择部按照上述主机终端所给与的指示而选择上述指定缩小图像作为与上述特定部位进行组合的背景图像。
4.如权利要求1或2的任一项所述的动图像处理装置，其特征在于，
上述选择部包括：
写入部，在每次从上述摄像元件输出上述未加工图像的像素值时选择与上述特定部位对应的像素值而写入到缓冲器中，并在每次收到被上述滤波器功能变换后的缩小图像的像素值时选择与上述指定缩小图像对应的像素值而写入到缓冲器中，和
读取部，在每次上述缓冲器内所存储的像素值成为预定大小的图像块时从上述缓冲器读取该图像块。
5.一种摄像装置，其特征在于，
安装有权利要求1所述的动图像处理装置。
6.一种将摄像装置所拍摄的动图像显示于显示器的主机终端，其特征在于，包括：
接收部，从上述摄像装置接收用摄像元件所拍摄的作为有必要进行色信息补充的插值处理的未加工图像的一部分的特定部位、和上述未加工图像被施以插值处理和缩小处理后的缩小图像，
插值部，对上述未加工图像的特定部位施以插值处理，
放大部，将上述缩小图像放大到与上述未加工图像相等的尺寸而作为等倍图像进行输出，
图像合成部，将插值处理后的特定部位与上述等倍图像合成，将分辨率局部性不同的合成图像输出到显示器，以及
特定部位检测部，使用上述缩小图像和亮度信号，检测图像内应设定为高分辨率的特定部位。
7.如权利要求6所述的主机终端，其特征在于，
上述摄像装置的拍摄对象是使用利用了该主机终端的应用的用户，上述特定部位是对上述应用给与操作指示的用户身体的一部分。
8.一种将摄像装置所拍摄的动图像在主机终端施以加工后输出到显示器的摄像系统，其特征在于，
上述摄像装置包括：
图像取得部，取得用摄像元件拍摄的、有必要进行色信息补充的插值处理的未加工图像，
第1插值处理部，对上述未加工图像进行插值处理，
滤波器部，将上述施加了插值处理的图像变换成分辨率阶段性地不同的多个缩小图像，
选择部，通过使用亮度信号选择上述未加工图像中的一部分作为特定部位，并选择上述多个缩小图像的任一者作为指定缩小图像，以及
发送部，将所选择的未加工图像的特定部位和指定缩小图像为接受进一步的图像处理而发送到主机终端；
上述主机终端包括：
接收部，从上述摄像装置接收用摄像元件所拍摄的作为有必要进行色信息补充的插值处理的未加工图像的一部分的特定部位、和上述未加工图像被施以插值处理和缩小处理后的缩小图像，
第2插值处理部，对上述未加工图像的特定部位进行插值处理，
放大部，将上述缩小图像放大到与未加工图像相等的尺寸而作为等倍图像进行输出，
图像合成部，将插值处理后的特定部位与上述等倍图像合成，将分辨率局部性不同的合成图像输出到显示器，以及
特定部位检测部，使用上述缩小图像和亮度信号，检测图像内应设定为高分辨率的特定部位。
9.如权利要求8所述的摄像系统，其特征在于，
上述摄像装置的第1插值处理部的性能比上述主机终端的第2插值处理部低。
10.一种动图像处理方法，其特征在于，
取得用摄像元件所拍摄的、有必要进行色信息补充的插值处理的未加工图像，存储到缓冲器中，
对上述未加工图像进行插值处理，
使用金字塔滤波器将上述施加了插值处理的图像变换成分辨率阶段性地不同的多个缩小图像，
将上述未加工图像的至少一部分和上述施加了插值和滤波处理的图像中的至少其中之一为接受进一步的图像处理而发送到主机终端，
通过使用亮度信号选择上述未加工图像中的一部分作为特定部位，并选择上述多个缩小图像的任一者作为指定缩小图像，其中
所述将上述未加工图像的至少一部分和上述施加了插值和滤波处理的图像中的至少其中之一为接受进一步的图像处理而发送到主机终端包括：
发送所选择的上述特定部位和上述指定缩小图像。
11.一种将摄像装置所拍摄的动图像在主机终端施以加工后输出到显示器的方法，其特征在于，
接收从摄像元件输出的作为有必要进行色信息补充的插值处理的未加工图像的一部分的特定部位、和所述未加工图像被施以插值处理和缩小处理后的缩小图像，
对上述未加工图像的特定部位施以插值处理，
将上述缩小图像放大到与未加工图像相等的尺寸而变换成等倍图像，
将插值处理后的特定部位与上述等倍图像合成，将分辨率局部性不同的合成图像输出到显示器，以及
使用上述缩小图像和亮度信号，检测图像内应设定为高分辨率的特定部位。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009252148A JP5325745B2 (ja) | 2009-11-02 | 2009-11-02 | 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置 |
| JP2009-252148 | 2009-11-02 | ||
| PCT/JP2010/004545 WO2011052114A1 (ja) | 2009-11-02 | 2010-07-13 | 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102598651A CN102598651A (zh) | 2012-07-18 |
| CN102598651B true CN102598651B (zh) | 2016-03-16 |
Family
ID=43921553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080049361.5A Active CN102598651B (zh) | 2009-11-02 | 2010-07-13 | 动图像处理装置及方法、安装有动图像处理装置的摄像装置 |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US9030569B2 (zh) |
| EP (1) | EP2498486B1 (zh) |
| JP (1) | JP5325745B2 (zh) |
| KR (1) | KR101295441B1 (zh) |
| CN (1) | CN102598651B (zh) |
| AU (1) | AU2010313042B9 (zh) |
| BR (1) | BR112012010406B1 (zh) |
| CA (1) | CA2779066C (zh) |
| ES (1) | ES2667497T3 (zh) |
| MX (1) | MX2012005076A (zh) |
| RU (1) | RU2533689C2 (zh) |
| TR (1) | TR201808636T4 (zh) |
| WO (1) | WO2011052114A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5629642B2 (ja) * | 2011-05-19 | 2014-11-26 | 株式会社ソニー・コンピュータエンタテインメント | 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法 |
| JP5701707B2 (ja) * | 2011-07-25 | 2015-04-15 | 株式会社ソニー・コンピュータエンタテインメント | 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法 |
| US9667915B2 (en) * | 2012-12-11 | 2017-05-30 | Avaya Inc. | Method and system for video conference and PC user experience integration |
| KR102014444B1 (ko) | 2013-02-28 | 2019-08-26 | 삼성전자주식회사 | 촬영 장치 및 촬영 장치를 제어하는 방법, 그리고 컴퓨터 판독가능 기록매체 |
| CN103226830B (zh) * | 2013-04-25 | 2016-02-10 | 北京大学 | 三维虚实融合环境中视频纹理投影的自动匹配校正方法 |
| JP6121787B2 (ja) * | 2013-04-26 | 2017-04-26 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置、情報処理システム、および画像データ処理方法 |
| JP6129119B2 (ja) * | 2014-06-04 | 2017-05-17 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理システム、撮像装置、および画像処理方法 |
| JP6218787B2 (ja) * | 2015-09-29 | 2017-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 |
| JP6735506B2 (ja) * | 2016-09-29 | 2020-08-05 | パナソニックＩｐマネジメント株式会社 | 画像生成装置、および、画像処理システム |
| US10692177B2 (en) | 2018-08-10 | 2020-06-23 | Apple Inc. | Image pipeline with dual demosaicing circuit for efficient image processing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1510927A (zh) * | 2002-12-23 | 2004-07-07 | ��˹���´﹫˾ | 按选定分辨率发送感兴趣的数字视频数据选定区域的方法 |
| CN101389014A (zh) * | 2007-09-14 | 2009-03-18 | 浙江大学 | 一种基于区域的分辨率可变的视频编解码方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05328342A (ja) * | 1992-05-26 | 1993-12-10 | Hitachi Ltd | 映像信号処理装置および多地点間映像通信装置 |
| JPH0690444A (ja) * | 1992-09-07 | 1994-03-29 | Nippon Telegr & Teleph Corp <Ntt> | 人物像伝送方式 |
| JPH06153017A (ja) * | 1992-11-02 | 1994-05-31 | Sanyo Electric Co Ltd | 機器の遠隔制御装置 |
| JP2931520B2 (ja) | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| WO1999060522A1 (en) | 1998-05-19 | 1999-11-25 | Sony Computer Entertainment Inc. | Image processing apparatus and method, and providing medium |
| WO2003015407A1 (en) * | 2001-08-07 | 2003-02-20 | Polycom, Inc. | System and method for high resolution videoconferencing |
| US6950469B2 (en) * | 2001-09-17 | 2005-09-27 | Nokia Corporation | Method for sub-pixel value interpolation |
| JP2003224846A (ja) * | 2002-01-29 | 2003-08-08 | Matsushita Electric Ind Co Ltd | 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法 |
| EP1530377A4 (en) * | 2002-06-28 | 2006-05-10 | Nokia Corp | INFORMATION TERMINAL |
| WO2004086748A2 (en) * | 2003-03-20 | 2004-10-07 | Covi Technologies Inc. | Systems and methods for multi-resolution image processing |
| JP2006340091A (ja) * | 2005-06-02 | 2006-12-14 | Canon Inc | カメラサーバ、ビューワ、画像表示システム及び画像配信方法 |
| JP2007074371A (ja) * | 2005-09-07 | 2007-03-22 | Fujifilm Corp | 撮影装置、表示装置、および撮影表示システム |
| CA2714362A1 (en) * | 2008-01-29 | 2009-08-06 | Enforcement Video, Llc | Omnidirectional camera for use in police car event recording |
-
2009
- 2009-11-02 JP JP2009252148A patent/JP5325745B2/ja active Active
-
2010
- 2010-07-13 EP EP10826254.4A patent/EP2498486B1/en active Active
- 2010-07-13 TR TR2018/08636T patent/TR201808636T4/tr unknown
- 2010-07-13 ES ES10826254.4T patent/ES2667497T3/es active Active
- 2010-07-13 KR KR1020127014121A patent/KR101295441B1/ko active IP Right Grant
- 2010-07-13 CA CA2779066A patent/CA2779066C/en active Active
- 2010-07-13 CN CN201080049361.5A patent/CN102598651B/zh active Active
- 2010-07-13 RU RU2012122686/08A patent/RU2533689C2/ru active
- 2010-07-13 US US13/504,349 patent/US9030569B2/en active Active
- 2010-07-13 BR BR112012010406-3A patent/BR112012010406B1/pt active IP Right Grant
- 2010-07-13 AU AU2010313042A patent/AU2010313042B9/en active Active
- 2010-07-13 WO PCT/JP2010/004545 patent/WO2011052114A1/ja active Application Filing
- 2010-07-13 MX MX2012005076A patent/MX2012005076A/es active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1510927A (zh) * | 2002-12-23 | 2004-07-07 | ��˹���´﹫˾ | 按选定分辨率发送感兴趣的数字视频数据选定区域的方法 |
| CN101389014A (zh) * | 2007-09-14 | 2009-03-18 | 浙江大学 | 一种基于区域的分辨率可变的视频编解码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120218438A1 (en) | 2012-08-30 |
| TR201808636T4 (tr) | 2018-07-23 |
| AU2010313042B9 (en) | 2014-06-05 |
| CA2779066C (en) | 2015-02-10 |
| EP2498486A4 (en) | 2016-03-23 |
| ES2667497T3 (es) | 2018-05-11 |
| MX2012005076A (es) | 2012-06-13 |
| AU2010313042B2 (en) | 2013-11-28 |
| KR101295441B1 (ko) | 2013-08-09 |
| RU2533689C2 (ru) | 2014-11-20 |
| EP2498486B1 (en) | 2018-03-21 |
| BR112012010406A2 (pt) | 2016-03-08 |
| CN102598651A (zh) | 2012-07-18 |
| BR112012010406B1 (pt) | 2021-09-28 |
| WO2011052114A1 (ja) | 2011-05-05 |
| EP2498486A1 (en) | 2012-09-12 |
| JP5325745B2 (ja) | 2013-10-23 |
| RU2012122686A (ru) | 2013-12-10 |
| CA2779066A1 (en) | 2011-05-05 |
| US9030569B2 (en) | 2015-05-12 |
| KR20120079170A (ko) | 2012-07-11 |
| AU2010313042A1 (en) | 2012-06-21 |
| JP2011097521A (ja) | 2011-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102598651B (zh) | 动图像处理装置及方法、安装有动图像处理装置的摄像装置 | |
| CN109194923B (zh) | 基于局部非均匀分辨率的视频图像处理设备、系统及方法 | |
| KR101451734B1 (ko) | 동화상 촬영장치, 정보처리 시스템, 정보처리장치 및 화상 데이터 처리방법 | |
| CN102625106B (zh) | 场景自适应的屏幕编码码率控制方法及其系统 | |
| JP5701707B2 (ja) | 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法 | |
| US20060028495A1 (en) | Display and weighted dot rendering method | |
| WO2018066440A1 (ja) | 撮影装置、情報処理システム、情報処理装置、および偏光画像処理方法 | |
| EP2020201B1 (en) | Image processing device | |
| JP6121787B2 (ja) | 撮像装置、情報処理システム、および画像データ処理方法 | |
| CN107846589A (zh) | 一种基于局部动态量化的图像压缩方法 | |
| US20110157426A1 (en) | Video processing apparatus and video processing method thereof | |
| CN102457722A (zh) | Bayer图像的处理方法及装置 | |
| WO2004077357A1 (en) | Apparatus and method for producing thumbnail images and for improving image quality of re-sized images | |
| CN111429357A (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
| CN113763298A (zh) | 内窥镜图像处理方法、装置、内窥镜和存储介质 | |
| CN111406404B (zh) | 获得视频文件的压缩方法、解压缩方法、系统及存储介质 | |
| CN106815816A (zh) | 一种rbf插值高速相机压缩图像重建方法 | |
| JP2003319386A (ja) | モバイル端末機への撮影画像伝送システム | |
| KR100902421B1 (ko) | 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체 | |
| CN106851322A (zh) | 一种分块最小二乘回归高速相机压缩图像重建方法 | |
| TW202218421A (zh) | 內容顯示處理 | |
| JP2009065323A (ja) | 画像処理装置、画像処理方法、撮像装置および撮像方法 | |
| JP3795672B2 (ja) | 画像処理システム | |
| WO2019122829A1 (en) | Transmission of a reverse video feed | |
| JP2000078514A (ja) | 画像高速表示装置及び画像高速表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |