CN102090063A - 图像处理装置以及使用其的摄像装置 - Google Patents

图像处理装置以及使用其的摄像装置 Download PDF

Info

Publication number
CN102090063A
CN102090063A CN2009801268363A CN200980126836A CN102090063A CN 102090063 A CN102090063 A CN 102090063A CN 2009801268363 A CN2009801268363 A CN 2009801268363A CN 200980126836 A CN200980126836 A CN 200980126836A CN 102090063 A CN102090063 A CN 102090063A
Authority
CN
China
Prior art keywords
region
image
interest
moving image
field picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801268363A
Other languages
English (en)
Inventor
冈田茂之
石井裕夫
森幸夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN102090063A publication Critical patent/CN102090063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像处理装置以及搭载其的摄像装置。在该图像处理装置中，关注区域设定部(10)在被连续摄像的帧图像内设定关注区域。编码部(30)对上述帧图像连续的整体区域运动图像、和由关注区域设定部(10)设定的关注区域的图像连续的关注区域运动图像进行编码。记录部(40)使由编码部(30)编码的、上述整体区域运动图像的编码数据以及上述关注区域运动图像的编码数据相关联对应来进行记录。

Description

图像处理装置以及使用其的摄像装置
技术领域
本发明涉及一种图像处理装置以及搭载其的摄像装置。
背景技术
一般用户能够容易地摄影运动图像的数码摄像机正不断普及。一般用户在使用数码摄像机时，为了将特定的目标(object)持续纳入画面内，一边追踪此目标一边摄影的情况较多。例如，在运动会上，对奔跑着的自家的小孩进行摄影的情况就是典型的例子。
专利文献1公开了一种目标追踪装置，此目标追踪装置根据细微的颜色的不同或颜色的变化来提取特征量，对目标进行追踪。
专利文献1：JP特开平7-95597号公报
在对以特定的目标作为关注对象进行了摄影的运动图像进行再生并视听的情况下，通常有想要视听对该目标以特写(close up)的方式进行拍摄后的图像的要求，而且，还有想要视听在更宽的背景下拍摄的图像的要求。特别是对于未拍摄到此目标的帧幅(コマ)，后者的要求更强烈。而要生成满足这样要求的运动图像，需要繁琐的编辑操作。例如，需要如下的操作：对已摄影、编码的运动图像进行解码再生，通过用户操作从任意的帧(frame)图像中选择包括此目标的区域，对此所选择的区域的图像进行再次编码，并与原始的帧图像进行置换等。
发明内容
本发明正是鉴于这种情况而提出的，其目的在于，提供一种能够简单地得到适当地以强调或者优先的方式能显示特定的目标的运动图像的技术。
本发明的一种形式的图像处理装置，包括：关注区域设定部，其在被连续地摄像的帧图像内设定关注区域；编码部，对帧图像连续的整体区域运动图像、和由关注区域设定部设定的关注区域的图像连续的关注区域运动图像进行编码；和，记录部，其使由编码部编码的、整体区域运动图像的编码数据以及关注区域运动图像的编码数据相关联对应来进行记录。
本发明的其他的形式也是图像处理装置。此装置包括：关注区域设定部，在被连续地摄像的帧图像内设定关注区域；第一编码部，对帧图像连续的整体区域运动图像进行编码；第二编码部，与由第一编码部进行的整体区域运动图像的编码并行，对由关注区域设定部设定的关注区域的图像连续的关注区域运动图像进行编码；和，记录部，使由第一编码部编码的整体区域运动图像的编码数据、以及由第二编码部编码的关注区域运动图像的编码数据相关联对应来进行记录。
此外，以上构成要素的任意的组合、将本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间进行变换的产物，均作为本发明的形式而有效。
根据本发明，能够简单地得到适当地以强调或者优先的方式能显示特定的目标的运动图像。
附图说明
图1是实施方式1的摄像装置的构成图。
图2实施方式1的关注区域提取部的构成图。
图3是表示由实施方式1的摄像部摄像的帧图像、整体区域运动图像的帧图像、关注区域运动图像的单位图像的图。
图4是表示实施方式2的图像再生装置的构成图。
图5是表示基于实施方式2的显示部的显示例的图。
图6是实施方式1的变形例1的摄像装置的构成图。
图7是实施方式1的变形例2的摄像装置的构成图。
图8是表示由实施方式1的变形例2的摄像部摄像的帧图像、第一区域图像、第二区域图像的图。
附图标记
10：关注区域设定部  12：目标检测部  14：目标登录部  16：目标追踪部  18：关注区域提取部  20：分辨率变换部  25：缩小部  30：编码部  32：第一编码部  34：第二编码部  40：记录部  80：主窗口  82：子窗口  100：图像处理装置  200：摄像部  300：摄像装置  400：图像再生装置  410：图像处理部  412：第一解码部  414：第二解码部  416：控制部  418：切换部  420：显示部  430：操作部
具体实施方式
图1是实施方式1的摄像装置300的构成图。实施方式1的摄像装置300包括摄像部200以及图像处理装置100。摄像部200连续地取得帧图像，并将其作为运动图像供给到图像处理装置100。摄像部200包括CCD(Charge Coupled Devices：电荷耦合元件)传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等未图示的固体摄像元件、以及对从该固体摄像元件输出的信号进行处理的未图示的信号处理电路。该信号处理电路能够将从上述固体摄像元件输出的模拟的三原色信号红(R)、绿(G)、蓝(B)变换成数字亮度信号Y以及色差信号Cr、Cb。
图像处理装置100对由摄像部200取得的帧图像进行处理。图像处理装置100包括关注区域设定部10、分辨率变换部20、编码部30以及记录部40。图像处理装置100的构成在硬件上可由任意计算机的CPU、存储器、其他的LSI来实现，在软件上可由加载(load)到存储器中的程序等来实现，但在此，描述了由它们的协作而实现的功能模块。因此，本领域的技术人员应该理解，这些功能模块能够仅由硬件、或者仅由软件、或者他们的组合的各种形式来实现。
关注区域设定部10在由摄像部200连续地被摄像的帧图像内设定关注区域。可以针对从摄像部200供给的所有帧图像设定关注区域，也可以针对一部分帧图像设定关注区域。在后者的情况下，关注区域的设定也可仅在由用户操作来指示关注区域的设定的期间内进行。
关注区域设定部10将设定的关注区域的图像供给到分辨率变换部20。此外，在分辨率变换部20不对此关注区域的图像实施分辨率变换处理的情况下，供给到编码部30。此外，关注区域设定部10的详细情况在后面讲述。分辨率变换部20的详细情况也在后面讲述。
编码部30对从摄像部200供给的帧图像连续的整体区域运动图像和由关注区域设定部10设定的关注区域的图像连续的关注区域运动图像进行编码。编码部30依照规定的规格对上述整体区域运动图像和上述关注区域运动图像进行压缩编码。例如，依照H.264/AVC、H.264/SVC、MPEG-2、或者MPEG-4等规格来进行压缩编码。
编码部30可以利用一个硬件编码器对整体区域运动图像和关注区域运动图像时分地进行编码，还可以利用两个硬件编码器，对整体区域运动图像和关注区域运动图像并行地进行编码。在采用前者的情况下，可以设置未图示的缓存器，且直到整体区域运动图像的编码结束为止，都在此缓存器中暂时保存关注区域运动图像，在其结束后从此缓存器中提取关注区域运动图像进行编码。
在采用后者的情况下，编码部30由两个硬件编码器、即第一编码部32以及第二编码部34构成。第一编码部32对上述整体区域运动图像进行编码。第二编码部34，与第一编码部32进行的上述整体区域运动图像的编码并行地对上述关注区域运动图像进行编码。在从所有的帧图像中取得关注区域的图像的情况下，由于整体区域运动图像与关注区域运动图像关于应编码的图像的张数一致，因此第一编码部32以及第二编码部34也可一边取得同步一边进行编码。
记录部40包括未图示的记录介质，使上述整体区域运动图像的编码数据以及上述关注区域运动图像的编码数据相关联对应地记录到此记录介质。作为该记录介质，可以采用存储卡、硬盘、光盘等。此外，该记录介质不局限于设置或者装载在摄像装置300内，还可以设置在网络上。
记录部40可以合成整体区域运动图像和关注区域运动图像而成为一个文件，但也可以分别作为单独的文件。无论是哪种情况，只要使整体区域运动图像内的某个帧的图像、与关注区域运动图像内的对应此帧图像的单位图像关联对应即可。例如，在从所有的帧图像中取得关注区域的图像的情况下，可以对整体区域运动图像的帧图像和关注区域运动图像的单位图像这相对应的两者，付与相同的序号。
图2是实施方式1的关注区域设定部10的构成图。关注区域设定部10包括目标检测部12、目标登录部14、目标追踪部16以及关注区域提取部18。目标检测部12从帧图像内检测特定的目标。目标登录部14将特定的目标登录到目标检测部12。例如，能够利用摄像部200对小孩的脸进行摄像并进行登录。作为目标的例子，可以列举人物、狗或猫等宠物、机动车或火车等移动体等。以下，以目标为人物的情况为例进行说明。
作为目标的人物，可以是在开始运动图像的摄像后，从帧图像内最初所检测出的人物，也可以是由目标登录部14登录过的特定的人物。在为前者的情况下，使用用于检测所有人物的词典数据，在为后者的情况下，使用用于检测登录过的特定的人物的词典数据。最初所检测出的人物或者已登录过的特定的人物将成为后续的帧图像内的追踪对象。
目标检测部12能够通过检测帧图像内的脸来确定人物。目标检测部12在包括检测出的脸的脸区域的下方设定身体区域。身体区域的大小与脸区域的大小成正比。另外，还可以将包括人物的全身的人物区域设定为追踪对象。
脸检测处理可以用公知的方法进行，并不受特别限制。例如，可以利用基于边缘(edge)检测法、增强(boosting)法、色调提取法或者肤色提取法的脸检测方法。
边缘检测法，从包括预先对脸的大小或浓淡值进行了标准化的脸图像的眼、鼻、口、脸的轮廓等的脸区域中提取各种边缘特征，基于统计的手法来学习用于识别是否为脸的有效的特征量，从而构筑脸识别器。此外，针对从目标登录部14登录的、特定的人物的脸，根据该脸图像来构筑脸识别器。
为了从输入图像中检测出脸，在学习时以已标准化的脸尺寸自图像的一端起进行光栅扫描(raster scanning)的状态下，提取同样的特征量。根据此特征量，由识别器判断此区域是否为脸。对于特征量，可以利用诸如水平边缘、垂直边缘、右斜面边缘、左斜面边缘等。若不能检测出脸，则按一定的比例缩小输入图像，并对缩小后的图像，与上述相同，在光栅扫描的状态下对脸进行检索。通过反复这样的处理，能够从图像中找到任意大小的脸。
目标追踪部16在后续的帧图像内对由目标检测部12检测出的特定的目标进行追踪。另外，目标追踪部16能够用帧图像单位来确定追踪的成败。在这种情况下，编码部30在上述整体区域运动图像的各帧图像以及上述关注区域运动图像的各单位图像的其中至少一个的、头区域或者允许用户写入的区域(以下，称作用户区域)中，将追踪的成败作为追踪信息进行添加。此外，可以不在图像头区域，而在序列(sequence)头区域或者GOP(Group Of Picture：画面组)头区域中集中记述各帧图像的追踪的成败。
目标追踪部16能够基于目标的颜色信息来进行特定的目标的追踪。在上述例子中，通过在后续的帧图像内搜索与上述身体区域的颜色类似的颜色的区域来进行追踪。此外，若加进后续的帧图像内的、由目标检测部12得到的脸检测的结果，则能够提高追踪的精度。
上述追踪的成败由以下来判定。即，目标追踪部16，在帧图像内包括有应该追踪的目标的情况下，将此帧图像判定为追踪成功，在帧图像内不包括应该追踪的目标的情况下，将此帧图像判定为追踪失败。在此，目标的追踪单位可以是上述脸区域单位，也可以是上述人物区域单位。
目标追踪部16能够在每帧图像中将追踪的成败生成为标志(flag)。在这种情况下，编码部30能够在各帧图像以及各单位图像的其中至少一个的、头区域或者用户区域中，将该标志作为上述追踪信息进行记述。
目标追踪部16能够对特定的目标不在帧图像内的帧图像进行确定。在这种情况下，编码部30在上述头区域或者用户区域中，将表示不在帧图像内的内容的信息作为上述追踪信息进行添加。另外，目标追踪部16能够对特定的目标返回到帧图像内的帧图像进行特定。在这种情况下，编码部30在上述头区域或者用户区域中，将表示返回到帧图像内的内容的信息作为上述追踪信息进行添加。
关注区域提取部18将包括由目标检测部12被检测、由目标追踪部16被追踪的特定的目标的区域的图像作为上述关注区域的图像进行提取。在图1中，由于将帧图像分支为整体区域运动图像用和关注区域运动图像用的两系统，故表现为对上述关注区域的图像进行提取，但若以分支前的原始的帧图像为基准来考虑，则成为对此帧图像内的关注区域的图像进行复制。
上述关注区域可以是包括目标整体且包括其周边区域的矩形区域。在这种情况下，优选使其矩形区域的纵横比固定。进一步地，可以将此纵横比设定得与上述整体区域运动图像的帧图像的纵横比实质上相等。如后所述，在使上述关注区域运动图像的单位图像的尺寸与上述整体区域运动图像的帧图像的尺寸相对应的情况下，此设定有效。
设计者能够任意地设定：在上述关注区域内，在目标的上方向、下方向、左方向以及右方向的各个方向上，相对此目标的大小，确保多大程度比例的周边区域。例如，可以在目标的左右方向上，较之上下方向，相对此目标的大小设定更大比率的周边区域，以满足上述纵横比。
关注区域提取部18，在未检测出上述特定的目标且此目标的追踪失败的帧图像中也设定关注区域，并提取此关注区域的图像。关注区域提取部18可以将此关注区域设定在与在追踪成功了的最后的帧图像中所设定的关注区域相同的位置，也可以设定在帧图像内的中央的位置。另外，还可以将帧图像的整体区域设定为关注区域。通过在目标的追踪已失败的帧图像中也设定关注区域，从而能够使整体区域运动图像的帧图像的张数与关注区域运动图像的单位图像的张数一致。
返回到图1，为了将应由编码部30编码的关注区域运动图像的单位图像的尺寸维持为一定，分辨率变换部20变换此单位图像的分辨率。在上述关注区域的大小根据目标的大小而变化的情况下，上述关注区域运动图像的单位图像的尺寸也发生变化。在这种情况下，分辨率变换部20为了使单位图像的尺寸统一成所设定的尺寸，针对比所设定的尺寸小的尺寸的单位图像，放大该单位图像，而针对比所设定的尺寸大的尺寸的单位图像，缩小该单位图像。
分辨率变换部20能够通过空间的像素插值处理来放大应该放大的单位图像。作为此像素插值处理，可以采用单纯的线性插值处理或利用了FIR滤波器的插值处理。
另外，分辨率变换部20可以通过超分辨处理来放大应放大的单位图像。所说的超分辨处理，是从带有微少的位置偏差的多个图像中生成分辨率比这些图像的分辨率高的图像的技术。超分辨处理的详细说明，在(青木伸著、“複数のデジタル画像デ一タによる超解像処理”，即“基于多个数字图像数据的超分辨处理”、Ricoh Technical Report No.24，NOVEMBER，1998)等中进行了公开。作为上述的带有微少位置偏差的多个图像，可以利用与提取出上述应放大的单位图像的帧图像在时间上相邻的帧图像的、对应的位置的部分图像。
分辨率变换部20能够通过间隔除去处理来缩小应缩小的单位图像。具体而言，根据缩小率来对此单位图像的像素数据进行间隔除去。另外，分辨率变换部20可以通过滤波处理来缩小应该缩小的单位图像。例如，通过计算相邻的多个像素数据的平均值并将此多个像素数据变换成一个像素数据来进行缩小。
分辨率变换部20可以变换此单位图像的分辨率，以使上述关注区域运动图像的单位图像的尺寸与应由编码部30编码的整体区域运动图像的帧图像的尺寸对应。例如，可以使两者的尺寸一致或者大概一致。在这种情况下，作为上述的单位图像的应该统一的尺寸，也可设定上述整体区域运动图像的帧图像的尺寸即可。另外，可以将两者的尺寸设定为一个带比例关系的值。此外，该帧图像的纵横比可以设定为16∶9，该单位图像的纵横比可以设定为4∶3。
图3是表示由实施方式1的摄像部200摄像的帧图像50、整体区域运动图像的帧图像60、关注区域运动图像的单位图像70的图。所摄像的帧图像50的分辨率与包括在摄像部200中的固体摄像元件内的受光元件的数目相对应。排列有多个受光元件的摄像区域具有有效像素区域和在其外周的手抖动校正用区域52。在所摄像的帧图像50内，由关注区域设定部10设定了关注区域51。在此，以带4号号码布的踢球瞬间的小孩识别为目标，将包括此目标的区域设定为关注区域51。
图3表示了使整体区域运动图像的帧图像60以及关注区域运动图像的单位图像70的尺寸一致的例子。将每个图像的尺寸都设定为1080i(1920×1080像素)。
在运动图像的摄像中，为了减轻图像处理的负担，有生成比固体摄像元件的有效像素数更少像素数的帧图像的情况。使此像素数减少的处理，可以由摄像部200内的未图示的信号处理电路执行，也可以由图像处理装置100内的未图示的缩小部执行，亦或由两者执行。在图像处理装置100内进行间隔除去处理或者滤波处理的情况下，在图1所示的图像处理装置100内的第一编码部32的前级设置缩小部25(参照后述的图6)。
如以上说明所述，根据实施方式1，能够生成被关联对应的、整体区域运动图像的编码数据和关注区域运动图像的编码数据，故能够在不经历繁琐的操作的前提下简单地得到适当地按照强调或者优先的方式可显示特定的目标的运动图像。
另外，通过使整体区域运动图像的帧图像的尺寸与关注区域运动图像的单位图像的尺寸对应，从而能够使再生显示或编辑变得容易。例如，在适当切换整体区域运动图像的帧图像和关注区域运动图像的单位图像并进行显示的情况下，没有必要进行分辨率的变换。另外，在适当地对整体区域运动图像的帧图像和关注区域运动图像的单位图像进行组合而生成其他的运动图像的情况下，也没有必要进行分辨率的变换。
此外，通过在关注区域运动图像的各单位图像以及整体区域运动图像的各帧图像的其中至少一方的、头区域或者用户区域中，添加上述追踪的成败的信息，从而能够对再生侧或者编辑侧给出有效的信息。活用方法的例子在后面讲述。
图4是实施方式2的图像再生装置400的构成图。实施方式2的图像再生装置400可以作为摄像装置300的一功能模块进行搭载，也可以作为单体的设备而构成。图像再生装置400包括图像处理部410、显示部420以及操作部430。
图像处理部410处理由实施方式1的图像处理装置100生成的整体区域运动图像的编码数据以及关注区域运动图像的编码数据。图像处理部410包括第一解码部412、第二解码部414、控制部416以及切换部418。
在以下的说明中，以整体区域运动图像的各帧图像和关注区域运动图像的各单位图像取得同步，两图像的尺寸相等为前提。另外，将在关注区域运动图像的各单位图像的头区域或者用户区域中添加了表示追踪的成败的追踪信息作为前提。
第一解码部412以及第二解码部414由各自的硬件解码器构成。第一解码部412对整体区域运动图像的编码数据进行解码。第二解码部414对关注区域运动图像的编码数据进行解码。第二解码部414将关注区域运动图像的各单位图像的追踪的成败的信息供给到控制部416。
切换部418，将由第一解码部412供给的整体区域运动图像的各帧图像和由第二解码部414供给的关注区域运动图像的各单位图像中的任意一个优先地供给到显示部420。例如，选择已取得同步的、帧图像和单位图像中的任意一个输出到显示部420。另外，按照在已取得同步的、帧图像和单位图像之中，使优先的一方的图像的尺寸比不优先的一方的图像的尺寸大的方式，在对至少其中一方的图像的分辨率进行了变换后，将双方的图像输出到显示部420。例如，在使单位图像一方优先的情况下，将单位图像直接输出到显示部420，而将帧图像缩小后输出到显示部420。
控制部416向切换部418指定究竟使已取得同步的、帧图像和单位图像的哪一个优先。控制部416能够参照从第二解码部414接收的追踪信息来决定使哪一个优先。在这种情况下，决定：当为追踪成功的单位图像时，使此单位图像优先，而当为追踪失败的单位图像时，使与之对应的帧图像优先。另外，在因用户操作而从操作部430接收到指示究竟使帧图像和单位图像的哪一个优先的指示信息的情况下，根据此指示信息来决定使哪一个优先。在对基于该追踪信息的判定和基于该指示信息的判定并用的情况下，使后者优先。
显示部420显示从切换部418连续地供给的、帧图像以及单位图像的至少一个。
图5是表示基于实施方式2的显示部420的显示例的图。显示部420带有主窗口80和子窗口82。在图5中，描述了在主窗口80内设置有子窗口82的例子。显示部420将已取得同步的、帧图像和单位图像中的、优先的一方显示在主窗口80中，并将不优先的一方显示在子窗口82中。例如，在由上述追踪信息实现优先顺序的判定的情况下，当目标的追踪已成功时，在主窗口80中显示单位图像，在子窗口82中显示帧图像。反之，当目标的追踪失败时，在主窗口80中显示帧图像，在子窗口82中显示单位图像。
如以上说明所述，根据实施方式2，利用实施方式1生成的、整体区域运动图像的编码数据以及关注区域运动图像的编码数据，能够适当地以强调或者优先的方式显示特定的目标。特别是在每个帧图像中确定了追踪的成败的情况下，能够自动地决定是使上述单位图像优先还是使上述帧图像优先。
以上，以实施方式为基础说明了本发明。本领域的技术人员应该理解，此实施方式仅为例示，可以通过这些各构成要素或各处理过程的组合形成各种变形例，另外，这样的变形例也包括在本发明的范围内。
例如，在实施方式1中，说明了使整体区域运动图像的帧图像的尺寸与关注区域运动图像的单位图像的尺寸一致的例子。这点，在变形例中，将整体区域运动图像的帧图像的尺寸设定得比关注区域运动图像的单位图像的尺寸小。
图6是实施方式1的变形例1的摄像装置300的构成图。其是在图1所示的基本例的摄像装置300的图像处理装置100内追加了缩小部25的构成。缩小部25对从摄像部200供给的帧图像进行缩小。与分辨率变换部20进行的缩小处理相同，能够通过间隔除去处理或滤波处理来缩小该帧图像。此时，相比分辨率变换部20进行分辨率变换后的单位图像的分辨率，生成低分辨率的帧图像。这样，能够降低整体区域运动图像的数据量。在目标追踪的精度高的情况下，使用单位图像多，而几乎不使用帧图像。在这种情况下，即使使整体区域运动图像的帧图像的分辨率降低，其影响也小，故采用此变形例1是有力的。
图7是实施方式1的变形例2的摄像装置300的构成图。实施方式1的变形例2的摄像装置300，与图1所示的摄像装置300比较，是追加了分支(separation)部11、且删除了关注区域设定部10的构成。分支部11将由摄像部200连续地摄像的帧图像内的第一区域的图像输出到编码部30，并将该帧图像内的第二区域的图像输出到分辨率变换部20。在此，该第一区域可以是该帧图像的整体区域，该第二区域可以是对该帧图像的横方向的区域的一部分进行了省略的区域。更具体地说，该第一区域可以是纵横比可以为16∶9的区域，该第二区域可以是纵横比为4∶3的区域。
分辨率变换部20变换该第二区域的图像的分辨率，以使该第二区域的图像的分辨率比该第一区域的图像的分辨率低。例如，在将该第一区域的图像的尺寸设定为1080i(1920×1080像素)的情况下，分辨率变换部20将该第二区域的图像的尺寸变换为VGA(640×480)尺寸。更具体地说，对省略了横方向的区域的一部分1080i(1920×1080像素)尺寸的第二区域的图像的像素间隔除去，变换成VGA(640×480)尺寸的第二区域的图像。
编码部30对该第一区域的图像连续的第一区域运动图像、以及该第二区域的图像连续的第二区域运动图像进行编码。该第二区域运动图像以比该第一区域运动图像的分辨率低的分辨率进行编码。记录部40使由编码部30编码的、该第一区域运动图像的编码数据以及该第二区域运动图像的编码数据相关联对应来进行记录。
图8是表示由实施方式1的变形例2的摄像部200摄像的帧图像50、第一区域的图像61、第二区域的图像71的图。在去除帧图像50的手抖动校正用区域52的区域中包括切取(clipping)区域53和省略(skipped)区域54。在图8中，虽然描述了省略区域54设定在右端的例子，但也可以设定在左端，还可以分割在左端和右端进行设定。分支部11将帧图像50的除了手抖动校正用区域52的区域作为第一区域的图像61供给到编码部30，并将切取区域53的图像供给到分辨率变换部20。分辨率变换部20将省略了省略区域54的1080i(1920×1080像素)尺寸的切取区域53的图像变换成VGA(640×480)尺寸的第二区域的图像71，并供给到编码部30。编码部30对该第一区域的图像61连续的第一区域运动图像以及该第二区域的图像71连续的第二区域运动图像进行编码。记录部40将该第一区域运动图像的编码数据保持为视听用，而将该第二区域运动图像的编码数据保持为向互联网(Internet)的网站投稿用。
如以上说明，根据变形例2，用一个摄像元件能够对16∶9的全高清(HD)画质的运动图像和标准(SD)画质的运动图像同时压缩编码。能够将前者的运动图像使用在大型显示(display)(例如，自家的大型电视机)的视听用上，将后者的运动图像使用在向互联网的Web网站上传用上。在仅对前者的运动图像进行压缩编码并记录到记录部40的情况下，当要将其向不对应此运动图像的、互联网上的Web网站上传时，需要对此运动图像的编码数据进行转码(transcoding)。关于这点，在变形例2中，不需要如此繁琐的处理。
此外，在变形例2中，虽然说明了第一区域与第二区域不同的例子，但第一区域与第二区域也可以相同。在这种情况下，将对内容相同、分辨率不同的两种运动图像进行编码。
[产业上的可利用性]
本发明可利用在用于对运动图像进行摄像的摄像装置中。

Claims (8)

1.一种图像处理装置，其特征在于，
包括：
关注区域设定部，在被连续地摄像的帧图像内设定关注区域；
编码部，对所述帧图像连续的整体区域运动图像、和由所述关注区域设定部设定的关注区域的图像连续的关注区域运动图像进行编码；和
记录部，使由所述编码部编码的、所述整体区域运动图像的编码数据以及所述关注区域运动图像的编码数据相关联对应来进行记录。
2.如权利要求1所述的图像处理装置，其特征在于，
所述关注区域设定部包括：
目标检测部，其从所述帧图像内检测特定的目标；
目标追踪部，其在后续的帧图像内追踪由所述目标检测部检测出的特定的目标；和
关注区域提取部，其将包括由所述目标检测部检测并由所述目标追踪部追踪的特定的目标的区域的图像作为所述关注区域的图像进行提取。
3.如权利要求2所述的图像处理装置，其特征在于，
所述目标追踪部对每个所述帧图像确定追踪的成败，
所述编码部在所述整体区域运动图像的各帧图像以及所述关注区域运动图像的各单位图像的其中至少一方的、头区域或者允许用户写入的区域中，添加所述追踪的成败的信息。
4.如权利要求1～3中任意一项所述的图像处理装置，其特征在于，
还包括分辨率变换部，该分辨率变换部为了使应由所述编码部编码的所述关注区域运动图像的单位图像的尺寸为一定，对此单位图像的分辨率进行变换。
5.如权利要求4所述的图像处理装置，其特征在于，
所述分辨率变换部对所述单位图像的分辨率进行变换，以使所述关注区域运动图像的单位图像的尺寸与应由所述编码部编码的所述整体区域运动图像的帧图像的尺寸相对应。
6.一种图像处理装置，其特征在于，
包括：
关注区域设定部，在被连续地摄像的帧图像内设定关注区域；
第一编码部，对所述帧图像连续的整体区域运动图像进行编码；
第二编码部，与由所述第一编码部进行的所述整体区域运动图像的编码并行，对由所述关注区域设定部设定的关注区域的图像连续的关注区域运动图像进行编码；和
记录部，使由所述第一编码部编码的整体区域运动图像的编码数据以及由所述第二编码部编码的关注区域运动图像的编码数据相关联对应来进行记录。
7.一种图像处理装置，其特征在于，
包括：
编码部，对被连续地摄像的帧图像的第一区域的图像连续的第一区域运动图像、以及所述帧图像的第二区域的图像连续的第二区域运动图像进行编码；和
记录部，使由所述编码部编码的、所述第一区域运动图像的编码数据以及所述第二区域运动图像的编码数据相关联对应来进行记录，
所述第二区域运动图像以比所述第一区域运动图像低的分辨率被编码。
8.一种摄像装置，其特征在于，
包括：
摄像部，取得帧图像；和
对由所述摄像部取得的帧图像进行处理的权利要求1～7中任意一项所述的图像处理装置。
CN2009801268363A 2008-07-11 2009-07-02 图像处理装置以及使用其的摄像装置 Pending CN102090063A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008181072 2008-07-11
JP2008-181072 2008-07-11
PCT/JP2009/003081 WO2010004711A1 (en) 2008-07-11 2009-07-02 Image processing apparatus and image pickup apparatus using the image processing apparatus

Publications (1)

Publication Number Publication Date
CN102090063A true CN102090063A (zh) 2011-06-08

Family

ID=41506839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801268363A Pending CN102090063A (zh) 2008-07-11 2009-07-02 图像处理装置以及使用其的摄像装置

Country Status (4)

Country Link
US (1) US20110102627A1 (zh)
JP (1) JP2011527841A (zh)
CN (1) CN102090063A (zh)
WO (1) WO2010004711A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106935224A (zh) * 2017-05-12 2017-07-07 京东方科技集团股份有限公司 显示装置及其驱动方法和驱动电路
CN108702547A (zh) * 2016-02-29 2018-10-23 三菱日立电力系统株式会社 动态图像再生装置、动态图像再生方法以及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
JP5544426B2 (ja) * 2010-09-24 2014-07-09 株式会社Ｇｎｚｏ 映像ビットストリームの伝送システム
KR101644422B1 (ko) * 2012-03-13 2016-08-02 삼성전자주식회사 디스플레이 장치, 소스 장치 및 방법
US9450671B2 (en) * 2012-03-20 2016-09-20 Industrial Technology Research Institute Transmitting and receiving apparatus and method for light communication, and the light communication system thereof
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
JP2019022132A (ja) * 2017-07-20 2019-02-07 日本放送協会 映像伝送装置、映像受信装置及びそれらのプログラム
JP7148236B2 (ja) * 2017-10-27 2022-10-05 キヤノン株式会社 符号化装置及びその制御方法及びプログラム
US11882366B2 (en) * 2021-02-26 2024-01-23 Hill-Rom Services, Inc. Patient monitoring system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059779A (ja) * 1998-08-04 2000-02-25 Toshiba Corp 動画像符号化装置および動画像符号化方法
CN1517942A (zh) * 2003-01-27 2004-08-04 ���µ�����ҵ��ʽ���� 图像处理方法及其装置
JP2005348439A (ja) * 2005-07-29 2005-12-15 Sanyo Electric Co Ltd 画像処理装置
CN1717058A (zh) * 2004-06-29 2006-01-04 三洋电机株式会社 图像编码方法及装置、以及图像译码方法及装置
JP2007259149A (ja) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd 符号化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318712B2 (ja) * 1996-11-08 2002-08-26 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
JP2000358183A (ja) * 1999-06-14 2000-12-26 Canon Inc 画像処理装置及びその方法
US6918384B2 (en) * 2003-12-08 2005-07-19 General Motors Corporation Diesel engine with cam phasers for in-cylinder temperature control
JP4214926B2 (ja) * 2004-03-04 2009-01-28 株式会社ニコン 電子スチルカメラ
JP4819380B2 (ja) * 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
JP4693522B2 (ja) * 2005-06-29 2011-06-01 キヤノン株式会社 撮像装置
JP2007049229A (ja) * 2005-08-05 2007-02-22 Canon Inc 撮像装置及び撮像方法
JP4218720B2 (ja) * 2006-09-22 2009-02-04 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059779A (ja) * 1998-08-04 2000-02-25 Toshiba Corp 動画像符号化装置および動画像符号化方法
CN1517942A (zh) * 2003-01-27 2004-08-04 ���µ�����ҵ��ʽ���� 图像处理方法及其装置
CN1717058A (zh) * 2004-06-29 2006-01-04 三洋电机株式会社 图像编码方法及装置、以及图像译码方法及装置
JP2005348439A (ja) * 2005-07-29 2005-12-15 Sanyo Electric Co Ltd 画像処理装置
JP2007259149A (ja) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd 符号化方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702547A (zh) * 2016-02-29 2018-10-23 三菱日立电力系统株式会社 动态图像再生装置、动态图像再生方法以及程序
CN108702547B (zh) * 2016-02-29 2020-12-29 三菱动力株式会社 动态图像再生装置、动态图像再生方法以及程序
CN106935224A (zh) * 2017-05-12 2017-07-07 京东方科技集团股份有限公司 显示装置及其驱动方法和驱动电路
US11404031B2 (en) 2017-05-12 2022-08-02 Boe Technology Group Co., Ltd. Display control device, display control method, and display system

Also Published As

Publication number Publication date
JP2011527841A (ja) 2011-11-04
US20110102627A1 (en) 2011-05-05
WO2010004711A1 (en) 2010-01-14

Similar Documents

Publication Publication Date Title
CN102090063A (zh) 图像处理装置以及使用其的摄像装置
EP2525321B1 (en) Display image generating method
CN102892008B (zh) 双图像捕获处理
JP5231529B2 (ja) ビデオカメラ
KR101012618B1 (ko) 이미징 시스템 내의 이미지들의 프로세싱
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
US20190373287A1 (en) Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same
CN102611865B (zh) 处理运动图像数据的运动图像处理装置及运动图像处理方法
CN102063711A (zh) 用于生成全景图像的装置和方法以及计算机可读介质
CN1604620A (zh) 图像捕获设备、图像显示方法和程序
US20100225787A1 (en) Image capturing apparatus capable of extracting subject region from captured image
JP2010212811A (ja) 動画像符号化装置及び動画像復号化装置
US20080240503A1 (en) Image Processing Apparatus And Image Pickup Apparatus Mounting The Same, And Image Processing Method
US20110012991A1 (en) Moving image recording method and apparatus, and moving image coding method and moving image coder
US8120675B2 (en) Moving image recording/playback device
JP5156196B2 (ja) 撮像装置
US9571811B2 (en) Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
JP2007259156A (ja) カメラ、カメラの画像処理方法、プログラム、記録媒体
US8026952B2 (en) Image capturing device with reduced-sized sub-image collection and an image processing method thereof
JP5393331B2 (ja) 撮像装置
JP4235209B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
CN105794193A (zh) 图像处理设备、图像处理方法和程序
JP2011041041A (ja) 撮像装置、撮像方法及びプログラム
US7924922B2 (en) Color registration in a digital video
KR20210066825A (ko) 전방향성 영상의 코딩 및 디코딩

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20110608