CN101953153B - 摄像装置和摄像方法 - Google Patents
摄像装置和摄像方法 Download PDFInfo
- Publication number
- CN101953153B CN101953153B CN2009801060492A CN200980106049A CN101953153B CN 101953153 B CN101953153 B CN 101953153B CN 2009801060492 A CN2009801060492 A CN 2009801060492A CN 200980106049 A CN200980106049 A CN 200980106049A CN 101953153 B CN101953153 B CN 101953153B
- Authority
- CN
- China
- Prior art keywords
- image
- photographed images
- characteristic area
- images
- camera head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
提供降低了传输数据量,但被拍摄对象的图像视觉鲜明的影像的摄像装置,摄像装置具有:以不同的多种摄像条件连续性地摄像多个摄像图像的摄像部;重合按照不同的多种摄像条件拍摄的多个摄像图像,并生成输出图像的图像生成部;输出图像生成部所生成的输出图像的输出部。摄像部,可以通过以时间长度不同的曝光时间进行曝光,连续性地拍摄多个摄像图像。同时,摄像部,也可以通过以不同的光圈开度曝光而连续性地拍摄多个摄像图像。
Description
技术领域
本发明,涉及摄像装置,摄像方法,和用于存储程序的计算机可读取介质。本申请,与下列的日本申请有关,是主张来自下列的日本申请的优先权的申请。关于承认通过文献的参照能够编入内容的指定国,参照下列申请所记载的内容而编入本申请,作为本申请的一部分。
1.专利申请2008-091506申请日2008年3月31日
2专利申请2009-039508申请日2009年2月23日
背景技术
公知的有:在照相机侧,将长时间曝光影像及短时间曝光影像分别压缩后进行传送,在接收终端侧,分别将被传送的数据解压缩,以任意的比率合成显示广角动态范围影像的视频信号发送接收系统(比如,参照专利文献1。)。同时被公知的还有将存在于画面内的不相同的位置的亮度不同的多个被拍摄对象,分别以不同的曝光时间进行分离并摄像,将多个被拍摄对象图像分别单独地作为正确曝光的视频信号而输出的监控用摄像装置(比如,参照专利文献2)。以及,使用至少第1及第2的不同曝光时间捕捉一连串的连续录像图像并显示的重放系统(比如,参照专利文献3)。
【在先技术文献】
【专利文献1】特开2006-54921号公报
【专利文献2】特开2005-5893号公报
【专利文献3】特表2005-519534号公报
【发明打算解决的课题】
然而,根据上述专利文献所记载的技术,则由于输出以长短的曝光时间摄像得到的图像,而有使被输出的数据量变大之忧。同时,当不能以最佳条件对各区域进行摄像的时候,即使在每区域组合曝光时间不同的图像,恐怕也不能提供看上去鲜明的被拍摄物的影像。
发明内容
为了解决上述课题,根据本发明的第1方式,提供的摄像装置具有:以不同的多种摄像条件连续性地拍摄多个摄像图像的摄像部和,重合以不同的多种摄像条件摄像的多个摄像图像,生成输出图像的图像生成部和,输出图像生成部所生成的输出图像的输出部。
根据本发明的第2方式,提供一种摄像方法,具有:以不同的多种摄像条件连续性地拍摄多个摄像图像的摄像步骤;重合以不同的多种摄像条件被摄像的多个摄像图像而生成输出图像的图像生成步骤,以及输出在图像生成步骤中被生成的输出图像的输出步骤。
根据本发明的第3方式,提供摄像装置用的程序,该程序使计算机具有以下功能,即,以不同的多种摄像条件连续性地拍摄多个摄像图像的摄像部、重合以不同的多种摄像条件被摄像的多个摄像图像而生成输出图像的图像生成部、输出图像生成部所生成的输出图像的输出部的作用。
另外,上述发明的概要,并未列举出本发明的必要的技术特征的全部,这些的特征群的辅助结合也能够成本发明。
附图说明
图1是表示一实施方式涉及的摄像系统10一例示图。
图2是表示摄像装置100的方块构成的一例示图。
图3是表示压缩部230方块构成的一例示图。
图4是表示图像处理装置170方块构成的一例示图。
图5是表示除了压缩部230以外的构成的一例示图。
图6是表示从摄像图像600生成的输出图像的一例示图。
图7是表示摄像条件A~I的一个例示图。
图8是表示压缩部230压缩的摄像图像600组的一个例示图。
图9是表示除了摄像条件以外的一个例示图。
图10是表示摄像条件新的其他的一个例示图。
图11是表示重合为处理用的运算参数的一个例示图。
图12是表示其他的实施方式涉及的摄像系统20一个例示图。
图13是表现摄像装置100及图像处理装置170硬件构成的一个例示图。
【符号说明】
10摄像系统,20摄像系统,100摄像装置,110通信网络,130人物,140移动体,150监控对象空间,160空间,170图像处理装置,175图像DB,180显示装置,200摄像部,203特征区域检测部,206附加对应处理部,207输出部,205特征区域位置预测部,210摄像控制部,220图像生成部,224图像合成部,226图像选择部,228亮度调整部,230压缩部,232图像分割部,234固定值化部,236压缩处理部,301压缩图像取得部,302附加对应分析部,310解压缩控制部,320解压缩部,322解码器,330合成部,340输出部,510画质变换部,520差分处理部,522阶层间差分处理部,530编码部,532编码器,600摄像图像,610特征区域,620输出图像,900图像处理装置,1505CPU,1510ROM,1520RAM,1530通信接口,1540硬盘驱动器,1550软盘驱动器,1560CD-ROM驱动器,1570输入输出芯片,1575图解控制器,1580显示装置,1582主控制器,1584输入输出控制器,1590软盘,1595CD-ROM,1598网络通信设备
具体实施方式
以下,通过发明的实施方式说明本发明,不过,以下的实施方式并不限定保护范围所涉及的发明,另外,在实施方式中说明的特征组合并非全部都是发明的解决手段所必须。
图1,表示一实施方式涉及的摄像系统10一个例子。摄像系统10,如以下所说明,可以具有作为监控系统的功能。
摄像系统10,具有拍摄监控对象空间150的多个摄像装置100a-d(以下,总称摄像装置100。)、通信网络110,图像处理装置170,图像DB175,和多个显示装置180a-d(以下,总称显示装置180)。另外,图像处理装置170及显示装置180,被设置在与监控对象空间150不同的空间160中。
摄像装置100a,拍摄监控对象空间150,生成包含多个摄像图像的动画。在这个时候,摄像装置100a,以不同的摄像条件连续摄像。摄像 装置100a,通过重合由不同的摄像条件摄像的摄像图像,生成更少数的输出图像。并且,摄像装置100,通过通信网络110向图像处理装置170发送包含多个生成后的输出图像的监控动画。
摄像装置100a通过改变摄像条件进行摄像,可以提高获得鲜明的被拍摄对象图像的概率。因此,根据摄像装置100a,能够一边削减数据量,同时提供含有鲜明的被拍摄对象图像的图像信息的监测图像。
另外,摄像装置100a,从被摄像的动画,检测出特征的种类不相同的多个特征区域,如拍摄了人物130的区域,拍摄了车辆等的移动体140的区域等。并且,摄像装置100a,压缩该动画,生成多个特征区域分别比特征区域以外的区域画质高的压缩动画数据。同时,摄像装置100a,生成特征区域的图像转换成与特征区域的各自的画质重要度对应的画质的图像的压缩动画数据。并且,摄像装置100a,与作为表示特征区域的信息的特征区域信息对应,通过通信网络110向图像处理装置170发送压缩动画数据。
另外,摄像装置100b,摄像装置100c,和摄像装置100d,分别具有摄像装置100a同样的功能及动作。因此,关于摄像装置100b,摄像装置100c,和摄像装置100d的功能及动作的说明予以省略。
图像处理装置170,从摄像装置100接收对应特征区域信息的压缩动画数据。并且,图像处理装置170,采用对应的特征区域信息将接收的压缩动画数据加以解压缩,生成显示用动画,向显示装置180供给所生成的显示用动画。显示装置180显示由图像处理装置170供给的显示用动画。
同时,图像处理装置170,可以与在压缩动画数据上对应附加的特征区域信息相对应,将该压缩动画数据存储在图像DB175中。并且,图像处理装置170,根据来自显示装置180的要求,可以从图像DB175读取压缩动画数据及特征区域信息,利用特征区域信息将所读出的压缩动画数据进行解压缩,并生成显示用动画,提供给显示装置180。
另外,特征区域信息,可以是包含识别特征区域的位置、特征区域的大小、特征区域的数、用于识别检测出特征区域的摄像图像的识别信息等的文本数据,或对该文本数据实施压缩、加密等的处理后的数据。并且,图像处理装置170,按照特征区域信息包含的特征区域的位置,特征区域 的大小,特征区域的数等,指定满足种种检索条件的摄像图像。并且,图像处理装置170,也可以将特别指定后的摄像图像解码,提供给显示装置180。
这样,根据摄像系统10,因为与动画对应记录特征区域,所以能够高速地检索在动画中的符合规定的条件的摄像图像,并找到起始处。同时,根据摄像系统10,因为能够只给符合规定的条件的摄像图像解解码,所以能够响应重放指示,很快地显示符合规定条件的部分动画。
图2,表示摄像装置100的方块构成的一个例子。摄像装置100具有摄像部200,特征区域检测部203,特征区域位置预测部205,附加对应处理部206,输出部207,摄像控制部210,图像生成部220,和压缩部230。图像生成部220具有图像合成部224,图像选择部226,和亮度调整部228。
摄像部200,以不同的多种摄像条件连续性地拍摄多个摄像图像。具体,摄像部200,根据使摄像部200的摄像条件变化的摄像控制部210的控制,以不同的多种摄像条件连续性地拍摄多个摄像图像。
另外,摄像部200,可以用比预先确定的基准帧速率高的帧速率进行连续性地摄像。例如,摄像部200,可以采用比显示装置180能够显示的显示速率还高的帧速率进行摄影。其他,摄像部200,还可以采用比按照作为监控对象的监控对象物的运动速度预先确定的基准帧速率高的帧速率,做连续性地摄像。另外,摄像图像可以是帧图像或是场图像。
具体,摄像部200,通过以时间长度不相同的曝光时间曝光,来连续性地拍摄多个摄像图像。更具体,摄像部200,以时间长度不相同的曝光时间对摄像部200具有的受光部进行曝光。同时,摄像部200,可以通过以不同的光圈开度来曝光而连续性地拍摄多个摄像图像。同时,摄像部200,可以通过以将曝光量设定成为固定的曝光的时间及光圈开度进行曝光从而连续性地拍摄多个摄像图像。
其他,摄像部200,也可以连续性地拍摄具有不同的分辨率的多个摄像图像。同时,摄像部200,也可以连续性地拍摄不同的色数的多个摄像图像。另外,摄像部200,可以连续性地拍摄在不同的位置被聚焦的多个摄像图像。
特征区域检测部203,从多个摄像图像的各个检测出特征区域。具体,特征区域检测部203,从包含多个摄像图像的动画检测出特征区域。如,特征区域检测部203,将在动画中包含移动的目标的区域,作为特征区域而检出。另外,如后边具体地说明的那样,特征区域检测部203,可以检测出在动画中包含特征性的目标区域来作为特征区域。
另外,特征区域检测部203,可以从动画检测出特征的种类不相同的多个特征区域。所谓特征的种类,可以象人物与移动体等那样,把目标的种类做为指标。目标的种类,可以基于目标的形状或目标的颜色的一致度来决定。
比如,特征区域检测部203,可以分别从多个摄像图像的各自提取以预先确定的一致度以上的一致度与被预定的形状图形一致的目标,作为特征的种类相同的特征区域检测出包含所提取的目标的摄像图像中的区域。另外,形状图形,可以对每一特征种类指定多个。同时,作为形状图形的一个例子,可以示例人物的脸的形状图形。另外,还可以指定多个人物的每个不同的脸的图形。这样,特征区域检测部203,能够将分别包含不同的人物的区域,作为不同的特征区域而检测出。
这样,特征区域检测部203,能从以不同的摄像条件连续性地摄像而得到的摄像图像检测出特征区域。因此,能降低特征区域的检测失败的概率。比如,表示高速移动的移动体目标,很多情况下从短曝光时间曝光并摄像的摄像图像检出要比从以短的曝光时间曝光得到的摄像图像检测容易。根据摄像系统10,如上所述,摄像部200能够通过使曝光期间的时间长度变化,连续性地摄像,而降低高速移动的移动体检测失败的概率。
特征区域位置预测部205,按照从多个摄像图像的各自被检测出的特征区域的位置,预测自摄像该多个摄像图像的定时后边的定时的特征区域的位置。并且,摄像部200,可以在特征区域位置预测部205预测的特征区域的位置聚焦并连续性地拍摄多个摄像图像。具体,摄像控制部210,根据特征区域位置预测部205预测的特征区域的位置调整摄像部200的摄像的聚焦位置。
图像生成部220,重合由不同的多种摄像条件被摄像的多个摄像图像,生成输出图像。具体,图像合成部224,重合由不同的多种摄像条件被摄 像的多个摄像图像,生成一输出图像。更具体,图像生成部220,通过平均多个摄像图像的象素值,生成一输出图像。另外,图像合成部224,在第1期间中从以不同的多种摄像条件被摄像的多个摄像图像生成第1输出图像。同时,图像合成部224,以和该多种摄像条件同样的多种摄像条件从在第2期间被摄像的多个摄像图像生成第1输出图像。
这样,图像生成部220,生成将以不同的摄像条件摄像的图像合成后的输出图像。由于摄像部200以不相同的摄像条件进行摄像,得以提高摄像图像中将某个被拍摄对象鲜明摄像的可能性。因此,根据摄像系统10,有时通过将被鲜明拍摄的摄像图像与其他的摄像图像合成,而被人的视觉识别为鲜明的图像将变得容易。
另外,图像选择部226,从多个摄像图像中选择符合多个图像区域的每个预先决定条件的区域。比如,图像选择部226,在多个图像区域的每个中选择比被预先决定亮度明亮的摄像图像。其他,图像选择部226,也在多个图像区域的每个,选择具有比预定的反差值大的反差的摄像图像。这样,图像选择部226,从多个摄像图像中,对多个图像区域的每个选择以最好的状态拍摄被拍摄对象得到的摄像图像。并且,图像合成部224,可以通过合成在多个图像区域的每个选择的摄像图像中的多个图像区域的图像而生成输出图像。
这样,图像生成部220根据摄像部200在不同的期间分别拍摄的多个摄像图像,分别生成多个输出图像。压缩部230压缩被图像合成部224合成的输出图像。另外,压缩部230可以作为动画压缩多个输出图像。比如,压缩部230可以MPEG压缩多个输出图像。
被压缩部230压缩的输出图像提供给附加对应处理部206。另外,包含多个输出动画的动画,可以是与显示装置180能够显示的显示比率大体上相等的帧速率的动画。另外,摄像部200,可以按照比将变化的摄像条件的数乘以该显示比率的值大的摄像比率进行摄像。
附加对应处理部206,将特征区域检测部203查出的特征区域的特征区域信息与被压缩部230供给的输出图像相对应。作为一个例子,附加对应处理部206,在压缩动画上附带:与识别输出图像的信息、识别特征区域的位置的信息、以及用于识别特征区域的特征的种类的信息对应的特征 区域信息。并且,输出部207,对图像处理装置170输出附带有特征区域信息的输出图像。具体,输出部207,面向图像处理装置170在通信网络110上发送被附带该特征区域信息的输出图像。
这样,输出部207,与输出图像对应输出表示特征区域检测部203所检测出的特征区域的特征区域信息。另外,输出部207,还能输出作为各自动画构成图像包含多个输出图像的输出动画。
另外,从输出部207输出被图像生成部220生成的输出图像,可以作为监测图像被显示装置180显示。摄像系统10,通过通信网络110,将合成了多个摄像图像的输出图像传输给图像处理装置170,所以,与不合成多个摄像图像传输的情况比较,能够削减数据量。如上所述,输出图像包含的目标因为容易被人的视觉识别为鲜明的图像,所以摄像系统10,能够提供无论在数据量之点上,还是在视认特性之点上均有用的监测图像。
如上所述,图像合成部224生成人的视觉容易识别的输出图像。一方面对监控者来说,希望特别在摄像人物等的特征性的目标的特征区域,能够以摄像图像同等的画质的图像对监控对象空间150进行监控。
因此,压缩部230,在多个摄像图像的特征区域以外的区域的背景区域的图像的画质降低到比多个摄像图像的特征区域中的图像的画质低,来压缩多个摄像图像。这样,压缩部230,在多个摄像图像的特征区域和在多个摄像图像的特征区域以外的区域的背景区域以不同的强度分别压缩多个摄像图像的各个。并且,输出部207还可以输出被压缩部230压缩的图像。这样,输出部207输出由多个输出图像形成的监控动画和包含被压缩的多个摄像图像的摄像动画。
另外,压缩部230,可以通过修剪特征区域以外的区域压缩摄像图像。在这种情况下,输出部207在通信网络110上与被合成的多个输出图像一起传送被修剪后的摄像图像。
同时,压缩部230,可以压缩包含由不同的摄像条件摄像的多个摄像图像的动画。并且,输出部207,与被合成的多个输出图像一起,输出包含被压缩部230压缩后的多个摄像图像的动画。这样,输出部207输出连续性地显示以不同的摄像条件被摄像的多个摄像图像的动画。
一方面摄像部200如果改变摄像条件进行摄像的话,则在某个摄像图 像中,鲜明的拍摄被拍摄对象的可能性变高,同时,也有可能被大量地生成同一被拍摄对象没有被鲜明地摄像的摄像图像。然而,如果连续性地以动画的帧显示这样的多个摄像图像时,如果其中的哪一帧具有鲜明的被拍摄对象图像的话,有时在人的眼里看上去是鲜明的被拍摄对象的图像。因此,通过摄像系统10,能够提供适合监测图像的动画。
另外,压缩部230,可以对不同的多种摄像条件分别压缩作为动画构成图像包含以同样的摄像条件摄像的多个摄像图像的动画。并且,输出部207,可以输出被压缩部230分别对不同的多种摄像条件的每个压缩的多个动画。
更具体,压缩部230,根据将作为动画的动画构成图像而包含的多个摄像图像的各个,与作为该动画的动画构成图像而包含的其他的摄像图像进行图像内容比较后的结果进行压缩。更具体,压缩部230,通过求作为动画的动画构成图像包含的多个摄像图像分别与作为该动画的动画构成图像包含的其他的摄像图像的差分来压缩。比如,压缩部230,通过取作为动画的动画构成图像包含的多个摄像图像的各个与由其他的摄像图像生成的预测图像的差分来压缩。
根据同样的摄像条件摄像的摄像图像,与根据不同的摄像条件摄像的摄像图像相比往往图像内容的差别变小。因而,压缩部230如果能在每个摄像条件下汇总摄像图像,通过将不同的摄像条件的摄像图像作为流式传输(stream)的动画对待,与将用不同的摄像条件摄像的多个摄像图像作为动画压缩的情况相比,能够提高压缩率。
另外,输出部207,可以与多个摄像图像的各自摄像的摄像条件对应,输出多个摄像图像。以此,图像处理装置170,能以与摄像条件对应的检出参数,高精度地重新检测出特征区域。
另外,图像选择部226,从多个摄像图像中,选择符合预定条件的多个摄像图像。并且,压缩部230,压缩图像选择部226所选择的多个摄像图像。这样,输出部207,能够输出连续性地显示符合预定条件的多个摄像图像的动画。另外,图像选择部226,可以选择多个摄像图像里面的,亮度比预定值明亮的多个摄像图像。其他,图像选择部226可以选择多个摄像图像里面,特征区域的数比预定值多的多个摄像图像。
另外,输出部207,可以与定时信息对应输出被压缩部230压缩的多个动画,上述定时信息表示压缩部230压缩的多个动画中作为动画构成图像包含的多个摄像图像的各个应该被显示的定时。输出部207,可以与定时信息对应输出被压缩部230压缩的多个动画,上述定时信息表示被压缩部230压缩的多个动画中作为动画构成图像包含的多个摄像图像的各个被摄像的定时。并且,输出部207,可以输出与用于识别作为动画构成图像的摄像图像的识别信息(比如,帧码)和定时信息对应的信息。其他,输出部207,也可以将表示从多个摄像图像的各自检测出的特征区域的特征区域信息与多个摄像图像的各个对应输出。
亮度调整部228,为了使多个摄像图像的图像的亮度大致同样,调整摄像图像的亮度。比如,亮度调整部228,为了使特征区域的图像的亮度在多个摄像图像中大体上同样,进行调整多个摄像图像的亮度。并且,压缩部230可以压缩被亮度调整部228调整了亮度的摄像图像。
并且,输出部207,将表示从多个摄像图像的各个检测出特征区域的特征区域信息,与被亮度调整部228调整过亮度的多个摄像图像的各个对应输出。摄像部200通过随时间变化摄像条件进行摄像,有时摄像图像的亮度随时间变化而变化。然而,根据摄像系统10,则由亮度调整部228进行的亮度调整,能够降低多个摄像图像作为动画看时的闪烁。
图3,表示压缩部230的方块构成的一个例子。压缩部230,具有图像分割部232、多个固定值化部234a-c(以下,有时总称为固定值化部234)、及多个压缩处理部236a-d(以下,有时总称为压缩处理部236)。
图像分割部232,把多个摄像图像分割成特征区域和特征区域以外的背景区域。更具体,图像分割部232把多个摄像图像分别分割成多个特征区域和特征区域以外的背景区域。图像分割部232,把多个摄像图像的各个分割成特征区域和背景区域。并且,压缩处理部236,分别以不同的强度压缩作为特征区域的图像的特征区域图像和作为背景区域的图像的背景区域图像。具体,压缩处理部236,分别以不同的强度压缩包含多个特征区域图像的特征区域动画和包含多个背景区域图像的背景区域动画,。
具体,图像分割部232通过分割多个摄像图像,多个特征的种类的每一个生成特征区域动画。并且,固定值化部234,由每个特征的种类生成 的多个特征区域动画中包含的特征区域图像,分别将各自的特征的种类的特征区域以外的区域的象素值设定为固定值。具体,固定值化部234,将特征区域以外的区域的象素值设置成预设的象素值。并且,压缩处理部236针对每个特征种类,压缩多个特征区域动画。比如,压缩处理部236,针对每个特征的种类进行MPEG压缩多个特征区域动画。
固定值化部234a,固定值化部234b,和固定值化部234c,分别使第1特征的种类的特征区域动画,第2特征的种类的特征区域动画,和第3特征的种类的特征区域动画为固定值。并且,压缩处理部236a,压缩处理部236b,和压缩处理部236c,压缩第1特征的种类的特征区域动画,第2特征的种类的特征区域动画,和第3特征的种类的特征区域动画。
另外,压缩处理部236a-c,按照特征的种类,以预定的强度压缩特征区域动画。比如,压缩处理部236,按照特征的种类,以预定的不同的分辨率转换,转换特征区域动画,并将已经转换的特征区域动画压缩。其他,压缩处理部236,在由MPEG编码而压缩特征区域动画时,可以按照特征的种类,以预定的不同的量化参数压缩特征区域动画。
另外,压缩处理部236d压缩背景区域动画。另外,压缩处理部236d,可以用比由于压缩处理部236a-c的任何一个所形成的强度高的强度,压缩背景区域动画。被压缩处理部236压缩的特征区域动画及背景区域动画,供给附加对应处理部206。
另外,因为固定值化部234将特征区域以外的区域固定为固定值,所以如果压缩处理部236通过MPEG编码等进行预测编码时,能够在特征区域以外的区域中显著地降低与预测图像之间的图像差分量。因此,能够显著地提高特征区域动画的压缩率。
图4,表示图像处理装置170方块构成的一个例子。另外,在本图,表示将包含在每个区域被压缩的多个摄像图像的摄像动画解压缩的图像处理装置170方块构成。
图像处理装置170,具有压缩图像取得部301,附加对应分析部302,解压缩控制部310,解压缩部320,合成部330,和输出部340。压缩图像取得部301,取得包含被压缩部230压缩的摄像图像的压缩动画。具体,压缩图像取得部301,取得包含多个特征区域动画及背景区域动画的压缩 动画。更具体,压缩图像取得部301,取得附带特征区域信息的压缩动画。
并且,附加对应分析部302,分离出多个特征区域动画及背景区域动画和特征区域信息,将多个特征区域动画及背景区域动画提供给解压缩部320。同时,附加对应分析部302分析特征区域信息,向解压缩控制部310提供特征区域的位置及特征的种类。解压缩控制部310按照从附加对应分析部302取得的特征区域的位置及特征的种类,控制由解压缩部320进行的解压缩处理。比如,解压缩控制部310,按照特征区域的位置及特征的种类压缩部230压缩了动画的各区域的压缩方式,让解压缩部320对压缩动画表示的动画的各区域进行解压缩。
以下,说明解压缩部320具有的各构成要素的动作。解压缩部320,包含解码器322a-d(以下,总称解码器322)。解码器322,将被编码的多个特征区域动画及背景区域动画的其中一个解码。具体,解码器322a,解码器322b,解码器322c,和解码器322d,分别将第1特征区域动画,第2特征区域动画,第3特征区域动,和背景区域动画解码。
合成部330,合成被解压缩部320解压缩后的多个特征区域动画及背景区域动画,生成1个显示动画。具体,合成部330,对背景区域动画中包含的摄像图像,通过合成多个特征区域动画中包含的摄像图像上的特征区域的图像,生成1个显示动画。输出部340,对显示装置180或图像DB175输出从附加对应分析部302取得的特征区域信息及显示动画。另外,图像DB175,可以将特征区域信息表示的特征区域的位置,特征区域的特征的种类,特征区域数与识别显示动画中包含的摄像图像的信息对应,存储在硬盘等的不挥发性的记录介质中。
图5,表示压缩部230以外的方块构成的一个例子。在本构成中的压缩部230通过与特征的种类对应的空间可扩展(scalable)编码处理,进行压缩多个摄像图像。
在本构成中的压缩部230,具有画质变换部510,差分处理部520,和编码部530。差分处理部520具有多个阶层间差分处理部522a-d(以下总称阶层间差分处理部522)。编码部530具有多个编码器532a-d(以下,总称编码器532)。
画质变换部510,从图像生成部220取得多个摄像图像。同时,画质 变换部510取得用于指定特征区域检测部203所检测出的特征区域的信息,及用于指定特征区域的特征的种类的信息。并且,画质变换部510,通过复制摄像图像,生成特征区域的特征的种类数目的摄像图像。并且,画质变换部510,把所生成的摄像图像转换成与特征的种类对应的分辨率的图像。
比如,画质变换部510,生成转换成与背景区域对应的分辨率的摄像图像(以后,称低分辨率图像。)、转换成与第1特征的种类对应的第1分辨率的摄像图像(称第1分辨率图像)、转换成与第2特征的种类对应的第2分辨率的摄像图像(称第2分辨率图像)、及转换成与第3特征的种类对应的第3分辨率的摄像图像(称第3分辨率图像)。另外,在这里,设第1分辨率图像比低分辨率图像的分辨率高,第2分辨率图像比第1分辨率图像的分辨率高,第3分辨率图像比第2分辨率图像的分辨率高。
并且,画质变换部510,分别向阶层间差分处理部522d,阶层间差分处理部522a,阶层间差分处理部522b,和阶层间差分处理部522c供给低分辨率图像,第1分辨率图像,第2分辨率图像,和第3分辨率图像。另外,画质变换部510,通过对多个摄像图像的各个进行上述的画质变换处理,而对各个阶层间差分处理部522供给动画。
另外,画质变换部510,可以按照特征区域的特征的种类,转换供给阶层间差分处理部522的各个动画的帧速率。比如,画质变换部510,可以向阶层间差分处理部522a供给比对阶层间差分处理部522d供给的动画帧速率低的动画。同时,画质变换部510可以将比向阶层间差分处理部522b供给的动画还低的帧速率的动画提供给阶层间差分处理部522a;将比向阶层间差分处理部522c供给的动画还低的帧速率的动画供给阶层间差分处理部522b。另外,画质变换部510,可以按照特征区域的特征的种类,进行间除摄像图像,转换对阶层间差分处理部522供给的动画的帧速率。
阶层间差分处理部522d和编码器532d,对包含多个低分辨率图像的背景区域动画进行预测编码。具体,阶层间差分处理部522,生成与从其他的低分辨率图像被生成的预测图像的差分图像。并且,编码器532d,将差分图像转换成空间频率分量后得到的变换系数量化,将被量化得到的 变换系数根据熵编码等编码。另外,这样的预测编码处理可以在每个低分辨率图像的部分区域进行。
同时,阶层间差分处理部522a,对包含从画质变换部510供给的多个第1分辨率图像的第1特征区域动画进行预测编码。同样,阶层间差分处理部522b和阶层间差分处理部522c,分别对包含多个第2分辨率图像的第2特征区域动画及包含多个第3分辨率图像的第3特征区域动画进行预测编码。以下,围绕阶层间差分处理部522a及编码器532a具体的动作加以说明。
阶层间差分处理部522a,对编码器532d做的编码后的第1分辨率图像进行解码,将解码后的图像扩大成和第1分辨率同样的分辨率的图像。并且,阶层间差分处理部522a,生成扩大后的图像和低分辨率图像之间的差分图像。这时,阶层间差分处理部522a设背景区域的差分值为0。并且,编码器532a与编码器532d同样地将差分图像编码。另外,由阶层间差分处理部522a及编码器532a进行的编码处理,可以在第1分辨率图像的部分区域的每一个被实施。
另外,阶层间差分处理部522a在对第1分辨率图像编码时,对将与低分辨率图像之间的差分图像编码时的被预测的编码量和,与从其他的第1分辨率图像生成的预测图像之间的差分图像编码时的被预测的编码量进行比较。在后者的编码量小的情况下,阶层间差分处理部522a生成与从其他的第1分辨率图像生成的预测图像之间的差分图像。另外,如果被预测出不取与低分辨率图像或预测图像的差分进行编码的编码量变得小的情况下,阶层间差分处理部522a可以不取与低分辨率图像或预测图像之间的差分。
另外,阶层间差分处理部522a,可以不把在背景区域的差分值设为0。在这种情况下,编码器532a可以把对在特征区域以外的区域的差分信息编码后的数据设定为0。比如,编码器532a可以把转换成频率分量之后的变换系数设为0。另外,如果阶层间差分处理部522d将预测编码后的运动矢量信息提供给阶层间差分处理部522a。阶层间差分处理部522a可以采用被阶层间差分处理部522d供给的运动矢量信息计算出预测图像用的运动矢量。
另外,阶层间差分处理部522b和编码器532b的动作,除编码第2分辨率图像之点,和编码第2分辨率图像时,有时取与编码器532a的编码后的第1分辨率图像的差分之点之外,阶层间差分处理部522b和编码器532b的动作及阶层间差分处理部522a编码器532a的动作大体上相同,所以省略说明。同样,阶层间差分处理部522c和编码器532c的动作,在编码第3分辨率图像之点,和编码第3分辨率图像编码时,有时取与编码器532b的编码后的第2分辨率图像的差分之点以外,与阶层间差分处理部522a和编码器532a的动作大体上相同,所以省略说明。
如以上说明,画质变换部510,从多个摄像图像的每一个,生成降低成低画质之后的低画质图像,及至少在特征区域中比低画质图像高的高画质的特征区域图像。并且,差分处理部520,生成表示在特征区域图像中的特征区域的图像和在低画质图像中的特征区域的图像之间的差分图像的特征区域差分图像。并且,编码部530分别对特征区域差分图像及低画质图像进行编码。
同时,画质变换部510,由多个摄像图像生成被降低了分辨率的低画质图像,差分处理部520,生成在特征区域图像中的特征区域的图像和将低画质图像中的特征区域的图像放大后的图像之间的特征区域差分图像。同时,差分处理部520,在特征区域中,具有特征区域图像和扩大后的图像之间的差分被转换成空间频域的空间频率分量,在特征区域以外的区域中生成降低了空间频率分量的数据量后的特征区域差分图像。
如以上说明,压缩部230,通过对分辨率不同的多个阶层间的图像的差分进行编码,而进行阶层性地编码。由此可以明确,本构成的压缩部230的压缩方式的一部分,包含H.264/SVC的压缩方式。
图6,表示被摄像图像600生成的输出图像的一个例子。图像生成部220,取得包含被摄像部200改变摄像条件并摄像的摄像图像600-1~18的动画。另外,摄像部200,在第1期间中,通过按照后面说明的使摄像条件A~I变化后进行摄像,来拍摄摄像时的摄像条件不相同的第1组的摄像图像600-1~9。并且,摄像部200,在此后的第2期间中,通过使摄像条件再次改变为A~I进行摄像,拍摄摄像时的摄像条件不相同的第2组的摄像图像600-10~18。摄像部200,通过反复这样的摄像动作,来拍 摄摄像时的摄像条件在各组中不相同的复数组的摄像图像。
并且,图像合成部224,通过重合第1组的摄像图像600-1~9,生成输出图像620-1。同时,图像合成部224,通过重合第2组的摄像图像600-10~18,生成输出图像620-2。图像合成部224,通过反复这样的动作,通过重合各组的摄像图像600,从而从各组的摄像图像600各个生成1输出图像620。
另外,图像合成部224,以所定的加权系数对摄像图像加权并使之重合。另外,可以按照摄像条件预先设定加权系数。比如,图像合成部224,可以使以更短的曝光时间被拍摄的摄像图像以更大地加权而重合,从而生成输出图像620。
另外,特征区域检测部203从摄像图像600-1~18分别检测出特征区域610-1~18(以后,总称为特征区域610)。然后,附加对应处理部206对输出图像620-1附加对应表示从生成输出图像620-1时使用的摄像图像600-1~9检测出的特征区域610-1~9的位置的信息。同时,附加对应处理部206与输出图像620-2附加对应表示从生成输出图像620-2时使用的摄像图像600-10~18检测出的特征区域610-10~18的位置的信息。
这样,即使在图像处理装置170一侧,也清楚被输出图像620-1代表的第1期间中的特征区域610的位置。因此,图像处理装置170能够通过实施强调输出图像620-1中的该特征区域的处理,得以生成能够唤起监控者注意的监测用的动画。
图7,表示摄像条件A~I的一个例子。摄像控制部210,存储预设的曝光时间及光圈值的组。
比如,摄像控制部210,存储用于以曝光时间T和以光圈值F拍摄的摄像条件E。另外,T越大曝光时间的时间长度变得越长,F越大光圈的开度变得越小。另外,这里,以时间长度固定的曝光时间在受光部曝光时,光圈值成为2倍的话,将受光部接受光的光量变成1/4倍。也就是,这里的受光部接受光的光量和光圈值的平方成正比。
并且,摄像条件D,C,B,A中,曝光时间被设定为T除以2的值,另一方面光圈值设定为F除以2的平方根的值。并且,在摄像条件F、G、H、I中,曝光时间设定为T乘以2的值,另一方面光圈值设定为2的平 方根乘以F的值。这样,摄像控制部210在摄像条件A~I中,存储设定为受光部的曝光量大体上同样的不同的曝光时间及光圈值的摄像条件。
如图6相关说明的那样,摄像控制部210,以摄像控制部210存储的摄像条件A~I,使摄像部200摄像条件连续变化,周期性地变化摄像条件。如果用这样的摄像条件拍摄时,被拍摄对象的亮度没有变化,在同样的图像区域中,摄像图像600的亮度不受摄像条件限制,大体上为相同。因此,根据摄像装置100,能够提供即使连续显示多个摄像图像时闪烁也很少的动画。
同时,比如当摄像部200以摄像条件A同样的更短的曝光时间摄像时,即使针对高速移动的移动体,有时也能降低被拍摄对象的抖动。同时,因为摄像部200以摄像条件I同样的,更大的光圈值摄像的话,则景深变深,有时能放大可获得鲜明的被拍摄对象图像的区域。因为这个缘故,在特征区域检测部203中能够降低检出失败的特征区域的概率。同时,根据摄像装置100,有时能够在输出图像620中编入抖动、模糊较少的鲜明的被拍摄对象图像的图像信息。另外,如上所述,摄像控制部210,可以在除了被曝光时间及光圈值限定的摄像条件以外,可以改变聚焦位置,分辨率等,种种摄像条件的组合让摄像部200摄像。
图8,表示压缩部230压缩的摄像图像600组的一例。压缩部230将根据摄像条件A拍摄的多个摄像图像600-1、摄像图像600-10,......,作为动画加以压缩。同时,压缩部230,将根据摄像条件B摄像的多个摄像图像600-2、摄像图像600-11,......,作为动画加以压缩。另外,压缩部230,作为动画压缩根据摄像条件C而摄像的多个摄像图像600-3、摄像图像600-12、......这样,压缩部230,将以不同的摄像条件拍摄的摄像图像600作为不同的动画而进行压缩。
这样做,压缩部230,将分别包含以同样的摄像条件被摄像的多个摄像图像的多个摄像动画一个一个地压缩。在由同样的摄像条件被摄像的摄像图像600中,由于摄像条件变化而使被拍摄体图像产生的变化(比如,被拍摄对象图像的移动量的变化,被拍摄对象图像的亮度的变化等)显著地小。因此,压缩部230,根据MPEG编码等的预测编码能显著地降低各组摄像动画的数据量。
另外,即使对图像处理装置170输出被这样分割后的摄像动画,也希望为了各摄像动画中包含的摄像图像,按照被拍摄的顺序,在显示装置180中被适当地显示,对各摄像动画给予表示各个摄像图像应该被显示的定时的定时信息。同时,与图7说明过的摄像条件不同,当以图像的亮度完全不同那样的摄像条件,拍摄摄像图像时,亮度调整部228,可以按照摄像条件调整摄像图像的亮度后提供给压缩部230。同时,压缩部230,可以压缩包含复数符合被图像选择部226选中的规定的条件的摄像图像的动画。
图9,表示其他摄像条件的一个例子。摄像控制部210,存储有关作为用于规定摄像部200摄像条件的参数的曝光时间及光圈值,与有关预定的不同的多个曝光时间及预定的不同的多个光圈值的不同的组。
具体,摄像部200,至少为,能以预定的T/2,T,2T不同的3种曝光时间、以预定的F/2,F,2F不同的3种光圈值进行摄像。这种情况下,摄像控制部210,预先存储曝光时间与光圈值的组合不同的9种组合的组。并且,摄像控制部210,以图示的摄像参数不相同的组合使被规定的多种摄像条件如图6所说明的那样连续变化。
图10,进一步表示摄像条件新的一个例子。摄像控制部210,存储有关作为规定摄像部200的摄像条件的参数的曝光时间,光圈值,以及增益特性,有关被预定的不同的多个曝光时间,被预定的不同的多个光圈值,及被预定的不同的多个增益特性的不同的组。
具体,摄像部200,作为至少能够以预设的T/2,T,2T不同的3种曝光时间、以预设的F/2,F,2F不同的3种的光圈值,以预设的3种的增益特性进行摄像。图中的″不足″,″过度″,″标准″分别表示以下特性:构成曝光不足的增益特性、构成曝光过度的增益特性、以及既不构成曝光不足也不构成曝光过度的增益特性。这种情况,摄像控制部210预先存储与曝光时间光圈值的组合不同的27种组合的组。
另外,作为增益特性的指标,能示例的有增益值本身。作为增益特性以外的指标,能示例的有对被输入的摄像信号进行非线性的亮度调整的增益曲线。同时,亮度调整,可以在将模拟的摄像信号转换成数字的摄像信号的AD变换处理的前段进行。其他,亮度调整也可以编入AD变换处理。
这样,摄像部200,还用不同的增益特性对摄像信号进行增益调整,而连续性地拍摄多个摄像图像。并且,摄像部200,根据曝光时间,光圈开度,和增益特性不相同的组合连续性地拍摄多个摄像图像。摄像控制部210,如图6的相关说明的那样,使以所图示的摄像参数不相同的组合规定的多种摄像条件连续地变化。
如图9及图10的相关说明那样,摄像部200可以得到以多种多样的摄像条件被摄像的被拍摄对象图像。因此,即使在视角内存在亮度、运动速度不同的被拍摄对象,也能够提高在所获得的多个帧里面的任何一个中得到各被拍摄对象的鲜明的图像可能性。因此,在特征区域检测部203中能够降低检测出失败特征区域的概率。同时,有时能够在输出图像620中编入抖动、模糊少的鲜明的被拍摄对象图像的图像信息。
另外,与图9及图10有关联,给出了表示摄像控制部210对各摄像参数存储了3等级的组合的例子,不过,摄像控制部210,可以存储多个摄像参数里面的至少任何一个具有2等级,或4等级以上的摄像参数。同时,摄像控制部210,可以改变聚焦位置,分辨率等,改变种种的摄像条件不相同的组合让摄像部200摄像。
同时,摄像部200,除了增益特性以外也能够按照相对于摄像信号的种种处理参数被限定的不同的摄像条件,连续性地拍摄多个摄像图像。作为处理参数,例如,能够例示如下处理:不同的清晰度(sharpness)特性的清晰度处理;不同的白色平衡特性的白色平衡处理(ホワイトバランス処理);以不同颜色同步化特性为指标的颜色同步化处理;不同的输出分辨率的分辨率变换处理;不同的抗压强度的压缩处理等。同时,作为压缩处理,比如有以灰度为指标的灰度数目降低处理等,以特定的画质作为指标的画质降低处理,其他,还有以编码量等的数据容量作为指标的容量降低处理。
图11,表示用于图像合成部224的重合处理的运算参数的一个例子。在这里,例示了在使以摄像条件的组A~I得到的多个摄像图像重合的处理中,图像合成部224使用的运算参数。
作为图像合成部224的重合处理,能示例象素值的加权平均处理。作为加权平均处理的运算参数,包含将表示多个摄像图像象素值相加的加权 的大小的加权系数,和以加权系数表示的加权除上相加所得的象素值的除法系数。本图之例,表示图像合成部224存储的,在a~i表示的9个的运算模式使用的运算参数。
运算模式a,表示将摄像图像单纯平均时的运算模式。在运算模式a中,以摄像条件的组合A~I得到的9个摄像图像以同值的加权系数1被加权平均。
在这里,说明摄像条件的具体例。在这里作为用于以不同的摄像条件摄像的摄像参数,示例了曝光的时间及光圈值。使曝光时间按照2T,T,T/2的3个模式变化,使光圈值,按照F,(2)1/2F,2F的3个模式变化。能够通过3种曝光期间及3种光圈值的组合,得到摄像条件不同的9个摄像图像。如以下说明,根据摄像时的曝光时间及光圈值的大小,摄像图像具有互相不同的特征。为了简便,在这里设焦点距离为固定,光圈值为表现光圈的大小的数值。
比如,从图像的亮度之点来看的话,根据摄像条件A能得到最明亮的摄像图像。同时,根据摄像条件I能得到最暗的摄像图像。若将以各摄像条件得到的摄像图像的亮度的大小,用摄像条件的记号及不等号表示的话,则为I<F,H<C,E,G<B,D<A。具体,把对摄像装置100的入射光量(曝光量)设定为亮度的指标的话,根据摄像条件A得到的摄像图像具有根据摄像条件I得到的摄像图像的16倍的亮度。
在摄像环境显著地暗的情况下,有时把以入射光量最多的摄像条件A获得的摄像图像作为输出图像更适合。另一方面,在照明光量充分的情况下等,当摄像环境十分明亮的情况下,由摄像条件A得到的摄像图像有时白色失调。在这样的情况下,如果由摄像条件I得到的摄像图像亮度适度,有时更适合于作为输出图像。因此,通过选择性地使用这些摄像图像,能够实质性地扩大动态范围。如后所述,图像合成部224,通过控制上述的加权系数,能控制这些摄像图像的选择。比如,图像合成部224,根据摄像环境的明亮度,控制对各摄像图像的加权系数,而得到亮度恰当的输出图像。
另一方面,如果在被拍摄对象与摄像装置100之间有相对的运动时,曝光期间越长则被拍摄对象图像的抖动就越大。同时,光圈越小,被拍摄 对象图像的模糊越大。因此,即使为同程度的亮度的摄像图像,也会由于摄像参数的组合的差异,而造成图像特征也不同。
比如,如果把入射光量作为亮度的指标,如果根据摄像条件C,E,G的摄像条件进行摄像,则能得到同样亮度的摄像图像。根据摄像条件C,可以得到抖动比较大的,而模糊少的摄像图像。另一方面,根据摄像条件G,能够得到模糊比较大,但是抖动小的摄像图像。摄像条件E的模糊及抖动的大小程度居于摄像条件C和摄像条件G二者之间。
因此,如果被拍摄对象有运动时,采用摄像条件G或摄像条件E而得到的摄像图像与摄像条件C而得到的摄像图像相比抖动更少,有时更适合作为输出图像。被拍摄对象如果没有运动,根据摄像条件C得到的摄像图像要比根据摄像条件G获得的摄像图像的模糊还少,有时更适合于作为输出图像。因此,图像合成部224,比如,按照被拍摄对象的运动,通过控制对摄像图像的加权系数,能得到恰当的输出图像。
因此,可以根据重视哪种特征而确定将对哪个摄像条件的加权增大。以下,采用被示例的几个运算模式,说明加权平均处理。
运算模式b,表示用于整齐平均化图像全体的亮度的运算参数的一个例子。该处理,将按照入射光量,将亮度正规化后的摄像图像的象素值进行平均化处理。
运算模式c,表示用于对亮度同样的3个摄像图像进行平均的运算参数的一个例子。如上所述,可以根据何种程度重视模糊及抖动的某个特征,而让对于3个摄像图像的进一步的加权系数不同。
运算模式d,表示重视中间性的亮度的摄像图像情况下的运算参数的一个例子。较比按照其他的摄像条件获得的摄像图像更加重视根据摄像条件C,E,G得到的摄像图像。摄像条件A及B等,亮度最大或最小的摄像图像不被重视。根据运算模式d,在根据摄像条件A得到的摄像图像即使有白色失调,也由于对其摄像图像的加权为1/22比较小,有时也能够得到实质性的没有白色失调的输出图像。同时,因为对摄像条件I的加权也比较小,所以有时也能够得到量化噪音很小的输出图像。
运算模式e,表示如果重视防止抖动的运算参数的一个例子。在运算模式e中,对于以更短的曝光时间得到的摄像图像,给与更大的加权。同 时,在曝光时间同样的情况时,对于以更小的光圈值得到的摄像图像给与更大的加权。因此,更明亮,而且鲜明的摄像图像变得更加受到重视。
运算模式f,表示如果重视防止模糊的运算参数的一个例子。在运算模式f中,对于以更大的光圈值得到的摄像图像给与更大的加权。在光圈值同样的情况时,对于以更长的曝光时间得到的摄像图像给与更大的加权。因此,更明亮,而且鲜明的摄像图像变得更加受到重视。
运算模式g,表示重视防止黑色失调时的运算参数的一个例子。在运算模式g中,对于以入射光量变得更大的摄像条件获得的摄像图像给予更大的加权。这样,往往能够获得防御黑色失调,量化噪音也小的输出图像。
运算模式h,表示如果重视防止白色失调的运算参数的一个例子。在运算模式h中,对于以入射光量变得更小的摄像条件获得的摄像图像给予更大的加权。因此,往往能够防御输出图像的白色失调。
运算模式i,表示特别重视防止黑色失调及白色失调时的运算参数的一个例子。图像合成部224,按照各摄像图像的象素值检测出白色失调(过度)及黑色失调(under不足)的存在。图像合成部224,把对没被查出白色失调及黑色失调的摄像图像的加权系数设定成比对检测出白色失调及黑色失调的摄像图像的加权系数还大。本图的例子中,设对没被查出白色失调及黑色失调的摄像图像的加权系数为1,对被查出白色失调及黑色失调的摄像图像的加权系数为0。
另外,图像合成部224,可以按照摄像图像的象素值,对超出所定的象素值(比如,亮度值250)的象素值的象素的数计数,被计数的象素的数超过了所定的阈值时,检测出白色失调的存在。同时,图像合成部224,可以按照摄像图像的象素值,对低于所定的象素值(比如,亮度值5)的象素值的象素的数计数,被计数的象素的数超过了所定的阈值时,检测出黑色失调的存在。另外,上述阈值,可以是与摄像图像中包含的象素数对应的值(比如,与摄像图像的象素数呈比例的值)。同时,上述所定的象素值,可以是与灰度数对应的值。
另外,在运算模式b的运算参数的重合处理,为对入射光量正规化后的摄像图像的加法处理,不过,在运算模式c~i的运算参数的重合处理中,入射光量没有被正规化。在对运算模式c~i的运算参数重合时,可 以再加上对于入射光量的正规化的处理。比如,图像合成部224可以用运算模式b的运算参数加权之后,用运算模式c~i的任何一个运算参数加权;在用运算模式c~i的任何一个运算参数加权之后,可以由运算模式b的运算参数加权。当然,图像合成部224,可以在每个摄像条件乘以运算模式b的运算参数和运算模式c~i的任何一个运算参数后的加权系数进行加权平均处理。
同时,在上述记载中,为了使说明通俗易懂,分别围绕重视模糊,重视抖动等的重视的特征的各个独立示出了运算参数。可以通过将入射光量的正规化效果加到对其他的运算模式c~i的处理同样的处理,根据模糊的重视程度,抖动重视的程度等,重视各特征的程度来决定运算参数。
如以上图11所说明的那样,图像合成部224可以生成根据摄像条件的组合相应的加权来加权摄像图像的输出图像。比如,能以重视模糊,抖动,白色失调(白飛び),黑色失调(黒潰れ)及明亮度的其中哪一个、以及以与这些的重视程度对应的加权进行对摄像图像的加权。以此,有时能够生成与照明环境、被拍摄对象的运动、被拍摄对象的大小、被拍摄对象的明亮度等对应的,所期望的好画质的输出图像。
根据以上说明的摄像系统10,能降低特征区域的检出失败的概率。同时,根据摄像系统10,能够提供在削减数据量的同时具有出色的视认性的监控动画。
图12,表示其他的实施方式涉及的摄像系统20一个例子。在本实施方式中的摄像系统20的构成,除了还具有图像处理装置900a及图像处理装置900b(以下,总称为图像处理装置900。)之点以外,均与图1中说明过的摄像系统10的构成同样。
在本构成中的摄像装置100具有在图2中所说明的摄像装置100各构成要素中的摄像部200的功能。同时,图像处理装置900具有在图2中所说明的摄像装置100各构成要素中的,除摄像部200以外的构成要素。并且,摄像装置100中包含的摄像部200的功能及动作和图像处理装置900中包含的各构成要素的功能及动作,因为与从图1至图11,与摄像系统10相关联说明的各构成要素的功能及动作大体上同样,所以省略说明。在这样的摄像系统20中也能获得与图1到图11中的与摄像系统10相关 说明的效果大体上同样的效果。
图13,示出摄像装置100及图像处理装置170的示例性硬件配置。摄像装置100及图像处理装置170,具有CPU周边部、输入/输出部以及传统的输入、输出部。CPU周边部包括通过主控制器1582彼此连接的CPU1505、RAM1520、图解控制器1575、以及显示装置1580。输入/输出部包括通过输入/输出控制器1584连接到主控制器1582的通信接口1530、硬盘驱动器1540、以及CD-ROM驱动器1560。传统的输入/输出部包括连接到输入/输出控制器1584的ROM1510、软盘驱动器1550、以及输入输出芯片1570。
主控制器1582连接RAM1520、以高传输速率访问RAM1520的CPU1505和图解控制器1575。CPU1505,根据存储在ROM1510和RAM1520上的程序内容运行,控制每个组件。图解控制器1575获得CPU1505等在RAM1520内设置的帧缓冲器上生成的图像数据,并使得显示装置1580显示获得的图像数据。图解控制器1575可选择地包括存储由CPU1505等生成的图像数据用的帧缓冲器。
输入输出控制器1584,连接主控制器1582、以相对高速运行的输入/输出装置,即硬盘驱动器1540、通信接口1530、以及CD-ROM驱动器1560。硬盘驱动器1540存储CPU1505使用的程序和数据。通信接口1530与网络通信装置1598连接,收发程序或数据。CD-ROM驱动器1560从CD-ROM1595中读取程序和数据,并通过RAM1520向硬盘驱动器1540及通信接口1530提供所读取的程序和数据。
在输入/输出控制器1584上还连接相对低速运行的输入/输出装置,即ROM1510、软盘驱动器1550以及输入输出芯片1570。在ROM1510上存储由摄像装置100及图像处理装置170在启动时执行的引导程序,或依存于摄像装置100及图像处理装置170硬件的程序等。软盘驱动器1550从软盘1590读取程序和数据,并通过RAM1520向硬盘驱动器1540及通信接口1530提供读取的程序和数据。输入/输出芯片1570,例如连接软盘驱动器1550,或通过并行口、串行口、键盘端口、鼠标端口等连接各种输入/输出装置。
CPU1505执行的程序是由用户在其存储于例如软盘1590、 CD-ROM1595和IC卡等记录介质上提供的。被记录介质存储的程序可以是压缩的也可以是非压缩的。程序从记录介质被安装到硬盘驱动器1540中,通过RAM1520读取,并由CPU1505执行。被CPU1505执行的程序,使摄像装置100具有作为如图1至12描述的摄像装置100具有的各构成要素的功能,使图像处理装置170具有作为如图1至12描述的图像处理装置170具有的各构成要素的功能。
以上所示程序,也可以存储在外部的记录介质中。作为记录介质,除软盘1590、CD-ROM1595以外,还能够使用DVD或用PD等的光学记录介质、MD等的光磁记录介质、磁带介质,IC卡等的半导体存储器等。同时,还可以利用专用通信网络或者互联网上连接的服务器系统设置的硬盘或RAM等的存储装置,作为记录介质使用,作为借助网络的程序提供给摄像装置100及图像处理装置170。这样,由程序控制的计算机,可作为摄像装置100及图像处理装置170而发挥作用。
以上,用实施方式说明了本发明,不过,本发明的技术范围不受上述实施例记载的范围所限定。本区域技术人员清楚,可对上述实施的方式,多种多样的进行变形及改进。从保护范围可以明白这样的变形及改进均被包括在本发明技术范围内。
保护范围、说明书、和在图纸中表示的装置、系统、程序、和在方法中的动作、次序、步骤,和阶段等的各处理的实行顺序,只要没有特别注明“比...先”、“在...之前”等,或者只要不是后边的处理必须使用前面的处理的输出,就可以以任意的顺序实施。有关保护范围、说明书和图纸中的动作流程,为了说明上的方便,使用了“首先”、“其次”、等字样加以说明,但即使这样也不意味着以这个程序实施是必须的条件。
Claims (19)
1.一种摄像装置,具有:
摄像部,其用于以曝光时间的时间长度以及光圈开度不同,曝光量被设定为固定的多种摄像条件连续性地拍摄多个摄像图像;
图像生成部,其重合以所述不同的多种摄像条件拍摄的所述多个摄像图像,并生成输出图像;
输出部,其输出所述图像生成部所生成的所述输出图像;
特征区域检测部,其分别从以所述不同的多种摄像条件被拍摄的所述多个摄像图像,检测出特征区域;
所述输出部,与所述输出图像对应输出表示所述特征区域检测部所检测出的特征区域的特征区域信息。
2.根据权利要求1的摄像装置,其中,
所述摄像部,通过以所述曝光时间以及所述光圈开度的不同组合,而连续性地拍摄所述多个摄像图像。
3.根据权利要求1记载的摄像装置,其中,
所述摄像部,通过以不同的增益特性对摄像信号进行增益调整,而连续性地拍摄所述多个摄像图像。
4.根据权利要求3记载的摄像装置,其中,
所述摄像部,通过所述曝光时间、所述光圈开度、和所述增益特性的不同组合,而连续性地拍摄所述多个摄像图像。
5.根据权利要求1记载的摄像装置,其中,
所述摄像部,连续性地拍摄具有不同的分辨率的所述多个摄像图像。
6.根据权利要求1记载的摄像装置,其中,
所述摄像部,连续性地拍摄不同色数的所述多个摄像图像。
7.根据权利要求1记载的摄像装置,其中,
所述摄像部,连续性地拍摄在不同的位置被聚焦的所述多个摄像图像。
8.根据权利要求7记载的摄像装置,其中,还包括:
特征区域检测部,其从所述多个摄像图像的各个检测出特征区域;
特征区域位置预测部,其根据从所述多个摄像图像的各个被检测出的所述特征区域的位置,预测从拍摄该多个摄像图像的定时后的定时中的特征区域的位置;
所述摄像部,在被所述特征区域位置预测部预测的所述特征区域的位置,进行聚焦,并连续性地拍摄所述多个摄像图像。
9.根据权利要求1至4任意一项记载的摄像装置,其中,
所述图像生成部,在各多个图像区域,从所述多个摄像图像中选择符合预定的条件的摄像图像,通过合成在各所述多个图像区域选出的摄像图像中的所述多个图像区域的图像,生成所述输出图像。
10.根据权利要求1至4任意一项记载的摄像装置,其中,
所述图像生成部,通过将所述多个摄像图像的象素值平均化处理,生成所述输出图像。
11.根据权利要求10记载的摄像装置,其中,
所述图像生成部,从在不同的期间分别被所述摄像部拍摄的多个摄像图像,分别生成多个输出图像;
所述输出部,输出作为各个动画构成图像包含所述多个输出图像的输出动画。
12.根据权利要求11记载的摄像装置,其中,
所述图像生成部,从在第1期间中以不同的多种摄像条件拍摄的所述多个摄像图像,生成第1所述输出图像,同时,从以和该多种摄像条件相同的多种摄像条件在第2期间拍摄的所述多个摄像图像,生成第1所述输出图像。
13.根据权利要求1记载的摄像装置,其中,
还包括压缩部,其在所述多个摄像图像的所述特征区域和作为在所述多个摄像图像中的所述特征区域以外的区域的背景区域,以不同的强度分别压缩所述多个摄像图像;
所述输出部还输出被所述压缩部压缩后的图像。
14.根据权利要求13记载的摄像装置,其中,
所述压缩部,具有,
图像分割部,其将所述多个摄像图像分割成所述特征区域和所述特征区域以外的背景区域;
压缩处理部,其分别以各自不同的强度压缩作为所述特征区域的图像的特征区域图像和作为所述背景区域的图像的背景区域图像。
15.根据权利要求14记载的摄像装置,其中,
所述图像分割部,其将所述多个摄像图像分别分割成所述特征区域和所述背景区域;
所述压缩处理部,其分别以各自不同的强度压缩包含多个所述特征区域图像的特征区域动画和包含多个所述背景区域图像的背景区域动画。
16.根据权利要求13记载的摄像装置,其中,
所述压缩部,具有:
画质变换部,其从所述多个摄像图像,分别生成把画质变成低画质的低画质图像,以及至少在所述特征区域中比所述低画质图像画质高的高画质的特征区域图像;
差分处理部,其生成表示所述特征区域图像中的所述特征区域的图像和所述低画质图像中的所述特征区域的图像之间的差分图像的特征区域差分图像;
编码部,其将所述特征区域差分图像及所述低画质图像分别编码。
17.根据权利要求16记载的摄像装置,其中,
所述画质变换部,其从所述多个摄像图像生成降低了分辨率后的所述低画质图像;
所述差分处理部,其生成在所述特征区域图像中的所述特征区域的图像和将所述低画质图像中的所述特征区域的图像放大后的图像之间的所述特征区域差分图像。
18.根据权利要求17记载的摄像装置,其中,
所述差分处理部,生成在所述特征区域中具有所述特征区域图像和所述放大后的图像之间的差分被转换成空间频域的空间频率分量,在所述特征区域以外的区域中降低所述空间频率分量的数据量后的所述特征区域差分图像。
19.一种摄像方法,具有如下步骤:
摄像步骤,以曝光时间的时间长度以及光圈开度不同,曝光量被设定为固定的多种摄像条件连续性地拍摄多个摄像图像;
图像生成步骤,将以所述不同的多种摄像条件被拍摄的所述多个摄像图像重合,并生成输出图像;
输出步骤,输出在所述图像生成步骤中生成的所述输出图像;
特征区域检测步骤,其分别从以所述不同的多种摄像条件被拍摄的所述多个摄像图像,检测出特征区域;
所述输出步骤,与所述输出图像对应输出表示所述特征区域检测步骤所检测出的特征区域的特征区域信息。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008091506 | 2008-03-31 | ||
JP2008-091506 | 2008-03-31 | ||
JP2009039508A JP5231284B2 (ja) | 2008-03-31 | 2009-02-23 | 撮像装置、撮像方法、およびプログラム |
JP2009-039508 | 2009-02-23 | ||
PCT/JP2009/001488 WO2009122721A1 (ja) | 2008-03-31 | 2009-03-31 | 撮像装置、撮像方法、およびプログラムを記憶するコンピュータ読み取り可能な媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101953153A CN101953153A (zh) | 2011-01-19 |
CN101953153B true CN101953153B (zh) | 2013-08-07 |
Family
ID=41135124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801060492A Expired - Fee Related CN101953153B (zh) | 2008-03-31 | 2009-03-31 | 摄像装置和摄像方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8493476B2 (zh) |
JP (1) | JP5231284B2 (zh) |
CN (1) | CN101953153B (zh) |
WO (1) | WO2009122721A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015124004A1 (zh) * | 2014-02-22 | 2015-08-27 | 努比亚技术有限公司 | 拍摄方法和装置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5725821B2 (ja) * | 2010-12-02 | 2015-05-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
JP5899633B2 (ja) * | 2011-03-09 | 2016-04-06 | 富士通株式会社 | 画像合成装置、画像合成方法および画像合成プログラム |
JP5655667B2 (ja) * | 2011-03-31 | 2015-01-21 | カシオ計算機株式会社 | 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム |
JP5299488B2 (ja) * | 2011-09-13 | 2013-09-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR101871945B1 (ko) * | 2013-01-17 | 2018-08-02 | 한화에어로스페이스 주식회사 | 영상 처리 장치 및 방법 |
JP6230239B2 (ja) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
US9338349B2 (en) | 2013-04-15 | 2016-05-10 | Qualcomm Incorporated | Generation of ghost-free high dynamic range images |
JP6271926B2 (ja) * | 2013-09-18 | 2018-01-31 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
CN105306794B (zh) * | 2014-07-31 | 2019-03-22 | 宇龙计算机通信科技(深圳)有限公司 | 图像获取方法、图像获取装置和终端 |
JP6717564B2 (ja) | 2015-02-16 | 2020-07-01 | 大塚電子株式会社 | 配光特性測定装置および配光特性測定方法 |
US20170006219A1 (en) | 2015-06-30 | 2017-01-05 | Gopro, Inc. | Image stitching in a multi-camera array |
US10051206B2 (en) | 2015-09-28 | 2018-08-14 | Gopro, Inc. | Automatic composition of video with dynamic background and composite frames selected based on frame and foreground object criteria |
JP2017143340A (ja) * | 2016-02-08 | 2017-08-17 | 株式会社デンソー | 情報処理装置及びプログラム |
CN106034209B (zh) * | 2016-04-08 | 2019-02-22 | 奇瑞汽车股份有限公司 | 获取视频的方法及装置 |
JP6621942B2 (ja) * | 2016-12-12 | 2019-12-18 | 株式会社オプティム | 遠隔制御システム、遠隔制御方法、およびプログラム |
CN108924435B (zh) * | 2018-07-12 | 2020-08-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置和电子设备 |
WO2020044764A1 (ja) * | 2018-08-31 | 2020-03-05 | 富士フイルム株式会社 | 撮像素子、撮像装置、画像データ処理方法、及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3263807B2 (ja) * | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
JP3999321B2 (ja) * | 1997-12-05 | 2007-10-31 | オリンパス株式会社 | 電子カメラ |
JP3726223B2 (ja) * | 1998-03-27 | 2005-12-14 | 富士写真フイルム株式会社 | 画像処理装置 |
JP4267746B2 (ja) * | 1999-03-31 | 2009-05-27 | アイホン株式会社 | 映像圧縮装置 |
JP2002044516A (ja) * | 2000-07-24 | 2002-02-08 | Olympus Optical Co Ltd | 電子カメラ |
US20020141002A1 (en) * | 2001-03-28 | 2002-10-03 | Minolta Co., Ltd. | Image pickup apparatus |
EP1289270B1 (en) * | 2001-08-20 | 2008-04-09 | Photographic Art Research Laboratory | Method of making digital photograph |
US7233350B2 (en) * | 2002-01-05 | 2007-06-19 | Candela Microsystems, Inc. | Image sensor with interleaved image output |
JP2006054921A (ja) * | 2002-01-31 | 2006-02-23 | Hitachi Kokusai Electric Inc | 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム |
US7296286B2 (en) * | 2002-01-31 | 2007-11-13 | Hitachi Kokusai Electric Inc. | Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof |
JP4731953B2 (ja) * | 2005-03-02 | 2011-07-27 | 富士フイルム株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
JP2007201985A (ja) * | 2006-01-30 | 2007-08-09 | Matsushita Electric Ind Co Ltd | 広ダイナミックレンジ撮像装置 |
JP2009049810A (ja) * | 2007-08-21 | 2009-03-05 | Canon Inc | 撮像装置及びその制御方法及びプログラム |
-
2009
- 2009-02-23 JP JP2009039508A patent/JP5231284B2/ja active Active
- 2009-03-31 WO PCT/JP2009/001488 patent/WO2009122721A1/ja active Application Filing
- 2009-03-31 CN CN2009801060492A patent/CN101953153B/zh not_active Expired - Fee Related
-
2010
- 2010-09-21 US US12/887,171 patent/US8493476B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015124004A1 (zh) * | 2014-02-22 | 2015-08-27 | 努比亚技术有限公司 | 拍摄方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20110007185A1 (en) | 2011-01-13 |
CN101953153A (zh) | 2011-01-19 |
WO2009122721A1 (ja) | 2009-10-08 |
US8493476B2 (en) | 2013-07-23 |
JP2009268066A (ja) | 2009-11-12 |
JP5231284B2 (ja) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101953153B (zh) | 摄像装置和摄像方法 | |
CN111698434B (zh) | 图像处理设备及其控制方法和计算机可读存储介质 | |
CN101953152A (zh) | 摄像系统、摄像方法、和用于存储程序的计算机可读取介质 | |
CN1867078B (zh) | 图像处理装置、方法和图像获取装置 | |
CN102741883B (zh) | 高动态范围图像生成和渲染 | |
CN100592758C (zh) | 图像处理装置 | |
US20090290645A1 (en) | System and Method for Using Coded Data From a Video Source to Compress a Media Signal | |
CN107211182A (zh) | 显示方法和显示装置 | |
US10600170B2 (en) | Method and device for producing a digital image | |
US20220138964A1 (en) | Frame processing and/or capture instruction systems and techniques | |
US9389678B2 (en) | Virtual image signal processor | |
CN106888355A (zh) | 比特率控制器和用于限制输出比特率的方法 | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
US20060119712A1 (en) | Image pickup system | |
JP2010220207A (ja) | 画像処理装置及び画像処理プログラム | |
CN111476866B (zh) | 视频优化与播放方法、系统、电子设备及存储介质 | |
Topiwala et al. | Deep learning techniques in video coding and quality analysis | |
JP2008294524A (ja) | 画像処理装置および画像処理方法 | |
JP2010176239A (ja) | 画像処理装置、画像処理方法、画像符号化方法、画像復号化方法 | |
WO2022235785A1 (en) | Neural network architecture for image restoration in under-display cameras | |
CN101115132B (zh) | 获得高信噪比图像的方法 | |
US20220139074A1 (en) | Verification of embedded artificial neural networks systems and methods | |
WO2012119920A1 (en) | Monitoring device and method for monitoring a location | |
JP2011175608A (ja) | 画像処理装置及び画像処理方法 | |
US20230215051A1 (en) | Systems, apparatus, and methods for color space representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130807 Termination date: 20210331 |