CN101953152A - 摄像系统、摄像方法、和用于存储程序的计算机可读取介质 - Google Patents

摄像系统、摄像方法、和用于存储程序的计算机可读取介质 Download PDF

Info

Publication number
CN101953152A
CN101953152A CN2009801060505A CN200980106050A CN101953152A CN 101953152 A CN101953152 A CN 101953152A CN 2009801060505 A CN2009801060505 A CN 2009801060505A CN 200980106050 A CN200980106050 A CN 200980106050A CN 101953152 A CN101953152 A CN 101953152A
Authority
CN
China
Prior art keywords
photographed images
image
characteristic area
animation
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801060505A
Other languages
English (en)
Inventor
与那霸诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101953152A publication Critical patent/CN101953152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种摄像系统、摄像方法、和用于存储程序的计算机可读取介质。该摄像系统降低了传输数据量并提供被拍摄对象图像视觉鲜明的映像。该摄像系统具有:以不同的多个摄像条件连续性地拍摄多个摄像图像的摄像部;和输出连续性地显示以不同的摄像条件拍摄的多个摄像图像的动画的输出部。摄像部,可以通过以时间长度不同的曝光时间进行曝光,来连续性地拍摄多个摄像图像。此外,摄像部,可以通过以不同的光圈开度进行曝光,来连续性地拍摄多个摄像图像。

Description

摄像系统、摄像方法、和用于存储程序的计算机可读取介质
技术领域
本发明涉及摄像系统、摄像方法、和用于存储程序的计算机可读取介质。本申请与下列的日本申请有关,是主张来自下列的日本申请的优先权的申请。关于认可通过文献的参照编入内容的指定国,通过参照下列的申请记载的内容而编入本申请,作为本申请的一部分。
1.专利申请2008-091505申请日2008年3月31日
2.专利申请2009-007811申请日2009年1月16日
背景技术
公知的视频信号发送接收系统有:在照相机侧,将长时间曝光影像及短时间曝光影像分别压缩后进行传送,在接收终端侧,分别将被传送的数据解压缩,以任意的比率合成而显示广角动态范围影像的视频信号发送接收系统(例如,参照专利文献1)。另外公知的监控用摄像装置有:将存在于画面内的不同的位置的亮度不同的多个被拍摄对象,分别以不同的曝光时间进行分离并摄像,将多个被拍摄对象图像分别单独地作为正确曝光的视频信号而输出的监控用摄像装置(例如,参照专利文献2)。以及,公知的再现系统有:使用至少第一及第二的不同曝光时间来捕捉一系列的连续录像图像并显示的再现系统(例如,参照专利文献3)。
【在先技术文献】
【专利文献1】特开2006-54921号公报
【专利文献2】特开2005-5893号公报
【专利文献3】特表2005-519534号公报
然而,在不清楚适合各区域的曝光时间的情况下,即使在每区域组合不同的曝光时间的图像,有时也不能提供在视觉上鲜明的被拍摄对象图像的影像。
发明内容
为了解决上述课题,在本发明的第一方式中,提供一种摄像系统,其具有:以不同的多种摄像条件连续性地拍摄多个摄像图像的摄像部;和输出连续性地显示以不同的摄像条件拍摄的多个摄像图像的动画的输出部。
在本发明的第二方式中,提供一种摄像方法,具有:摄像阶段,以不同的多种摄像条件连续性地拍摄多个摄像图像;以及输出阶段,输出连续性地显示以上述不同的摄像条件拍摄的上述多个摄像图像的动画。
在本发明的第三方式中,提供一种存储图像处理装置用的程序的计算机可读取介质,该程序使计算机作为以下单元发挥功能:以不同的多种摄像条件连续性地拍摄多个摄像图像的摄像部;以及输出连续性地显示以不同的摄像条件拍摄的多个摄像图像的动画的输出部。
另外,上述发明的概要,并未列举出本发明的必要的技术特征的全部。此外,这些特征群的子结合也能够成为本发明。
附图说明
【图1】是表示一个实施方式涉及的摄像系统10一个例示图。
【图2】是表示摄像装置100的方块构成的一个例示图。
【图3】是表示压缩部230的方块构成的一个例示图。
【图4】是表示图像处理装置170的方块构成的一个例示图。
【图5】是表示压缩部230的其它构成的一个例示图。
【图6】是表示从摄像图像600生成的输出图像的一个例示图。
【图7】是表示摄像条件A~I的一个例示图。
【图8】是表示压缩部230压缩的摄像图像600的组的一个例示图。
【图9】是表示摄像条件的其它的一个例示图。
【图10】是表示摄像条件的另一其它的一个例示图。
【图11】是表示其他的实施方式涉及的摄像系统20的一个例示图。
【图12】是表现摄像装置100及图像处理装置170的硬件构成的一个例示图。
具体实施方式
以下,通过发明的实施方式说明本发明,不过,以下的实施方式并不限定于技术方案所涉及的发明,另外,在实施方式中说明的特征组合并非全部都是发明的解决手段所必须。
图1表示一个实施方式涉及的摄像系统10一个例子。摄像系统10,如以下所述,可以具有作为监控系统的功能。
摄像系统10具有作为对监控对象空间150进行拍摄的多个摄像装置100a-d(以下,总称为摄像装置100。)、通信网络110、图像处理装置170、图像DB175、和多个显示装置180a-d(以下,总称为显示装置180)。另外,图像处理装置170及显示装置180设置在与监控对象空间150不同的空间160中。
摄像装置100a拍摄监控对象空间150,并生成包括多个摄像图像的动画。在这个时候,摄像装置100a以不同的摄像条件连续拍摄。摄像装置100a,通过重合以不同的摄像条件所拍摄的摄像图像,生成更少数的输出图像。然后,摄像装置100通过通信网络110向图像处理装置170发送包括多个生成后的输出图像的监控动画。
摄像装置100a通过改变摄像条件进行摄像,可以提高获得鲜明的被拍对象图像的概率。因此,根据摄像装置100a,能够在削减数据量的同时提供含有鲜明的被拍摄对象图像的图像信息的监控图像。
另外,摄像装置100a从被摄像的动画,检测出特征的种类不同的多个特征区域,如拍摄了人物130的区域、拍摄了车辆等的移动体140的区域等。然后,摄像装置100a,压缩该动画,生成多个特征区域分别比特征区域以外的区域画质高的压缩动画数据。并且,摄像装置100a生成将特征区域的图像转换成与特征区域的各自的重要度对应的画质的图像的压缩动画数据。然后,摄像装置100a与用于表示特征区域的信息的特征区域信息建立对应,通过通信网络110向图像处理装置170发送压缩动画数据。
另外,摄像装置100b、摄像装置100c、和摄像装置100d,分别具有与摄像装置100a同样的功能及动作。因此,关于摄像装置100b、摄像装置100c、和摄像装置100d的功能及动作的说明予以省略。
图像处理装置170从摄像装置100接收与特征区域信息建立对应后的压缩动画数据。然后,图像处理装置170,采用已建立对应的特征区域信息将接收到的压缩动画数据进行解压缩,生成显示用动画,将所生成的显示用动画供给显示装置180。显示装置180显示由图像处理装置170供给的显示用动画。
此外,图像处理装置170可以与已与压缩动画数据建立了对应的特征区域信息建立对应后,将该压缩动画数据存储在图像DB175中。然后,图像处理装置170可以根据来自显示装置180的请求,从图像DB175读取压缩动画数据及特征区域信息,并利用特征区域信息将所读出的压缩动画数据进行解压缩而生成显示用动画,提供给显示装置180。
另外,特征区域信息可以是包括识别特征区域的位置、特征区域的大小、特征区域的个数、以及用于识别检已测出特征区域的摄像图像的识别信息等的文本数据,或压缩成该文本数据并实施加密等的处理后的数据。然后,图像处理装置170,根据特征区域信息包括的特征区域的位置、特征区域的大小、特征区域的个数等,指定满足各种检索条件的摄像图像。然后,图像处理装置170也可以将特别指定后的摄像图像解码提供给显示装置180。
由此,根据摄像系统10,因为与动画建立对应后记录了特征区域,所以能够高速地检索在动画中符合规定条件的摄像图像,并找到起始处。此外,根据摄像系统10,因为能够只给符合规定条件的摄像图像解编码,所以能够立即响应再现指示,很快地显示符合规定条件的部分动画。
图2为摄像装置100的方块构成的一个例子。摄像装置100具有摄像部200、特征区域检测部203、特征区域位置预测部205、建立对应处理部206、输出部207、摄像控制部210、图像生成部220、和压缩部230。图像生成部220具有图像合成部224、图像选择部226、和亮度调整部228。
摄像部200以不同的多种摄像条件连续性地拍摄多个摄像图像。具体而言,摄像部200根据使摄像部200的摄像条件变化的摄像控制部210的控制,以不同的多种摄像条件连续性地拍摄多个摄像图像。
另外,摄像部200可以用比预定的基准帧速率高的帧速率连续性地摄像。例如,摄像部200,可以采用比显示装置180能够显示的显示速率还高的帧速率进行摄像。另外,摄像部200还可以采用比根据作为监控对象的监控对象物的运动速度而预定的基准帧速率高的帧速率,连续性地摄像。另外,摄像图像可以是帧图像或是场图像。
具体而言,摄像部200通过以时间长度不相同的曝光时间曝光,来连续性地拍摄多个摄像图像。更具体而言,摄像部200,以时间长度不相同的曝光时间对摄像部200具有的受光部进行曝光。此外,摄像部200可以通过以不同的光圈开度进行曝光来连续性地拍摄多个摄像图像。此外,摄像部200可以通过以将曝光量设定成为固定的曝光时间及光圈开度进行曝光来连续性地拍摄多个摄像图像。
另外,摄像部200也可以连续性地拍摄具有不同的分辨率的多个摄像图像。此外,摄像部200也可以连续性地拍摄不同的色数的多个摄像图像。另外,摄像部200,可以连续性地拍摄在不同的位置被聚焦的多个摄像图像。
特征区域检测部203从多个摄像图像的各个摄像图像检测出特征区域。具体而言,特征区域检测部203,从包括多个摄像图像的动画检测出特征区域。例如,特征区域检测部203将在动画中包括移动的目标的区域,作为特征区域而检测出。另外,如后面具体地说明的那样,特征区域检测部203可以检测出在动画中包括特征性的目标区域,以作为特征区域。
另外,特征区域检测部203可以从动画检测出特征的种类不同的多个特征区域。所谓特征的种类,可以如人物与移动体等,把目标的种类作为指标。可以基于目标的形状或目标的颜色的一致度来决定目标的种类。
例如,特征区域检测部203可以分别从多个摄像图像的各个中提取以预定的一致度以上的一致度与预定的形状图形一致的目标,并检测出包括所提取的目标的摄像图像中的区域,以作为特征的种类相同的特征区域。此外,形状图形,可以对每一特征种类指定多个。并且,作为形状图形的一例,可以示例人物的脸的形状图形。另外,还可以指定多个人物的每个不同的脸的图形。由此,特征区域检测部203,能够检测出分别包括不同的人物的区域,以作为不同的特征区域。
这样,特征区域检测部203能够从以不同的摄像条件连续性地摄像而得到的摄像图像检测出特征区域。因此,能降低对特征区域检测失败的概率。例如,表示高速移动的移动体的目标,很多情况下从短曝光时间曝光并摄像的摄像图像中检测要比从以短曝光时间曝光而得到的摄像图像中检测容易。如上所述,根据摄像系统10,摄像部200能够通过使曝光期间的时间长度变化,连续性地摄像,从而降低高速移动的移动体的检测失败的概率。
根据从多个摄像图像的各个中被检测出的特征区域的位置,特征区域位置预测部205预测在摄像到该多个摄像图像的定时之后的定时下的特征区域的位置。然后,摄像部200,可以在特征区域位置预测部205所预测的特征区域的位置聚焦并连续性地拍摄多个摄像图像。具体而言,摄像控制部210,根据特征区域位置预测部205预测的特征区域的位置,调整摄像部200的摄像的焦点位置。
图像生成部220,重合以不同的多种摄像条件被摄像的多个摄像图像,生成输出图像。具体而言,图像合成部224重合以不同的多种摄像条件被摄像的多个摄像图像,生成一个输出图像。更具体而言,图像生成部220,通过平均多个摄像图像的像素值,生成一个输出图像。另外,图像合成部224在第一期间中,从以不同的多种摄像条件被摄像的多个摄像图像生成第一输出图像。此外,图像合成部224,以与该多种摄像条件同样的多种摄像条件从在第二期间被摄像的多个摄像图像生成第一输出图像。
这样,图像生成部220生成将以不同的摄像条件被摄像的图像合成后的输出图像。由于摄像部200以不相同的摄像条件进行摄像,所以能够提高在任一个摄像图像中被拍对象都被鲜明摄像的可能性。因此,根据摄像系统10,有时通过将被鲜明拍摄的摄像图像与其他的摄像图像合成而易于被人的视觉识别为鲜明的图像。
另外,图像选择部226按多个图像区域的每个图像区域,从多个摄像图像中选择符合预定的条件的区域。例如,图像选择部226,按多个图像区域的每个图像区域,选择比预定的亮度还亮的摄像图像。另外,图像选择部226,按多个图像区域的每个图像区域,选择具有比预定的对比度值大的对比度的摄像图像。这样,图像选择部226从多个摄像图像中,按多个图像区域的每个图像区域,选择以最佳状态对被摄像对象进行摄像的摄像图像。然后,图像合成部224,可以通过合成按多个图像区域的每个图像区域所选择的摄像图像中的多个图像区域的图像,从而生成输出图像。
这样,图像生成部220根据摄像部200在不同的期间所分别拍摄的多个摄像图像,分别生成多个输出图像。压缩部230压缩由图像合成部224合成的输出图像。另外,压缩部230可以压缩多个输出图像作为动画。例如,压缩部230可以对多个输出图像进行MPEG压缩。
将被压缩部230压缩的输出图像提供给建立对应处理部206。另外,包括多个输出动画的动画,可以是与显示装置180能够显示的显示速率大体上相等的帧速率的动画。另外,摄像部200,可以按照比将变化的摄像条件的个数乘以相应的显示速率而得到的值大的摄像速率进行摄像。
建立对应处理部206,将表示由特征区域检测部203检测出的特征区域的特征区域信息与从压缩部230供给的输出图像建立对应。作为一个例子,建立对应处理部206,在压缩动画上附带:与识别输出图像的信息、识别特征区域的位置的信息、以及用于识别特征区域的特征的种类的信息已建立对应的特征区域信息。然后,输出部207,对图像处理装置170输出附带有特征区域信息的输出图像。具体而言,输出部207,向图像处理装置170在通信网络110上发送被附带相应的特征区域信息的输出图像。
这样,输出部207,将表示特征区域检测部203所检测出的特征区域的特征区域信息与输出图像建立对应后进行输出。另外,输出部207还能输出包括多个输出图像作为各自动画构成图像的输出动画。
另外,从输出部207输出的被图像生成部220生成的输出图像,可以作为监控图像而被显示装置180显示。摄像系统10,通过通信网络110,将合成了多个摄像图像的输出图像传输给图像处理装置170,所以,与不合成多个摄像图像进行传输的情况比较,能够削减数据量。如上所述,输出图像包括的目标因为容易被人的视觉识别为鲜明的图像,所以摄像系统10能够提供无论在数据量的方面上,还是在视认特性的方面上均有用的监控图像。
如上所述,图像合成部224能够生成人的视觉容易识别的输出图像。对监控者来说,希望特别针对摄像到人物等的特征性的目标的特征区域,能够以摄像图像同等的画质的图像对监控对象空间150进行监控。
因此,压缩部230通过将在多个摄像图像的特征区域以外的区域的背景区域的图像的画质降低到比在多个摄像图像的特征区域中的图像的画质低,来压缩多个摄像图像。这样,在多个摄像图像的特征区域和在多个摄像图像的特征区域以外的区域的背景区域,压缩部230以不同的强度分别压缩多个摄像图像的各个摄像图像。并且,输出部207还可以输出被压缩部230压缩的图像。这样,输出部207输出由多个输出图像形成的监控动画和包括被压缩的多个摄像图像的摄像动画。
另外,压缩部230可以通过修剪特征区域以外的区域来压缩摄像图像。在这种情况下,输出部207在通信网络110上同时发送被合成的多个输出图像与被修剪后的摄像图像。
此外,压缩部230可以压缩包括以不同的摄像条件摄像的多个摄像图像的动画。然后,与被合成的多个输出图像一起,输出部207输出包括被压缩部230压缩后的多个摄像图像的动画。这样,输出部207输出连续性地显示了以不同的摄像条件被摄像的多个摄像图像的动画。
摄像部200如果改变摄像条件进行摄像,则在任一个摄像图像中,鲜明地拍摄被拍摄对象的可能性提高,另一方面,也有可能大量地生成同一被拍摄对象没有被鲜明地摄像的摄像图像。然而,当连续性地显示这样的多个摄像图像以作为动画的帧时,如果其中的任一帧具有鲜明的被拍摄对象图像,有时在人的眼里看上去是鲜明的被拍摄对象图像。因此,通过摄像系统10,能够提供适合于监控图像的动画。
另外,压缩部230,可以针对不同的多种摄像条件分别压缩作为动画构成图像而包括以同样的摄像条件摄像的多个摄像图像的动画。然后,输出部207,可以输出被压缩部230针对不同的多种摄像条件分别压缩后的多个动画。
更具体而言,压缩部230,根据将作为动画构成图像而包括的多个摄像图像的各个摄像图像与作为该动画的动画构成图像而包括的其他的摄像图像进行图像内容比较后得到的结果进行压缩。更具体而言,压缩部230,通过取作为动画的动画构成图像而包括的多个摄像图像分别与作为该动画的动画构成图像而包括的其他的摄像图像的差分来压缩。例如,压缩部230,通过取作为动画的动画构成图像而包括的多个摄像图像的各个摄像图像与由其他的摄像图像生成的预测图像的差分来压缩。
由同样的摄像条件摄像的摄像图像与由不同的摄像条件摄像的摄像图像相比往往图像内容的差别变小。因为这个缘故,压缩部230通过按每个摄像条件汇总摄像图像,从而与通过将不同的摄像条件的摄像图像作为不同的流(stream)的动画来处理而将以不同的摄像条件摄像的多个摄像图像作为动画进行压缩的情况相比,能够提高压缩率。
另外,输出部207可以将多个摄像图像与多个摄像图像的各自摄像的摄像条件建立对应后进行输出。由此,图像处理装置170能够以与摄像条件对应的检出参数,高精度地重新检测出特征区域。
另外,图像选择部226从多个摄像图像中选择适合预定条件的多个摄像图像。然后,压缩部230,对图像选择部226所选择的多个摄像图像进行压缩。这样,输出部207能够输出连续性地显示适合预定条件的多个摄像图像的动画。另外,图像选择部226可以选择多个摄像图像中的亮度比预定值明亮的多个摄像图像。另外,图像选择部226可以选择多个摄像图像中的特征区域的个数比预定值多的多个摄像图像。
另外,输出部207可以与定时信息建立对应后输出被压缩部230压缩的多个动画,上述定时信息表示压缩部230压缩的多个动画中作为动画构成图像而包括的多个摄像图像的各个摄像图像被显示的定时。输出部207可以与定时信息建立对应后输出被压缩部230压缩的多个动画,上述定时信息表示被压缩部230压缩的多个动画中作为动画构成图像而包括的多个摄像图像的各个摄像图像被摄像的定时。并且,输出部207可以输出将用于识别作为动画构成图像的摄像图像的识别信息(例如,帧码)与定时信息建立了对应的信息。另外,输出部207也可以将表示从多个摄像图像的各个摄像图像中检测出的特征区域的特征区域信息与多个摄像图像的各个摄像图像建立对应后进行输出。
为了使多个摄像图像的图像的亮度大致相同,亮度调整部228调整摄像图像的亮度。例如,为了使特征区域的图像的亮度在多个摄像图像中大体上相同,亮度调整部228调整多个摄像图像的亮度。并且,压缩部230可以压缩被亮度调整部228调整了亮度的摄像图像。
然后,输出部207将表示从多个摄像图像的各个摄像图像中检测出的特征区域的特征区域信息与被亮度调整部228调整过亮度的多个摄像图像的各个摄像图像建立对应后进行输出。摄像部200通过随时间改变摄像条件进行摄像,从而有时摄像图像的亮度随时间变化而变化。然而,根据摄像系统10,则由亮度调整部228进行的亮度调整,能够降低多个摄像图像作为动画看时的闪烁。
图3表示压缩部230的方块构成的一个例子。压缩部230具有图像分割部232、多个固定值化部234a-c(以下,有时总称为固定值化部234)、及多个压缩处理部236a-d(以下,有时总称为压缩处理部236)。
图像分割部232将多个摄像图像分割成特征区域和特征区域以外的背景区域。更具体而言,图像分割部232将多个摄像图像分割成多个特征区域的各个特征区域和特征区域以外的背景区域。图像分割部232将多个摄像图像的各个摄像图像分割成特征区域和背景区域。然后,压缩处理部236分别以不同的强度来压缩作为特征区域的图像的特征区域图像和作为背景区域的图像的背景区域图像,具体而言,压缩处理部236分别以不同的强度来压缩包括多个特征区域图像的特征区域动画和包括多个背景区域图像的背景区域动画。
具体而言,图像分割部232通过分割多个摄像图像,按多个特征的种类的每一个特征的种类来生成特征区域动画。并且,固定值化部234针对按每个特征的种类已生成的多个特征区域动画中包括的特征区域图像,分别将各自的特征的种类的特征区域以外的区域的像素值设定为固定值。具体而言,固定值化部234将特征区域以外的区域的像素值设置成预定的像素值。然后,压缩处理部236按每个特征的种类,压缩多个特征区域动画。例如,压缩处理部236按每个特征的种类对多个特征区域动画进行MPEG压缩。
固定值化部234a、固定值化部234b、和固定值化部234c,分别使第一特征的种类的特征区域动画、第二特征的种类的特征区域动画、和第三特征的种类的特征区域动画为固定值。然后,压缩处理部236a、压缩处理部236b、和压缩处理部236c,压缩第一特征的种类的特征区域动画、第二特征的种类的特征区域动画、和第三特征的种类的特征区域动画。
另外,压缩处理部236a-c以根据特征的种类而预定的强度来压缩特征区域动画。例如,压缩处理部236,可以按照根据特征的种类而预定的不同的分辨率来转换特征区域动画,并将已经转换的特征区域动画进行压缩。另外,压缩处理部236在利用MPEG编码来压缩特征区域动画时,可以以按照特征的种类而预定的不同的量化参数来压缩特征区域动画。
另外,压缩处理部236d对背景区域动画进行压缩。并且,压缩处理部236d可以用比任何一个压缩处理部236a-c的强度高的强度来压缩背景区域动画。被压缩处理部236压缩的特征区域动画及背景区域动画,提供给建立对应处理部206。
另外,因为特征区域以外的区域被固定值化部234固定为固定值,所以如果压缩处理部236通过MPEG编码等进行预测编码时,能在特征区域以外的区域中显著地降低与预测图像之间的图像差分量。因此,能够显著地提高特征区域动画的压缩率。
图4表示图像处理装置170的方块构成的一个例子。另外,本图,表示将包括按每个区域压缩的多个摄像图像的摄像动画进行解压缩的图像处理装置170方块构成。
图像处理装置170具有压缩图像取得部301、建立对应分析部302、解压缩控制部310、解压缩部320、合成部330、和输出部340。压缩图像取得部301,取得包括被压缩部230压缩的摄像图像的压缩动画。具体而言,压缩图像取得部301,取得包括多个特征区域动画及背景区域动画的压缩动画。更具体而言,压缩图像取得部301取得附带了特征区域信息的压缩动画。
然后,建立对应分析部302分离成多个特征区域动画及背景区域动画和特征区域信息后,将多个特征区域动画及背景区域动画提供给解压缩部320。此外,建立对应分析部302分析特征区域信息后,向解压缩控制部310提供特征区域的位置及特征的种类。解压缩控制部310根据从建立对应分析部302取得的特征区域的位置及特征的种类,控制由解压缩部320进行的解压缩处理。例如,解压缩控制部310,按照压缩部230根据特征区域的位置及特征的种类对动画的各区域进行了压缩的压缩方式,使解压缩部320对压缩动画表示的动画的各区域进行解压缩。
以下,对解压缩部320具有的各构成要素的动作进行说明。解压缩部320,包括解码器322a-d(以下,总称为解码器322)。解码器322,将被编码的多个特征区域动画及背景区域动画中的任一个解码。具体而言,解码器322a、解码器322b、解码器322c、和解码器322d,分别将第一特征区域动画、第二特征区域动画、第三特征区域动、和背景区域动画解码。
合成部330合成被解压缩部320解压缩后的多个特征区域动画及背景区域动画,生成1个显示动画。具体而言,合成部330,在背景区域动画中包括的摄像图像中,通过合成多个特征区域动画中包括的摄像图像上的特征区域的图像,生成1个显示动画。输出部340,向显示装置180或图像DB175输出从建立对应分析部302取得的特征区域信息及显示动画。另外,图像DB175,可以将特征区域信息表示的特征区域的位置、特征区域的特征的种类、和特征区域个数与对显示动画中包括的摄像图像进行识别的信息建立对应后,存储在硬盘等非易失性的记录介质中。
图5,表示压缩部230的其他方块构成的一个例子。在本构成中的压缩部230,通过与特征的种类对应的空间可扩展(scalable)的编码处理,对多个摄像图像进行压缩。
在本构成中的压缩部230具有画质变换部510、差分处理部520、和编码部530。差分处理部520包括多个阶层间差分处理部522a-d(以下,总称为阶层间差分处理部522)。编码部530包括多个编码器532a-d(以下,总称为编码器532)。
画质变换部510从图像生成部220取得多个摄像图像。此外,画质变换部510取得用于指定特征区域检测部203所检测出的特征区域的信息、及用于指定特征区域的特征的种类的信息。然后,画质变换部510通过复制摄像图像,生成特征区域的特征的种类数目的摄像图像。然后,画质变换部510将所生成的摄像图像转换成与特征的种类对应的分辨率的图像。
例如,画质变换部510生成转换成与背景区域的分辨率对应的摄像图像(以下,称为低分辨率图像。)、转换成与第一特征的种类的第一分辨率对应的摄像图像(称为第一分辨率图像)、转换成与第二特征的种类的第二分辨率对应的摄像图像(称为第二分辨率图像)、及转换成与第三特征的种类的第三分辨率对应的摄像图像(称为第三分辨率图像)。另外,在这里,设第一分辨率图像比低分辨率图像的分辨率高,第二分辨率图像比第一分辨率图像分辨率高,第三分辨率图像比第二分辨率图像分辨率高。
然后,画质变换部510,分别向阶层间差分处理部522d、阶层间差分处理部522a、阶层间差分处理部522b、及阶层间差分处理部522c供给低分辨率图像、第一分辨率图像、第二分辨率图像、和第三分辨率图像。另外,画质变换部510,通过对多个摄像图像的各个摄像图像进行上述的画质变换处理,从而向各个阶层间差分处理部522供给动画。
另外,画质变换部510可以根据特征区域的特征的种类,转换向各个阶层间差分处理部522供给的动画的帧速率。例如,画质变换部510可以向阶层间差分处理部522a供给比向阶层间差分处理部522d供给的动画帧速率低的动画。此外,画质变换部510可以将比向阶层间差分处理部522b供给的动画还低的帧速率的动画提供给阶层间差分处理部522a。将比向阶层间差分处理部522c供给的动画还低的帧速率的动画提供给阶层间差分处理部522b。另外,画质变换部510可以通过根据特征区域的特征的种类对摄像图像进行间拔,来转换对阶层间差分处理部522供给的动画的帧速率。
阶层间差分处理部522d和编码器532d,对包括多个低分辨率图像的背景区域动画进行预测编码。具体而言,阶层间差分处理部522生成与由其他的低分辨率图像被生成的预测图像的差分图像。然后,编码器532d,将差分图像转换成空间频率分量后得到的变换系数进行量化后,将被量化得到的变换系数通过熵编码等进行编码。另外,这种预测编码处理可以按每个低分辨率图像的部分区域进行。
此外,阶层间差分处理部522a,对包括从画质变换部510供给的多个第一分辨率图像的第一特征区域动画进行预测编码。同样,阶层间差分处理部522b和阶层间差分处理部522c,对包括多个第二分辨率图像的第二特征区域动画及包括多个第三分辨率图像的第三特征区域动画分别进行预测编码。以下,对阶层间差分处理部522a及编码器532a具体的动作加以说明。
阶层间差分处理部522a,对由编码器532d进行编码后的第一分辨率图像进行解码,将解码后的图像扩大成与第一分辨率同样的分辨率的图像,然后,阶层间差分处理部522a生成扩大后的图像与低分辨率图像之间的差分图像。这时,阶层间差分处理部522a将背景区域的差分值设置为0。然后,编码器532a与编码器532d同样地将差分图像编码。另外,由阶层间差分处理部522a及编码器532a进行的编码处理,可以按每个第一分辨率图像的部分区域来实施。
另外,阶层间差分处理部522a在对第一分辨率图像编码时,比较当将与低分辨率图像之间的差分图像进行了编码时的被预测的符号量、和当将与从其他的第一分辨率图像生成的预测图像之间的差分图像进行了编码时的被预测的符号量。在后者的符号量小的情况下,阶层间差分处理部522a生成与从其他的第一分辨率图像生成的预测图像之间的差分图像。另外,在被预测出以不取与低分辨率图像或预测图像的差分的方式进行编码会使符号量变小的情况下,阶层间差分处理部522a可以不取与低分辨率图像或预测图像间的差分。
另外,阶层间差分处理部522a也可以不将在背景区域的差分值设置为0。在这种情况下,编码器532a也可以将对在特征区域以外的区域的差分信息进行编码后的数据设置为0。例如,编码器532a可以将转换为频率分量之后的变换系数设置为0。并且,阶层间差分处理部522d进行了预测编码时的运动矢量信息被提供给阶层间差分处理部522a,阶层间差分处理部522a可以采用由阶层间差分处理部522d所供给的运动矢量信息来计算预测图像用的运动矢量。
另外,阶层间差分处理部522b和编码器532b的动作,除了编码第二分辨率图像之处;和在编码第二分辨率图像时,有时取与基于编码器532a的编码后的第一分辨率图像的差分之处以外,阶层间差分处理部522b和编码器532b的动作与阶层间差分处理部522a和编码器532a的动作大体上相同,所以省略说明。同样,阶层间差分处理部522c和编码器532c的动作,除了编码第三分辨率图像之处;和在编码第三分辨率图像编码时,有时取与基于编码器532b的编码后的第二分辨率图像的差分之处以外,与阶层间差分处理部522a和编码器532a的动作大体上相同,所以省略说明。
如以上说明的那样,画质变换部510,由多个摄像图像的每一个摄像图像,生成将画质降低成低画质之后的低画质图像、及至少在特征区域中比低画质图像画质高的高画质的特征区域图像。然后,差分处理部520生成对在特征区域图像中的特征区域的图像与在低画质图像中的特征区域的图像之间的差分图像进行表示的特征区域差分图像。然后,编码部530分别对特征区域差分图像及低画质图像进行编码。
此外,画质变换部510生成由多个摄像图像被降低了分辨率的低画质图像,差分处理部520,生成在特征区域图像中的特征区域的图像和将低画质图像中的特征区域的图像放大后的图像之间的特征区域差分图像。此外,差分处理部520,生成在特征区域中具有将特征区域图像和扩大后的图像之间的差分转换成空间频域的空间频率分量、且在特征区域以外的区域中降低了空间频率分量的数据量的特征区域差分图像。
如以上说明的那样,压缩部230通过对分辨率不同的多个阶层间的图像的差分进行编码,而进行阶层性地编码。由此可以明确,本构成的压缩部230的压缩方式的一部分,包括H.264/SVC的压缩方式。
图6表示由被摄像图像600生成的输出图像的一个例子。图像生成部220取得包括由摄像部200改变摄像条件后进行了摄像的摄像图像600-1~18的动画。另外,摄像部200,在第一期间中,通过以后面说明的摄像条件A~I进行变化而摄像,来拍摄摄像时的摄像条件不相同的第一组的摄像图像600-1~9。然后,摄像部200,在此后的第二期间中,通过使摄像条件再次在A~I进行改变而摄像,来拍摄摄像时的摄像条件不相同的第二组的摄像图像600-10~18。摄像部200,通过反复这样的摄像动作,来拍摄摄像时的摄像条件在各组中不相同的多组的摄像图像。
然后,图像合成部224通过重合第一组的摄像图像600-1~9,生成输出图像620-1。此外,图像合成部224通过重合第二组的摄像图像600-10~18,生成输出图像620-2。图像合成部224通过反复这样的动作,并通过重合各组的摄像图像600,从而从各组的摄像图像600分别生成1个输出图像620。
另外,图像合成部224也可以用规定的加权系数对摄像图像加权后使之重合。另外,可以根据摄像条件预先设定加权系数。例如,图像合成部224,可以对以更短的曝光时间拍摄的摄像图像进行更大的加权而重合,从而生成输出图像620。
另外,特征区域检测部203从摄像图像600-1~18分别检测出特征区域610-1~18(以后,总称为特征区域610)。然后,建立对应处理部206将对从生成输出图像620-1时所使用的摄像图像600-1~9检测出的特征区域610-1~9的位置进行表示的信息与输出图像620-1建立对应。此外,将对从生成输出图像620-2时所使用的摄像图像600-10~18检测出的特征区域610-10~18的位置进行表示的信息与输出图像620-2建立对应。
由此,即使在图像处理装置170侧,也清楚被输出图像620-1代表的第一期间中的特征区域610的位置。因此,图像处理装置170能够通过实施对输出图像620-1中的该特征区域进行强调的处理等,生成能够唤起监控者注意的监控用的动画。
图7表示摄像条件A~I的一个例子。摄像控制部210存储有预定的曝光时间及光圈值的组。
例如,摄像控制部210存储有用于以曝光时间T和光圈值F进行拍摄的摄像条件E。另外,T越大曝光时间的时间长度变得越长,F越大光圈的开度变得越小。另外,这里,若以时间长度固定的曝光时间在受光部进行了曝光时,光圈值成为2倍,则将受光部接受光的光量变成1/4倍。也就是说,这里的受光部接受光的光量与光圈值的平方成比例。
并且,在摄像条件D、C、B、A中,曝光时间被设定为将T除以2后得到的值,另一方面,光圈值被设定为将F除以2的平方根后得到的值。并且,在摄像条件F、G、H、I中,曝光时间被设定成T乘以2后得到的值,光圈值被设定成2的平方根乘以F的值。由此,摄像控制部210在摄像条件A~I中,存储有以使受光部的曝光量大体上相同的方式设定了不同的曝光时间及光圈值的摄像条件。
如图6相关说明,摄像控制部210,以摄像控制部210存储的摄像条件A~I,使摄像部200摄像条件连续变化,且周期性地改变摄像条件。如果用这样的摄像条件进行了拍摄时,被拍摄对象的亮度没有变化,则在相同的图像区域中,摄像图像600的亮度与摄像条件无关,大体上为相同。因此,根据摄像装置100,能够提供即使连续显示多个摄像图像时也很少闪烁的动画。
此外,例如,当摄像部200如摄像条件A那样以更短的曝光时间进行了摄像时,即使针对高速移动的移动体,有时也能降低被拍对象的抖动。此外,因为摄像部200若如摄像条件I那样,以更大的光圈值摄像,则景深变深,有时能放大可获得鲜明的被拍摄对象图像的区域。因此,在特征区域检测部203中能够降低对特征区域检测失败的概率。此外,根据摄像装置100,有时能够在输出图像620中编入抖动、模糊较少的鲜明的被拍摄对象的图像信息。另外,如上所述,摄像控制部210,除了以被曝光时间及光圈值所规定的摄像条件以外,还可以改变焦点位置、分辨率等各种摄像条件的组合,使摄像部200进行摄像。
图8表示压缩部230压缩的摄像图像600的组的一个例子。压缩部230压缩以摄像条件A拍摄的多个摄像图像600-1、摄像图像600-10、…作为动画。此外,压缩部230压缩以摄像条件B摄像的多个摄像图像600-2、摄像图像600-11、…作为动画。此外,压缩部230压缩以摄像条件C摄像的多个摄像图像600-3、摄像图像600-12、…作为动画。这样,压缩部230将以不同的摄像条件拍摄的摄像图像600作为不同的动画进行压缩。
这样做,压缩部230一个一个地压缩分别包括以相同的摄像条件被摄像的多个摄像图像的多个摄像动画。在以相同的摄像条件被摄像的摄像图像600中,由摄像条件变化而引起的被拍摄体图像的变化(例如,被拍摄对象图像的抖动量的变化,被拍摄对象图像的亮度的变化等)显著地小。因此,压缩部230,利用MPEG编码等的预测编码能显著地降低各组摄像动画的数据量。
另外,即使向图像处理装置170输出被如此分割后的摄像动画,也优选为了各摄像动画中包括的摄像图像以被拍摄的顺序在显示装置180中被适当地显示,而对各摄像动画赋予表示各个摄像图像应该被显示的定时的定时信息。此外,与图7说明过的摄像条件不同,当以图像的亮度完全不同的摄像条件拍摄了摄像图像时,亮度调整部228,可以根据摄像条件对摄像图像的亮度进行调整后,提供给压缩部230。此外,压缩部230也可以压缩包括多个符合被图像选择部226选择出的规定的条件的摄像图像在内的动画。
图9示出其他摄像条件的一个例子。摄像控制部210针对作为用于规定摄像部200的摄像条件的参数的曝光时间及光圈值,存储有针对预定的不同的多个曝光时间及预定的不同的多个光圈值的不同的组。
具体而言,摄像部200,至少能以预定的T/2、T、2T这样不同的3种曝光时间、及预定的F/2、F、2F这样不同的3种光圈值进行摄像。这种情况下,摄像控制部210预先存储了曝光时间与光圈值的组合不同的9种组合的组。然后,摄像控制部210将以图示的摄像参数不同的组合而被规定的多种摄像条件,如图6所说明的那样连续地变化。
图10示出摄像条件的又一个例子。摄像控制部210针对作为规定摄像部200的摄像条件的参数的曝光时间、光圈值、以及增益特性,存储有被预定的不同的多个曝光时间、被预定的不同的多个光圈值、及被预定的不同的多个增益特性的不同的组。
具体而言,摄像部200至少能够以预定的T/2、T、2T这样不同的3种曝光时间、预定的F/2、F、2F这样不同的3种的光圈值、及预定的3种的增益特性进行摄像。图中的″不足″,″过度″,″标准″分别表示以下特性:构成曝光不足的增益特性、构成曝光过度的增益特性、以及既不构成曝光不足也不构成曝光过度的增益特性。这种情况,摄像控制部210预先存储了曝光时间与光圈值的组合不同的27种的组合的组。
另外,作为增益特性的指标,可示例增益值本身。作为增益特性以外的指标,可示例对被输入的摄像信号进行非线性的亮度调整的增益曲线。此外,可以在将模拟摄像信号转换成数字摄像信号的AD变换处理的前段,进行亮度调整。另外,亮度调整也可以被编入AD变换处理。
这样,摄像部200还通过用不同的增益特性对摄像信号进行增益调整,来连续性地拍摄多个摄像图像。并且,摄像部200利用曝光时间、光圈开度、和增益特性的不同的组合来连续性地拍摄多个摄像图像。摄像控制部210,如图6的相关说明的那样,使以所图示的摄像参数不同的组合而规定的多种摄像条件连续地变化。
如图9及图10的相关说明,摄像部200能够得到以多种多样的摄像条件摄像的被拍摄对象图像。因此,即使在被拍摄对象视角内存在亮度、运动速度不同的被拍摄对象,也能够提高在所获得的多个帧中的任何一个帧中,得到各被拍摄对象的鲜明的图像的可能性。因此,在特征区域检测部203中能够降低对特征区域检测失败的概率。此外,有时能够在输出图像620中编入抖动、模糊少的鲜明的被拍摄对象图像的图像信息。
另外,与图9及图10相关联,给出了表示摄像控制部210对各摄像参数存储了3等级的组合的例子,不过,摄像控制部210可以存储多个摄像参数中的至少任何一个具有2等级或4等级以上的摄像参数。此外,摄像控制部210可以改变聚焦位置、分辨率等各种摄像条件的不同的组合,使摄像部200摄像。
此外,摄像部200除了增益特性以外,也能够以由针对摄像信号的各种处理参数规定的不同的摄像条件,来连续性地拍摄多个摄像图像。作为处理参数,例如,能够例示如下处理:不同的清晰度(sharpness)特性的清晰度处理;不同的白色平衡特性的白色平衡处理;以不同颜色同步化特性为指标的颜色同步化处理;不同的输出分辨率的分辨率变换处理;及不同的抗压强度的压缩处理等。此外,作为压缩处理,例如有:包括以灰度为指标的灰度数降低处理等,以特定的画质作为指标的画质降低处理。另外,还例如有:以编码量等的数据容量作为指标的容量降低处理。
根据以上说明的摄像系统10,能够降低对特征区域检测失败的概率。此外,如果根据摄像系统10,则能够提供在削减数据量的且视认性优良的监控动画。
图11表示其他的实施方式涉及的摄像系统20的一个例子。在本实施方式中的摄像系统20的构成,除还具有图像处理装置900a图像处理装置900b(以下,总称为图像处理装置900)之处以外,均与图1中说明过的摄像系统10的构成相同。
在本构成的摄像装置100具有在图2中说明过的摄像装置100的各构成要素中的摄像部200的功能。此外,图像处理装置900具有图2中说明过的摄像装置100的各构成要素中的除摄像部200以外的构成要素。并且,摄像装置100所包括的摄像部200的功能及动作、以及图像处理装置900中包括的各构成要素的功能及动作,因为与图1到图10的与摄像系统10相关说明过的各构成要素的功能及动作大体上相同,所以省略说明。即使在这样的摄像系统20中也能得到从图1到图10的与摄像系统10有关说明的效果大体上同样的效果。
图12示出摄像装置100及图像处理装置170的硬件配置的一个示例。摄像装置100及图像处理装置170具有CPU周边部、输入/输出部以及传统的输入/输出部。CPU周边部包括通过主控制器1582彼此连接的CPU1505、RAM1520、图像控制器1575、以及显示器件1580。输入/输出部包括通过输入/输出控制器1584连接到主控制器1582的通信接口1530、硬盘驱动器1540、以及CD-ROM驱动器1560。传统的输入/输出部包括连接到输入/输出控制器1584的ROM1510、软盘驱动器1550、以及输入/输出芯片1570。
主控制器1582连接RAM1520、以高传输速率访问RAM1520的CPU1505和图像控制器1575。CPU1505根据存储在ROM1510和RAM1520上的程序而运行,控制每个组件。图像控制器1575获得CPU1505等在RAM1520内设置的帧缓冲器上生成的图像数据,并使显示器件1580显示获得的图像数据。取而代之,图像控制器1575也可在内部包括用于存储CPU1505等生成的图像数据的帧缓冲器。
输入/输出控制器1584连接:主控制器1582、作为相对高速的输入/输出装置的硬盘驱动器1540、通信接口1530、以及CD-ROM驱动器1560。硬盘驱动器1540存储CPU1505使用的程序和数据。通信接口1530与网络通信装置1598连接,收发程序或数据。CD-ROM驱动器1560从CD-ROM1595中读取程序和数据,并通过RAM1520向硬盘驱动器1540及通信接口1530提供所读取的程序和数据。
在输入/输出控制器1584上还连接:作为相对低速的输入/输出装置的ROM1510、软盘驱动器1550以及输入/输出芯片1570。在ROM1510上存储由摄像装置100及图像处理装置170在启动时执行的引导程序,或依存于摄像装置100及图像处理装置170硬件的程序等。软盘驱动器1550从软盘1590读取程序和数据,并通过RAM1520向硬盘驱动器1540及通信接口1530提供读取的程序和数据。输入/输出芯片1570通过软盘驱动器1550、或并行端口、串行端口、键盘端口、鼠标端口等连接各种输入/输出装置。
CPU1505执行的程序是被存储于软盘1590、CD-ROM1595和IC卡等记录介质上,而由用户提供的。被记录介质存储的程序可以是压缩的也可以是非压缩的。程序从介质被安装到硬盘驱动器1540中,通过RAM1520读取,并由CPU1505执行。被CPU1505执行的程序,使摄像装置100作为如图1至图11描述的摄像装置100所具有的各构成要素来发挥功能。使图像处理装置170作为如图1至11描述的图像处理装置170所具有的各构成要素来发挥功能。
以上所示程序,也可以存储在外部的记录介质中。作为记录介质,除软盘1590、CD-ROM1595以外,还能够使用DVD或PD等的光学记录介质、MD等的光磁记录介质、磁带介质,IC卡等的半导体存储器等。此外,还可以使用设置于与专用通信网络或者互联网连接的服务器系统中的硬盘或RAM等的存储装置作为记录介质,并作为借助网络的程序而提供给摄像装置100及图像处理装置120。这样,由程序控制的计算机会作为摄像装置100及图像处理装置170而发挥作用。
以上,用实施例说明了本发明,不过,本发明的技术范围不受上述实施例记载的范围所限定。本领域技术人员清楚,可对上述实施的方式进行多种多样的变形及改进。从技术方案的范围可以明白,这样的变形及改进均被包括在本发明的技术范围内。
技术方案的范围、说明书、和在附图中表示的装置、系统、程序、和在方法中的动作、次序、步骤,和阶段等的各处理的执行顺序,只要没有特别注明“比…先”、“在…之前”等,而且只要不是后面的处理必须使用前面的处理的输出,就能以任意的顺序实施。有关技术方案的范围、说明书和附图中的动作流程,为了说明上的方便,即便是使用了“首先”、“其次”、等字样加以说明,但也不意味着以这个程序实施是必须的条件。
附图符号说明:
10 摄像系统,
20 摄像系统,
100 摄像装置,
110 通信网络,
130 人物,
140 移动体,
150 监控对象空间,
160 空间,
170 图像处理装置,
175 图像DB,
180 显示装置,
200 摄像部,
203 特征区域检测部,
206 建立对应处理部,
207 输出部,
205 特征区域位置预测部,
210 摄像控制部,
220 图像生成部,
224 图像合成部,
226 图像选择部,
228 亮度调整部,
230 压缩部,
232 图像分割部,
234 固定值化部,
236 压缩处理部,
301 压缩图像取得部,
302 建立对应分析部,
310 解压缩控制部,
320 解压缩部,
322 解码器,
330 合成部,
340 输出部,
510 画质变换部,
520 差分处理部,
522 阶层间差分处理部,
530 编码部,
532 编码器,
600 摄像图像,
610 特征区域,
620 输出图像,
900 图像处理装置,
1505 CPU,
1510 ROM,
1520 RAM,
1530 通信接口,
1540 硬盘驱动器,
1550 软盘驱动器,
1560 CD-ROM驱动器,
1570 输入/输出芯片,
1575 图像控制器,
1580 显示装置,
1582 主控制器,
1584 输入/输出控制器,
1590 软盘,
1595 CD-ROM,
1598 网络通信设备。

Claims (31)

1.一种摄像系统,具有:
摄像部,其用于以不同的多种摄像条件连续性地拍摄多个摄像图像;和
输出部,其输出动画,所述动画是连续性地显示以所述不同的摄像条件拍摄的所述多个摄像图像的动画。
2.根据权利要求1所述的摄像系统,其中,
所述摄像部,通过以时间长度不同的曝光时间进行曝光,而连续性地拍摄所述多个摄像图像。
3.根据权利要求2所述的摄像系统,其中,
所述摄像部,通过以不同的光圈开度进行曝光,而连续性地拍摄所述多个摄像图像。
4.根据权利要求3所述的摄像系统,其中,
所述摄像部,通过以将曝光量设定为固定的所述曝光时间及所述光圈开度进行曝光,而连续性地拍摄所述多个摄像图像。
5.根据权利要求3所述的摄像系统,其中,
所述摄像部,利用所述曝光的时间及所述光圈开度的不同的组合,而连续性地拍摄所述多个摄像图像。
6.根据权利要求3所述的摄像系统,其中,
所述摄像部,通过以不同的增益特性对摄像信号进行增益调整,而连续性地拍摄所述多个摄像图像。
7.根据权利要求6所述的摄像系统,其中,
所述摄像部,利用所述曝光时间、所述光圈开度、和所述增益特性的不同的组合,而连续性地拍摄所述多个摄像图像。
8.根据权利要求1所述的摄像系统,其中,
所述摄像部连续性地拍摄具有不同分辨率的所述多个摄像图像。
9.根据权利要求1所述的摄像系统,其中,
所述摄像部连续性地拍摄不同色数的所述多个摄像图像。
10.根据权利要求1所述的摄像系统,其中,
所述摄像部连续性地拍摄在不同的位置被聚焦的所述多个摄像图像。
11.根据权利要求10所述的摄像系统,其中,
所述摄像系统还具有:
特征区域检测部,其从所述多个摄像图像的各个摄像图像中检测特征区域;和
特征区域位置预测部,其基于从所述多个摄像图像的各个摄像图像中检测出的所述特征区域的位置,预测在拍摄了该多个摄像图像的定时之后的定时下的特征区域的位置,
所述摄像部在被所述特征区域位置预测部预测出的所述特征区域的位置处进行聚焦,并连续性地拍摄所述多个摄像图像。
12.根据权利要求1至10中任意一项所述的摄像系统,其中,
所述输出部,将所述多个摄像图像与对所述多个摄像图像的各个摄像图像进行了拍摄的摄像条件建立对应后,进行输出。
13.根据权利要求1至10中任意一项所述的摄像系统,其中,
所述摄像系统还具有选择所述多个摄像图像中适合预定的条件的多个摄像图像的图像选择部,
所述输出部输出连续性地显示所述图像选择部所选择的多个摄像图像的动画。
14.根据权利要求13所述的摄像系统,其中,
所述图像选择部选择所述多个摄像图像中亮度比预定值亮的多个摄像图像。
15.根据权利要求13所述的摄像系统,其中,
所述摄像系统还具有从所述多个摄像图像的各个摄像图像中检测出特征区域的特征区域检测部,
所述图像选择部选择所述多个摄像图像中所述特征区域的数量比预定值多的多个摄像图像。
16.根据权利要求1至15中任意一项所述的摄像系统,其中,
所述摄像系统还具有用于压缩包括所述多个摄像图像的动画的压缩部;
所述输出部输出被所述压缩部压缩后的动画。
17.根据权利要求16所述的摄像系统,其中,
所述压缩部,针对所述不同的多种摄像条件的各种摄像条件,压缩动画,在该动画中,作为动画构成图像而包括以相同的摄像条件拍摄的所述多个摄像图像,
所述输出部,输出针对所述不同的多种摄像条件的各种摄像条件而被所述压缩部分别压缩后的多个动画。
18.根据权利要求17所述的摄像系统,其中,
所述压缩部,将作为所述动画的动画构成图像而包括的多个摄像图像的各个摄像图像,根据与作为该动画的动画构成图像而包括的其他摄像图像进行图像内容比较所得到的比较结果,来进行压缩。
19.根据权利要求18所述的摄像系统,其中,
所述压缩部,将作为所述动画的动画构成图像而包括的多个摄像图像的各个摄像图像,通过与作为该动画的动画构成图像而包括的其他摄像图像取差分,来进行压缩。
20.根据权利要求19所述的摄像系统,其中,
所述输出部输出定时信息,所述定时信息表示被所述压缩部压缩的所述多个动画中作为动画构成图像而包括的多个摄像图像各自所应该被显示的定时的定时信息。
21.根据权利要求20所述的摄像系统,其中,
所述输出部,输出与所述定时信息建立对应后被所述压缩部压缩的多个动画,所述定时信息表示在被所述压缩部压缩的所述多个动画中作为动画构成图像而包括的多个摄像图像的各自被拍摄的定时的所述定时信息。
22.根据权利要求1至10任意一项所述的摄像系统,其中,
所述的摄像系统还包括从所述多个摄像图像的各个摄像图像中检测特征区域的特征区域检测部,
所述输出部,将表示从所述多个摄像图像的各个摄像图像中被检测出的所述特征区域的特征区域信息,与所述多个摄像图像的各个摄像图像建立对应后,进行输出。
23.根据权利要求22所述的摄像系统,其中,
所述摄像系统还具有亮度调整部,该亮度调整部为了使所述特征区域的图像的亮度在所述多个摄像图像中大致相同,而调整所述多个摄像图像的亮度,
所述输出部,将表示从所述多个摄像图像中的各个摄像图像中被检测出的所述特征区域的特征区域信息,与被所述亮度调整部亮度调整后的所述多个摄像图像的各个摄像图像建立对应后,进行输出。
24.根据权利要求23所述的摄像系统,其中,
所述的摄像系统还具有压缩部,该压缩部以不同的强度压缩所述多个摄像图像中的所述特征区域的图像、和作为在所述摄像图像中的所述特征区域以外的区域的背景区域的图像,
所述输出部输出被所述压缩部压缩的动画。
25.根据权利要求24所述的摄像系统,其中,
所述压缩部具有:
图像分割部,其用于将所述多个摄像图像分割成所述特征区域、和所述特征区域以外的背景区域;以及
压缩处理部,其以各自不同的强度来压缩作为所述特征区域的图像的特征区域图像、和作为所述背景区域的图像的背景区域图像。
26.根据权利要求25所述的摄像系统,其中,
所述图像分割部将所述多个摄像图像的各个摄像图像分割成所述特征区域和所述背景区域,
所述压缩处理部以各自不同的强度来压缩包括多个所述特征区域图像的特征区域动画、和包括多个所述背景区域图像的背景区域动画。
27.根据权利要求24所述的摄像系统,其中,
所述压缩部具有:
画质变换部,其根据所述多个摄像图像的各个摄像图像,生成将画质降低为低画质的低画质图像、及至少在所述特征区域中画质比所述低画质图像高的高画质的特征区域图像;
差分处理部,其生成特征区域差分图像,该特征区域差分图像表示所述特征区域图像中的所述特征区域的图像与所述低画质图像中的所述特征区域的图像之间的差分图像;和
编码部,其分别对所述特征区域差分图像及所述低画质图像进行编码。
28.根据权利要求27所述的摄像系统,其中,
所述画质变换部,由所述多个摄像图像生成降低了分辨率后的所述低画质图像,
所述差分处理部,生成在所述特征区域图像中的所述特征区域的图像与将所述低画质图像中的所述特征区域的图像放大后的图像之间的所述特征区域差分图像。
29.根据权利要求28所述的摄像系统,其中,
所述差分处理部,生成在所述特征区域中具有将所述特征区域图像与所述扩大后的图像之间的差分转换成空间频域的空间频率分量、且在所述特征区域以外的区域降低了所述空间频率分量的数据量的所述特征区域差分图像。
30.一种摄像方法,包括:
摄像阶段,以不同的多种摄像条件连续性地拍摄多个摄像图像;以及
输出阶段,输出连续性地显示以所述不同的摄像条件拍摄的所述多个摄像图像的动画。
31.一种用于存储程序的计算机可读取介质,其存储图像处理装置用的程序,所述程序使计算机作为以下单元发挥功能:
摄像部,其以不同的多种摄像条件连续性地拍摄多个摄像图像;以及
输出部,其输出连续性地显示以所述不同的摄像条件拍摄的所述多个摄像图像的动画。
CN2009801060505A 2008-03-31 2009-03-31 摄像系统、摄像方法、和用于存储程序的计算机可读取介质 Pending CN101953152A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2008091505 2008-03-31
JP2008-091505 2008-03-31
JP2009007811A JP5181294B2 (ja) 2008-03-31 2009-01-16 撮像システム、撮像方法、およびプログラム
PCT/JP2009/001485 WO2009122718A1 (ja) 2008-03-31 2009-03-31 撮像システム、撮像方法、およびプログラムを記憶するコンピュータ読み取り可能な媒体
JP2009-007811 2009-04-03

Publications (1)

Publication Number Publication Date
CN101953152A true CN101953152A (zh) 2011-01-19

Family

ID=41135121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801060505A Pending CN101953152A (zh) 2008-03-31 2009-03-31 摄像系统、摄像方法、和用于存储程序的计算机可读取介质

Country Status (4)

Country Link
US (1) US20110007186A1 (zh)
JP (1) JP5181294B2 (zh)
CN (1) CN101953152A (zh)
WO (1) WO2009122718A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331513A (zh) * 2016-09-06 2017-01-11 深圳美立知科技有限公司 一种高质量皮肤图像的获取方法及系统
CN107493423A (zh) * 2016-06-10 2017-12-19 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
CN109936693A (zh) * 2017-12-18 2019-06-25 东斓视觉科技发展(北京)有限公司 移动拍摄终端及相片的拍摄方法
CN110995964A (zh) * 2018-10-03 2020-04-10 佳能株式会社 摄像设备及其控制方法以及非暂时性存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348394A1 (en) * 2011-09-27 2014-11-27 Picsured, Inc. Photograph digitization through the use of video photography and computer vision technology
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6533050B2 (ja) * 2014-11-13 2019-06-19 クラリオン株式会社 車載カメラシステム
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
JP6621942B2 (ja) * 2016-12-12 2019-12-18 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム
JP7249766B2 (ja) * 2018-12-14 2023-03-31 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
CN111372008B (zh) * 2020-03-13 2021-06-25 深圳市睿联技术股份有限公司 基于视频内容的亮度自动增益调节方法及摄像机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142745A1 (en) * 2002-01-31 2003-07-31 Tomoya Osawa Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP2006245909A (ja) * 2005-03-02 2006-09-14 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
CN1992819A (zh) * 2005-12-27 2007-07-04 三星Techwin株式会社 拍摄装置和方法
US20070177035A1 (en) * 2006-01-30 2007-08-02 Toshinobu Hatano Wide dynamic range image capturing apparatus
JP2007202098A (ja) * 2005-12-27 2007-08-09 Kyocera Corp 撮像装置および撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
JP4208315B2 (ja) * 1998-12-25 2009-01-14 キヤノン株式会社 データ通信制御装置及びその制御方法、データ通信システム、記録媒体
US20020141002A1 (en) * 2001-03-28 2002-10-03 Minolta Co., Ltd. Image pickup apparatus
JP2006054921A (ja) * 2002-01-31 2006-02-23 Hitachi Kokusai Electric Inc 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム
JP2005033508A (ja) * 2003-07-14 2005-02-03 Minolta Co Ltd 撮像装置
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
WO2007010891A1 (ja) * 2005-07-19 2007-01-25 Sharp Kabushiki Kaisha 撮像装置
JP4306752B2 (ja) * 2007-03-19 2009-08-05 ソニー株式会社 撮像装置、測光方法、輝度算出方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142745A1 (en) * 2002-01-31 2003-07-31 Tomoya Osawa Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP2006245909A (ja) * 2005-03-02 2006-09-14 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
CN1992819A (zh) * 2005-12-27 2007-07-04 三星Techwin株式会社 拍摄装置和方法
JP2007202098A (ja) * 2005-12-27 2007-08-09 Kyocera Corp 撮像装置および撮像方法
US20070177035A1 (en) * 2006-01-30 2007-08-02 Toshinobu Hatano Wide dynamic range image capturing apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493423A (zh) * 2016-06-10 2017-12-19 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
CN106331513A (zh) * 2016-09-06 2017-01-11 深圳美立知科技有限公司 一种高质量皮肤图像的获取方法及系统
CN109936693A (zh) * 2017-12-18 2019-06-25 东斓视觉科技发展(北京)有限公司 移动拍摄终端及相片的拍摄方法
CN110995964A (zh) * 2018-10-03 2020-04-10 佳能株式会社 摄像设备及其控制方法以及非暂时性存储介质

Also Published As

Publication number Publication date
US20110007186A1 (en) 2011-01-13
WO2009122718A1 (ja) 2009-10-08
JP2009268062A (ja) 2009-11-12
JP5181294B2 (ja) 2013-04-10

Similar Documents

Publication Publication Date Title
CN101953153B (zh) 摄像装置和摄像方法
CN101953152A (zh) 摄像系统、摄像方法、和用于存储程序的计算机可读取介质
CN100592758C (zh) 图像处理装置
US7873221B2 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method
US7973827B2 (en) Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution
USRE42978E1 (en) Image capturing device
US20090290645A1 (en) System and Method for Using Coded Data From a Video Source to Compress a Media Signal
TW201618545A (zh) 用於全視差光場壓縮之預處理器
CN101933327A (zh) 数据压缩装置、数据压缩程序及摄像装置
CN101385334A (zh) 图像捕捉设备和方法、记录设备和方法及再现设备和方法
US7382402B2 (en) Imaging system
CN106888355A (zh) 比特率控制器和用于限制输出比特率的方法
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP2007235387A (ja) 撮像装置、及びそれを用いたカメラ
JP4900265B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4157003B2 (ja) 画像処理装置
CN110557532A (zh) 摄像装置、客户端装置和控制方法
JP2010176239A (ja) 画像処理装置、画像処理方法、画像符号化方法、画像復号化方法
CN102186020A (zh) 图像处理装置、图像处理方法
Anitha et al. Quality assessment of resultant images after processing
CN109584137B (zh) 一种脉冲序列格式转换方法及系统
CN109561262B (zh) 一种脉冲序列格式转换方法及系统
JP2011175608A (ja) 画像処理装置及び画像処理方法
JP5082141B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5233611B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20110119

C20 Patent right or utility model deemed to be abandoned or is abandoned