CN109564382B - 拍摄装置以及拍摄方法 - Google Patents

拍摄装置以及拍摄方法 Download PDF

Info

Publication number
CN109564382B
CN109564382B CN201680088432.XA CN201680088432A CN109564382B CN 109564382 B CN109564382 B CN 109564382B CN 201680088432 A CN201680088432 A CN 201680088432A CN 109564382 B CN109564382 B CN 109564382B
Authority
CN
China
Prior art keywords
camera
unit
diagnosis
image
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680088432.XA
Other languages
English (en)
Other versions
CN109564382A (zh
Inventor
伊藤诚也
三木亮祐
笹谷聪
仓田谦一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN109564382A publication Critical patent/CN109564382A/zh
Application granted granted Critical
Publication of CN109564382B publication Critical patent/CN109564382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种具有使用包括2台以上的相机的立体相机的相机的状态诊断的、用于对监视区域进行拍摄的拍摄装置。具备将立体相机的拍摄状况不同的多个图像信息预先存储为诊断型式的诊断型式数据库，从来自立体相机的图像数据取得视差信息，参照存储于诊断型式数据库的拍摄状况不同的多个图像信息，进行根据视差信息判别相机是异常还是正常的相机的状态诊断。然后，接受该状态诊断的结果，控制相机的立体相机的照明控制、快门控制、姿势控制中的至少1个。

Description

拍摄装置以及拍摄方法
技术领域
本发明涉及用于监视用途的拍摄装置以及拍摄方法。
背景技术
以往，提出了具有通过对从相机取得的影像进行图像处理来识别在监视或者测量的区域中出现的人、车辆等物体的功能的影像监视系统。
该影像监视系统通过利用相机的检测结果，例如向某个显示装置进行警告显示或者图标的显示、或者使蜂鸣器等鸣响等来提醒监视员注意。因此，影像监视系统在需要常时确认作业的以往的监视业务中有助于其负担减少。
另外，一般还将相机系统设置于如车、机器人那样的移动体而识别周边来活用于安全驾驶控制、或者活用作如对人进行支援的那样的服务机器人。
进而，还提出了为了精度的提高等通过使用立体相机测量直至被摄体的距离来实现仅与图像相比更稳定的识别功能的影像监视系统。
另外，在车载的摄像装置等中，还提出了避免被逆光、黑暗等明暗剧烈的条件、路面状态等外部环境影响的立体相机(参照专利文献1)。在该专利文献1记载的技术中，通过根据来自立体相机的立体图像数据生成视差图像数据，判别视差图像数据是正常还是异常来判断相机是正常状态还是处于异常状态。
现有技术文献
专利文献
专利文献1：日本特开2014-6243号公报
发明内容
然而，在以往的影像监视系统中，例如在相机中发生某种异常或者在相机中有污染、附着物等的情况下，无法确保期望的检测精度。因此，存在由于相机的异常等而损失影像监视系统的可靠性的问题。
另外，实施窃盗等非法行为的侵入者有时为了使作为证据的影像无法取得而进行变更由相机拍摄的角度、或者在相机前放置遮挡物、或者破坏相机透镜等行为，导致出现问题。
另外，在专利文献1记载的技术中，根据视差图像数据的分布分类相机的正常和异常，所以该分类只有为能够取得视差的状态才发挥功能。因此，在难以拍摄的暗处无法得到视差图像数据的情况下、拍摄时的亮度分布在平面上均匀而无法观察到图像上的变化的情况下，难以明确地分类相机的正常和异常。
另外，在安全领域中活用这样的相机装置的情况下，即使假设相机装置正常，也可能引起侵入者故意地改变相机的朝向、或者盖住隐藏相机的透镜而使影像监视系统自身无法正常地动作的情况。因此，在仅仅将相机装置分类为正常或者异常的情况下，存在无法将侵入者等的罪行防患于未然的问题。
进而，在专利文献1记载的技术中，将未正常地取得视差信息判断为异常，在正常地取得视差信息的情况下，即使污染附着到透镜，该污染也会被忽略而不将污染判断为污染。即，有可能发生在原本在相机的透镜有污染的情况下本应判断为异常却判断为正常的错误。因此，发生无法正常进行相机的状态判定的问题。
本发明的目的在于，在通过图像处理识别物体的情况下，无需降低安全等级而提高包括相机装置的系统整体的可靠性。
为了解决上述课题，例如采用权利要求书中记载的结构。
为了解决上述课题，本发明的拍摄装置具备：立体相机，包括2台以上的相机；图像处理部，根据来自该立体相机的图像数据，取得视差信息；以及诊断型式(pattern)数据库，将立体相机的拍摄状况不同的多个图像信息预先存储为诊断型式。
另外，具备：状态诊断部，参照存储于诊断型式数据库的拍摄状况不同的多个图像信息，根据从图像处理部得到的视差信息，判别相机的状态，进行相机的状态诊断；以及相机控制部，接受状态诊断部的诊断结果，进行立体相机的照明控制、快门控制、姿势控制中的至少1个。
另外，本发明的拍摄方法包括：通过立体相机对应监视的区域进行拍摄而得到左右的图像数据的工序；通过图像处理部，根据用立体相机拍摄到的左右的图像数据，取得针对拍摄到的图像的视差信息的工序；将用立体相机拍摄的、拍摄状况不同的多个图像信息预先作为诊断型式存储到诊断型式数据库的工序；以及根据由图像处理部取得的视差信息和预先存储于诊断型式数据库的拍摄状况不同的多个图像信息，通过状态诊断部判别相机的状态，进行相机的状态诊断的工序。
上述以外的课题、结构以及效果通过以下的实施方式的说明将变得更加明确。
根据本发明，无需降低安全等级而能够稳定地进行相机的状态是正常还是异常的判定。另外，通过根据相机的状态适当地进行向适当的模式的切换，即使在由于某种原因而相机的性能降低的情况下，也能够稳定地执行应用。进而，通过执行与相机的状态对应的处理，能够提高系统整体的可靠性。
上述以外的课题、结构以及效果通过以下的实施方式的说明而更加明确。
附图说明
图1是示出作为本发明的一个实施方式的例子的拍摄装置的整体结构的系统框图。
图2是用于说明作为本发明的一个实施方式的例子的拍摄装置中使用的立体相机的内部功能的框图。
图3是作为本发明的一个实施方式的例子的拍摄装置中使用的立体相机的外观图。
图4是示出作为本发明的一个实施方式的例子的拍摄装置中使用的图像处理部的功能的功能框图。
图5是示出作为本发明的一个实施方式的例子的拍摄装置中使用的状态诊断部的功能的功能框图。
图6是示出作为本发明的一个实施方式的例子的拍摄装置中测量的环境的例子的图。
图7是示出作为本发明的一个实施方式的例子的拍摄装置中的立体相机的控制型式的图。
图8是示出作为本发明的一个实施方式的例子的拍摄装置中得到的检测结果的例子的图。
图9是示出作为本发明的一个实施方式的例子的拍摄装置中的处理模式的状态转移的图。
图10是示出作为本发明的一个实施方式的例子的拍摄装置中的用于状态诊断的诊断型式和判定结果的图。
(符号说明)
10：立体相机；20：图像处理部；30：状态诊断部；40：诊断型式存储部；50：相机控制部；60：输出部；201、301、302：透镜部；202：摄像部；203：图像生成部；204：摄像控制部；205：调整部；206、303：投光部；207：照明控制部；208：姿势控制部；304：载置台；401：相机图像取得部；402：失真校正部；403：视差测量部；404：物体检测部；501：结果取得部；502：数据取得部；503：状态判定部。
具体实施方式
<本发明的一个实施方式例的整体结构>
以下，参照附图，说明作为本发明的一个实施方式的拍摄装置的例子(以下称为“本例”)。
此外，本发明是能够普遍应用于监视用相机系统的拍摄装置，以下，以立体相机装置为例子进行说明。
图1是示出使用作为本例的拍摄装置的一个例子的立体相机装置的系统整体的结构的框图。
本例的拍摄装置具备立体相机10、图像处理部20、状态诊断部30、包括存储诊断型式的数据库的存储装置40(以下称为“诊断型式数据库40”)、相机控制部50以及输出部60。
在诊断型式数据库40中，预先存储有拍摄的多个诊断型式，状态诊断部30以从立体相机10得到的视差信息为触发，参照诊断型式来判定相机是正常还是异常。此外，后述其详细内容。
[立体相机10的结构]
图2示出在本例中使用的立体相机10的具体的结构。如图2所示，立体相机10具备透镜部201、摄像部202、图像生成部203。立体相机10还具备摄像控制部204、调整部205、投光部206、照明控制部207以及姿势控制部208。此外，关于立体相机10，为了得到左右的图像，透镜部201以及摄像部202需要2个(一对)，在图2中简化地表示为1个的透镜部201以及摄像部202。
透镜部201是拍摄用的光学透镜。摄像部202是所谓图像传感器，例如使用包括CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(ChargeCoupled Device，电荷耦合器件)等摄像元件(都未图示)的图像传感器。
摄像部202将从透镜部201取得的影像变换为电信号，供给给图像生成部203。图像生成部203针对从摄像部202送来的图像实施降噪、颜色校正、图像合成等预定的处理，将处理后的图像数据供给给后级的图像处理部20。
摄像控制部204根据来自后述调整部205的控制信号，控制摄像部202中的相机的快门、光圈、缩放等参数。
另外，投光部206是对拍摄的被摄体照射照明用的光的部件，通常使用可见光，除了可见光以外，也可以根据被摄体而使用近红外光或者远红外光。该投光部206特别是在拍摄处于暗部的区域的物体时是有效果的，由此即便是低照度的图像也能够稳定地取得。
照明控制部207通过来自后述调整部205的控制信号，控制从投光部206照射的光的强度等级。另外，还有进行根据图1的状态诊断部30中的状态诊断的结果例如切换左右的照明等的控制的情况。
姿势控制部208进行变更相机的姿势、朝向等的控制，由此本例的立体相机10能够构成为能够动态地变更相机的朝向的、所谓云台相机。即，通过在通过姿势控制部208变更了相机的姿势、朝向之后再次进行拍摄，能够得到与先前不同的图像。此外，云台相机虽说能够动态地变更水平方向的角度(平移角度)和垂直方向的角度(倾斜角度)这2个角度，但也可以设为仅能够变更水平方向或者垂直方向中的任意一方。
调整部205根据来自图1所示的相机控制部50的控制信号，控制图像生成部203、摄像控制部204、照明控制部203以及姿势控制部208各自的功能。即，作为在图1的状态诊断部30中诊断相机的状态而得到的结果，控制信号被供给到从状态诊断部30起的相机控制部50。然后，相机控制部50经由调整部205向立体相机10的各部分发送各种控制信号，进行上述相机的控制。
图3是表示为将图1以及图2所示的立体相机10的结构一体化而得到的装置的图。图2的透镜部201需要2个，所以在图3中表示为透镜301以及透镜302。另外，图2的投光部206在图3中表示为投光部303。作为投光部303，例如使用LED(Light Emission Diode，发光二极管)，来自该投光器303的投光(照射光)被作为被摄体的物体反射，入射到立体相机10的透镜部301、302。由此，从立体相机10得到被摄体的左右的图像。
如图3所示，考虑到被照射的光量，投光部303设置有多个LED。另外，通过根据从投光部303照射的光的朝向、直至被摄体的距离等控制这些这些多个LED，能够从投光部303向特定的区域照射调整后的光量的光。
图3的立体相机10的载置台304是图2的相机控制部50被配置的部分，该载置台304例如具备能够以水平方向以及垂直方向的2轴控制相机的姿势的操纵功能。因此，通过配置于载置台304的相机控制部50，能够使相机的朝向面向特定的方向。另外，如后所述，在相机被判定为异常的情况等下，自如地变更相机的方向而进行再次的拍摄。
再次返回到图1，继续说明本例的拍摄装置的整体结构。由立体相机10取得的左右的图像数据被转送到图像处理部20。图像处理部20执行后述图4所示的处理，该处理的结果被转送到状态诊断部30。
如图1所示，本例的拍摄装置具备诊断型式数据库40。在该诊断型式数据库40中，存储有根据立体相机10的拍摄状况不同的多个图像信息预先分类相机的状态而得到的诊断型式。
该工序为本例的摄像方法中的、将用立体相机拍摄到的拍摄状况不同的多个图像信息预先作为诊断型式存储到诊断型式数据库的工序。
状态诊断部30如图5中后述那样，读出预先存储于诊断型式数据库40的诊断型式，参照该诊断型式，进行来自图像处理部20的输出数据的诊断处理。状态诊断部30的处理结果被送到输出部60，通常能够使用液晶显示装置、CRT(Cathode Ray Tube，阴极射线管)显示装置等终端装置提示为影像。
此外，输出部60所输出的诊断结果可以显示为RGB(Red-Green-Blue，红绿蓝)的监视器输出，或者也可以作为数据文件输出经由网络发送到中央的服务器。进而，例如还能够使用蜂鸣器等警报机对周围提醒注意。
另外，状态诊断部30将其诊断结果作为针对立体相机10的控制数据发送到相机控制部50。相机控制部50根据从状态诊断部30送来的控制数据，执行针对立体相机10的控制。即，如上所述，通过来自相机控制部50的控制信号，经由立体相机10的调整部205控制摄像控制部204、图像生成部203、照明控制部207以及姿势控制部208。
[图像处理部20的结构以及功能]
图4是将图1的图像处理部20的功能表示为块的功能框图。如图4所示，图像处理部20具备相机图像取得部401、失真校正部402、视差测量部403以及物体检测部404。
此外，在本例的拍摄装置中，作为事先的准备，预先取得立体相机10内的左右的透镜之间的距离、透镜的焦距、相机的高度以及相机的朝向等相机和实际环境的位置关系。即，需要事先通过校准求出表示设置有相机在实际环境中的相机位置的坐标系。
一般而言，能够通过在实际环境上将如检查表(checker chart)那样的图案投影或者粘贴到相机的透镜而预先求出立体相机10的朝向、姿势等外部参数。该方法例如在Z.Zhang，“A flexible new technique for camera calibration”，IEEE Transactionson Pattern Analysis and Machine Intelligence，22(11)：1330-1334，2000.(Z.Zhang，“一种灵活的摄像机校准新技术”，IEEE模式分析和机器智能学报，22(11)：1330-1334，2000。)。由此，能够获知立体相机10和拍摄的物体的位置关系，也能够对检测到的物体确定实际环境中的位置。
另外，关于立体相机10的透镜的失真或者焦距等内部参数，也能够与外部参数同样地通过将如检查表那样的图案投影或者粘贴来预先求出。
通常，立体相机10被用作被动(受动)的传感器，但还能够代替该立体相机10，而使用能够取得三维信息的图案照射型的主动传感器。另外，还能够使用作为飞行时间(Time-of-Flight)型已知的、能够测定直至激光等照射光从被摄体反射并返回的时间的主动传感器。这样，通过使用图案照射型传感器、飞行时间型的主动传感器，与被动的传感器相比能够更容易地确定物体的位置。
如图4所示，图像处理部20在相机图像取得部401中从立体相机10取得左右的相机图像。接下来，失真校正部402根据预定的参数对用相机图像取得部401取得的左右的相机图像进行失真校正。通过平行立体处理中的平行化处理，根据事先取得的相机的内外参数来执行该失真校正。
一般而言，对于立体相机10的左右的相机图像进行左右同时实施处理的“平行立体处理”，但根据透镜的特性等有时在单方或者两方的透镜中产生失真，原本应为平行的直线的点阵失真而成为具有曲率的曲线。因此，需要在进行失真校正以使具有该失真的曲线成为平行的直线之后比较左右的图像。这样的处理是“平行化处理”，由此左右的相机图像的对照变得容易，易于求出视差图像数据。
用失真校正部402进行失真校正后的立体相机图像被输入到视差测量部403，在此进行视差测量。该视差测量部403针对左右的相机图像的每个像素，求出左右的视差信息(左右的位置的偏移量)。另外，还能够根据针对每个像素求出的视差信息，通过三角测量的原理计算直至被摄体的距离。在此意义下，视差信息和距离信息是等价的信息，所以以下还包括距离信息在内地以称为“视差信息”表达统一地进行说明。
该工序为本例的摄像方法中的拍摄应监视的区域而得到左右的视差数据的工序。
视差测量部403的输出被送到物体检测部404，在此例如检测侵入者等人物的位置、在相机附近存在的物体等。具体而言，物体检测部404能够使用取来自视差测量部403的图像数据和预先拍摄的背景信息的差分等的方法来容易地进行物体的检测。
然后，物体检测部404的检测结果被送到图1所示的状态诊断部30。以上，图像处理部20的相机图像取得部401至物体检测部404的处理工序为取得基于用立体相机拍摄到的左右的图像数据的视差信息的工序。
通过以上的处理检测人物、车辆等物体，但在相机侧有污染时，可能发生无法正常地检测到应被检测到的物体、不应被检测到的污染等被误认而检测为人物的情况。或者，还有妨害者等在相机的透镜前放置遮挡物的情况，在这样的情况下也同样地发生应被检测到的物体未被检测到的状况。在这样的情况下，需要采取如能够明确地区分用相机拍摄的物体是实际的侵入者还是如灰尘那样的污染的对策。
[状态诊断部30的结构以及功能]
接下来，参照图5，说明状态诊断部30的结构及其功能。
如图5所示，状态诊断部30具备结果取得部501、数据取得部502以及状态判定部503。
结果取得部501从图像处理部20取得作为其处理结果的视差信息。
另外，数据取得部502取得根据预定的条件预先制作并存储到诊断型式数据库40的诊断型式。然后，将取得的诊断型式与从结果取得部501输入的视差信息一起送到状态判定部503。
进而，状态判定部503参照数据取得部502取得的诊断型式，根据来自结果取得部501的视差信息进行相机的状态判定。此外，状态判定部503中的判定结果被输出到图1所示的相机控制部50以及输出部60。
以上，状态诊断部30的结果取得部501、数据取得部502以及状态判定部503的处理工序为判别相机的状态而进行相机的状态诊断的工序。
接下来，参照图6～图8，详细说明图5所示的状态诊断部30的处理。
图6是示出用立体相机10拍摄的典型的3个物体的例子的示意图。
即，在图6中，相对于立体相机10，设置有相机附近的小的物体A、远方的大的物体B以及处于远方的发光体C这3个。假设为物体A处于接近立体相机10的场所(附近1m)，物体B处于远离立体相机10的场所(远方10m)。另外，假设为发光体C是比物体B处于更远方的自身发光的物体(自发光的物体)。
图6所示的设置于从立体相机10起1m的距离的小的物体A和设置于从立体相机10起10m的距离的大的物体B设为用立体相机10拍摄的图像尺寸为大致相同大小的图像。另外，图6的发光体C自发光而向立体相机10入射光，所以存在被误识别为侵入者等物体的可能性。在本例中，设为特别是在夜间的暗处无照明而难以进行拍摄的状况下对侵入者等人物、危险物等物体进行拍摄的情形，以下进行说明。
[拍摄型式的分类和其动作序列]
图7是示出立体相机10的摄像控制部204以及照明控制部207的动作序列的图。图7的横轴表示时间轴，并且区间(1)至(5)的各个区间表示本例的拍摄装置中的投光以及快门控制的型式(1)～(5)(以下称为“拍摄型式(1)～(5)”)。
在此，作为照明控制，将来自图2的投光部206的投光简化为用于对附近1m的距离进行摄像的“弱的强度”的照明和对远方10m的距离进行摄像的“强的强度”的照明这2个而进行说明。另外，快门控制简化为快门的曝光时间长的情况和曝光时间短的情况这2个。
拍摄型式(1)是立体相机10的投光部206用弱的照明并且长的曝光时间对接近立体相机10的区域(距离1m的附近)进行拍摄的型式。
拍摄型式(2)是无来自立体相机10的投光器206的投光并且用长的曝光时间进行拍摄的型式。
拍摄型式(3)是立体相机10的投光部206用强的照明并且长的曝光时间对远离立体相机10的区域(距离10m的远方)进行拍摄的型式。
拍摄型式(4)是无来自立体相机10的投光器206的投光并且用短的曝光时间进行拍摄的型式。
拍摄型式(5)是立体相机10的投光部206用弱的照明并且短的曝光时间对从立体相机10距离1m的位置进行拍摄的型式。
图7所示的“图像处理”表示以固定的处理周期执行图4的图像处理部20中的图像处理的定时。另外，在该图像处理中，考虑作为图像数据生成的时间，其定时表示成为快门动作的接下来的周期、即以拍摄型式(1)拍摄的图像的处理在实施接下来的拍摄型式(2)的期间中处理。
图8是示出使用图7的各个拍摄型式(1)～(5)对图6的物体A、物体B以及发光体C进行拍摄而得到的图像的图。
在拍摄型式(1)中，物体A是接近相机的物体并且曝光时间长，所以即使来自投光器206的投光为弱的照明，也检测为清晰的图像。在图8中，用黑色的椭圆表示清晰的图像。以下，将这样的检测定义为“清晰的检测”。
另外，在拍摄型式(1)中，物体B处于从相机距离10m的位置，所以在投光器206的投光弱的照明下检测不到。进而，发光体C是自身发光的物体，所以即使在来自投光器206的投光弱的情况下也被检测为微弱的模糊的光。这样，将被检测为微弱的模糊的光的物体在此定义为“微弱的检测”。在图8中，用作为中间色的灰色的椭圆表示“微弱的检测”。
拍摄型式(2)是无来自投光部206的投光且曝光时间长的情况。关于处于接近相机的位置的物体A，即使在无来自投光部206的投光的情况下，由于曝光时间长，所以也被浅浅地检测到。该检测为如包含噪声那样的、譬如被检测到的部分和未被检测到的部分混杂的检测结果，所以以下将这样的检测方法定义为“微小检测”。在图8中，用虚线的扣白的椭圆表示该“微小检测”。
物体B是从相机起处于远方(10m处)的物体，所以在无投光的状态下检测不到。另外，发光体C与有来自投光部206的投光的拍摄型式(1)相比被检测为与无投光的量对应地更清晰的图像。其原因为，发光体C是自身发光的物体，所以在无照明光时被检测为更清楚的图像。
拍摄型式(3)是使强的强度的照明光从投光部206发出的状态并且快门的曝光时间长的情况。在该情况下，近处的物体A以及远处的物体B都为“清晰的检测”。其原因为，照明用的投光强，所以足够到达至远处的区域。只不过，在发光体C的情况下，发光的光被照明用的光抵消，所以几乎检测不到、或者被检测为模糊的薄的图像。成为接近所谓“微小检测”的图像。
拍摄型式(4)是无来自投光部206的投光且快门的曝光时间也短的情况。在该拍摄型式(4)中，无投光且曝光时间也短，所以近处的物体A以及远处的物体B都不会被检测到。但是，关于发光体C，与无基于投光的照明的量对应地，自发光的光被清晰地检测到。
最后，拍摄型式(5)是投光部206的发光弱的状态并且快门的曝光时间也短的型式。因此，设置于近处的物体A被检测为“微弱的检测”。但是，设置于如10m处那样的远处的物体B检测不到。另外，关于发光体C，与无基于投光部206的投光的量对应地，自发光的光被检测为“微弱的检测”。
接下来，比较以上的拍摄型式(1)～(5)，对向附近的物体A、远方的物体B以及发光体C分别对准焦点，说明该各拍摄型式(1)～(5)中的拍摄的状态。
关于相机附近的物体A，不论是拍摄型式(1)的弱的照明还是拍摄型式(3)的强的照明，由于曝光时间长，所以都被清晰地检测到。但是，在拍摄型式(2)、(4)中，由于无投光，所以在曝光时间长的拍摄型式(2)中为“微小检测”，而在曝光时间短的拍摄型式(4)中检测不到。在拍摄型式(5)中，由于曝光时间短，所以相比于曝光时间长而为“清晰的检测”的拍摄型式(1)，与曝光时间短的量对应地为“微弱的检测”。
接下来，在从相机处于远方的物体B的情况下，除了强的照明并且曝光时间长的拍摄型式(3)以外都检测不到。
另外，在处于远方的发光体C的情况下，在投出照明的拍摄型式(1)、(5)中为“微弱的检测”，在拍摄型式(3)中，照明的强度强，所以为发光体C自身不明显的“微小检测”。此外，由于发光体C自发光，所以在投光被抵消的拍摄型式(2)、(4)中为“清晰的检测”。
以上，说明了根据拍摄型式(1)～(5)检测以物体A、物体B以及发光体C为代表的3种物体的方法。
在本例的拍摄装置中，使用立体相机10，所以如图8的黑的椭圆所示，如果得到物体的“清晰的检测”，则视差测量部403能够根据该视差信息准确地测定直至物体的距离。
例如，在拍摄型式(1)中，能够测定相机的附近的物体A的距离，如果是拍摄型式(3)，则能够测定相机的附近的物体A以及远方的物体B这两方的距离。
另一方面，在发光体C的情况下，在拍摄型式(2)和拍摄型式(4)中为“清晰的检测”，但由于自发光而难以准确地识别发光体的形状，其结果是有可能错误地检测直至发光体C的距离。
因此，在本例中区分使用这些拍摄型式(1)～(5)，通过状态判定部503进行根据通过各拍摄型式(1)～(5)得到的相互相异的图像数据区分发光体C和物体A或者物体B的判定。
因此，即使在立体相机10中发生了污染、遮挡物等的妨害所引起的异常，也能够准确地判别物体、发光体，进而还能够准确地测量是怎样的情形。
[拍摄装置的处理模式]
接下来，参照图9以及图10，说明状态诊断部30的状态判定部503中的状态判定的结果和该处理模式的设定及其状态转移。
图9是示出本例的拍摄装置的处理模式的状态转移的图，图10是示出用于本例的拍摄装置的状态诊断的诊断型式和判定结果的图。
图9的待机模式S1、诊断模式S2、保养模式S3、警戒模式S4这4个处理模式与图10的处理模式97对应。
图9的待机模式S1与什么也没有的状态对应。在该阶段中发现存在某种异常的可能性的候补时，从待机模式S1转移到诊断模式S2。在进入到诊断模式S2时，驱使如上所述说明的多个拍摄型式(1)～(5)，进行物体A、物体B以及发光体C等的拍摄和其诊断。在该情况下，改变相机的高度、朝向或者照明等，取得各种相机图像，进行其诊断。
在诊断模式S2中的诊断的结果是例如发现侵入者的情况下，转移到警戒模式S4。在成为警戒模式S4时，输出报告成为了警戒模式的意思的显示或者警报。然后，在警报等被报告之后，再次返回到待机模式S1。
另一方面，在诊断模式S2中的诊断的结果是判定为异常的候补并非侵入者而是例如如透镜的污染那样的异常的情况下，转移到保养模式S3，在进行某种保养之后，恢复为待机模式S1。
另外，如果诊断模式S2中的诊断的结果是仅拍摄了远方的发光体C而未识别出特别的异常，则再次返回到待机模式S1。
图10是示出根据图7的拍摄型式(1)～(5)进行某个区域的拍摄的情况下的诊断型式98a～98d的表格的例子。该诊断型式98a～98d被预先保存于图1所示的诊断型式数据库40。
图10的横轴所示的符号91～95示出了基于图1以及图4的图像处理部20的图像处理结果的图像的判定基准。该判定基准91～95与拍摄型式(1)～(5)对应，所以在图10中将图7所示的拍摄型式(1)～(5)和判定基准91～95对应关联地记载。
此外，图10中的各行表示诊断型式。在此，在诊断型式98a～98d中，使用的数值表示物体被清晰地检测了何种程度，“>100”(超过100的值)表示被极其清楚和清晰地拍摄的“清晰的检测”。另外，“>20”(超过20的值)表示“微小检测”，“>50”(超过50的值)表示其中间的“微弱的检测”。这些数值不过是能够根据拍摄以及诊断的状况任意地设定的值。
例如，在诊断型式98a的情况下且立体相机10的控制模式是拍摄型式(1)的情况下，用判定基准91清晰地检测到附近的物体A。于是，如判定结果96所示，被判定为“异常候补”。在根据该判定结果96判定为“异常候补”的情况下，处理模式97从图9的“待机模式S1”转移到“诊断模式S2”。
接下来，在诊断型式98b的情况下，在有投光的拍摄型式(1)以及(5)中为“清晰的检测”，在无投光的拍摄型式(2)中为“微小检测”。在无投光且曝光时间短的拍摄型式(4)中检测不到。另外，在有向附近的区域的投光并且曝光时间短的拍摄型式(5)中，为“微弱的检测”。在这样的情况下，附着物附着到立体相机10自身的可能性高，所以判定结果96为“附着物”，处理模式97转移到“保养模式S3”。
另外，在诊断型式98c的情况下，仅在拍摄型式(3)中为“清晰的检测”，在其以外的拍摄型式(1)、(2)、(4)、(5)中，什么也未检测到。这样，在仅检测到远方的物体B的情况下，判定结果96为“远方物体”，处理模式97为“警戒模式S4”。其原因为，例如在10m处的远方清晰地检测到某个物体时有可能检测到的物体是侵入者。
在诊断型式98d的情况下，在有投光的拍摄型式(1)和(5)中为“微弱的检测”，在无投光的拍摄型式(2)和(4)中为“清晰的检测”。另外，在有向远方的投光的拍摄型式(3)中为“微小检测”。在该情况下，为确实与图8的发光体C的检测结果相同的趋势。因此，判定结果96被判断为检测到的物体是发光体C。另外，判断为不存在无侵入者的嫌疑，处理模式97直接为“待机模式S1”。
以上，在本例中，说明了在检测立体相机10的监视区域的状态时通过相机的照明控制和相机控制中的快门控制取得各种图像并分类监视区域的状态。
然而，例如在使图3的投光部303向相机附近的区域照射的情况下，在初始的阶段中作为物体候补而其位置、朝向被检测到的物体也随着时间的经过而变得检测不到。在这样的情形中，还可能被判定为误报。相对于此，在对处于远方的区域的物体进行拍摄的情况下，处于此处的物体被检测比较长的时间，所以被判定为误报的可能性变小。
换言之，通过使相机的朝向移动，能够判断是附近的物体还是远方的物体。其原因为，在附近的物体的情况下，相机沿着物体的移动而移动的情况下的检测位置的移动变大，在远方的情况下检测位置的移动变小。
另外，在本例中，说明为立体相机10，但当然还能够使用2台以上的相机例如3台相机进行同样的处理。
另外，有将处理模式设为“保养”且例如在立体相机10的左右任意部位检测到污染而由此担心性能降低的情况。在这样的情况下，为了确保安全，需要活用未检测到污染的一方的正常的相机而不停止动作地持续执行固定程度以上的处理。另外，同时还能够通过通知给控制中心等而无需停止系统来确保安全等级。
以上，作为本发明的摄像装置的一个例子，说明了使用立体相机10根据其视差信息检测附近以及远方的物体和发光体来进行监视区域的状态诊断的拍摄装置以及拍摄方法。然而，在本例中说明的例子不过是一个实施方式例，本发明只要不脱离权利要求书记载的本发明的要旨，当然包括其他应用例或者变形例。
例如，在上述实施方式例中，作为拍摄模式，示出了投光的强度和快门的曝光时间这2个的组合的拍摄型式(1)～(5)。相对于此，也可以动态地控制投光的强度和方向、曝光时间、光圈、相机的朝向(姿势)以及透镜的焦距，通过它们的多个组合而设定多个拍摄型式。进而，也可以作为图像传感器不仅使用RGB传感器还使用在RGB基础上还有红外感度的传感器、或者利用增益调整等变更传感器感度，从而设定取得的拍摄型式。
另外，上述各结构、功能、处理部、处理单元等例如也可以通过用集成电路设计等而用硬件实现它们的一部分或者全部。另外，上述各结构、功能等也可以通过处理器解释实现各个功能的程序并执行而用软件实现。实现各功能的程序、表格、文件等信息能够设置于存储器、硬盘、SSD(Solid State Drive，固态驱动器)等记录装置或者IC卡、SD卡、DVD等记录介质。
另外，控制线、信息线表示在说明上是必要的，产品上未必示出所有控制线、信息线。也可以认为实际上几乎所有结构相互连接。

Claims (6)

1.一种拍摄装置，具备：
立体相机，包括2台以上的相机；
图像处理部，根据来自所述立体相机的图像数据，取得视差信息；
诊断型式数据库，预先存储有所述立体相机的拍摄状况不同的多个图像信息作为诊断型式；
状态诊断部，参照存储于所述诊断型式数据库的所述拍摄状况不同的多个图像信息，根据从所述图像处理部得到的所述视差信息，判别相机的状态，进行相机的状态诊断；以及
相机控制部，接受所述状态诊断部的诊断结果，进行所述立体相机的照明控制、快门控制、姿势控制中的至少1个，
所述相机控制部动态地控制照明的强度和方向、曝光时间、光圈、相机的朝向、传感器灵敏度以及焦距，通过其组合，所述立体相机取得所述多个图像信息。
2.根据权利要求1所述的拍摄装置，其特征在于，
所述状态诊断部对待机、诊断、警戒、保养这4个处理模式进行诊断，根据诊断的结果，转移到所述4个处理模式中的任意处理模式。
3.根据权利要求2所述的拍摄装置，其特征在于，
所述状态诊断部在根据状态诊断的结果转移到所述4个处理模式中的任意处理模式之后，转移到事先设定的待机的处理模式。
4.根据权利要求1所述的拍摄装置，其特征在于，
所述图像处理部具备：
相机图像取得部，从所述立体相机取得左右的相机图像；
失真校正部，校正由所述相机图像取得部取得的相机图像的失真；
视差测量部，根据由所述失真校正部校正失真后的所述左右的相机图像，计算所述视差信息；以及
物体检测部，根据由所述视差测量部计算出的所述视差信息，检测作为被摄体的物体。
5.根据权利要求4所述的拍摄装置，其特征在于，
所述状态诊断部具备：
结果取得部，取得从所述图像处理部输入的所述视差信息；
数据取得部，被输入由所述结果取得部取得的所述视差信息，并且从所述诊断型式数据库取得预先存储于所述诊断型式数据库的所述立体相机的拍摄状况不同的多个图像信息，从而取得应判别的参数；以及
状态判定部，根据由所述数据取得部取得的所述应判别的参数，判别立体相机是正常还是异常状态。
6.一种拍摄方法，包括：
通过立体相机对应监视的区域进行拍摄而得到左右的图像数据的工序；
通过图像处理部，根据由所述立体相机拍摄到的所述左右的图像数据，取得针对拍摄到的图像的视差信息的工序；
将由所述立体相机拍摄到的拍摄状况不同的多个图像信息预先作为诊断型式存储到诊断型式数据库的工序；以及
根据由所述图像处理部取得的所述视差信息和预先存储于所述诊断型式数据库的拍摄状况不同的多个图像信息，通过状态诊断部判别相机的状态，进行相机的状态诊断的工序，
相机控制部动态地控制照明的强度和方向、曝光时间、光圈、相机的朝向、传感器灵敏度以及焦距，通过其组合，所述立体相机取得所述多个图像信息。
CN201680088432.XA 2016-08-29 2016-08-29 拍摄装置以及拍摄方法 Active CN109564382B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/075130 WO2018042481A1 (ja) 2016-08-29 2016-08-29 撮影装置及び撮影方法

Publications (2)

Publication Number Publication Date
CN109564382A CN109564382A (zh) 2019-04-02
CN109564382B true CN109564382B (zh) 2021-03-23

Family

ID=61305155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088432.XA Active CN109564382B (zh) 2016-08-29 2016-08-29 拍摄装置以及拍摄方法

Country Status (4)

Country Link
US (1) US10728537B2 (zh)
JP (1) JP6586239B2 (zh)
CN (1) CN109564382B (zh)
WO (1) WO2018042481A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102238794B1 (ko) * 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
JP2019056623A (ja) * 2017-09-21 2019-04-11 株式会社東芝 画像処理装置、及び、画像処理システム
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP7115253B2 (ja) * 2018-11-28 2022-08-09 トヨタ自動車株式会社 車載カメラシステム
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
CN110161793A (zh) * 2019-04-16 2019-08-23 苏州佳世达光电有限公司 一种投影调整系统、投影机及支撑机构
JP2020193946A (ja) * 2019-05-30 2020-12-03 本田技研工業株式会社 光学装置及び把持システム
EP3883242A1 (en) * 2020-03-20 2021-09-22 Melexis Technologies NV Optical sensor diagnostics
DE102020124785A1 (de) 2020-09-23 2022-03-24 Connaught Electronics Ltd. Verfahren zum Überwachen eines Fokus einer an einem Kraftfahrzeug angeordneten Kamera, Computerprogrammprodukt, computerlesbares Speichermedium sowie System
DE102021000600A1 (de) * 2021-02-05 2022-08-11 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera
JP7147906B1 (ja) * 2021-03-25 2022-10-05 株式会社明電舎 パンタグラフ周辺支障物検出装置および検出方法

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211466A (ja) * 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
CN101820552A (zh) * 2009-02-27 2010-09-01 索尼公司 图像处理设备、图像处理方法、程序和三维图像显示设备
CN101841728A (zh) * 2003-04-17 2010-09-22 夏普株式会社 三维图像处理装置
WO2011086630A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 撮像装置、撮像方法、プログラム及び集積回路
CN102156380A (zh) * 2010-02-04 2011-08-17 卡西欧计算机株式会社 摄像装置以及警告方法
CN102293005A (zh) * 2009-01-22 2011-12-21 日本电气株式会社 三维影像鉴赏系统、显示系统、光学快门和三维影像鉴赏方法
CN102422124A (zh) * 2010-05-31 2012-04-18 松下电器产业株式会社 成像装置、成像方法及程序
CN102547332A (zh) * 2010-12-22 2012-07-04 富士通株式会社 图像拍摄装置和图像拍摄控制方法
CN102724521A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 立体显示方法及装置
CN103026720A (zh) * 2010-06-18 2013-04-03 黑拉许克联合股份有限公司 立体摄像机系统的光学自诊断
CN103106652A (zh) * 2011-09-29 2013-05-15 索尼公司 图像处理设备、图像处理方法和程序
CN103108203A (zh) * 2011-11-11 2013-05-15 Lg电子株式会社 三维图像处理装置及其电力控制方法
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
EP2670147A2 (en) * 2012-05-28 2013-12-04 Ricoh Company, Ltd. Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
JP5380575B2 (ja) * 2012-05-09 2014-01-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
CN103563366A (zh) * 2011-03-29 2014-02-05 索尼公司 图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序
CN103621094A (zh) * 2011-06-30 2014-03-05 索尼公司 图像处理装置和方法
CN104185985A (zh) * 2012-03-30 2014-12-03 富士胶片株式会社 拍摄装置、方法、存储介质以及程序
CN104869384A (zh) * 2014-02-25 2015-08-26 华晶科技股份有限公司 电子装置及其校正方法
EP2911116A1 (en) * 2012-10-18 2015-08-26 Konica Minolta, Inc. Image-processing device, image-processing method, and image-processing program
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
JP2016091108A (ja) * 2014-10-30 2016-05-23 パナソニックＩｐマネジメント株式会社 人体部位検出システムおよび人体部位検出方法
CN105611269A (zh) * 2015-12-18 2016-05-25 华中科技大学 基于fpga的实时视差计算系统
WO2016129430A1 (ja) * 2015-02-09 2016-08-18 国立研究開発法人情報通信研究機構 奥行推定装置、奥行推定方法及び奥行推定プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516127B2 (ja) * 1997-12-09 2004-04-05 オムロン株式会社 画像処理方法およびその装置
JP2004363753A (ja) 2003-06-03 2004-12-24 Fuji Photo Film Co Ltd 自動撮影システム

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211466A (ja) * 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
CN101841728A (zh) * 2003-04-17 2010-09-22 夏普株式会社 三维图像处理装置
CN102293005A (zh) * 2009-01-22 2011-12-21 日本电气株式会社 三维影像鉴赏系统、显示系统、光学快门和三维影像鉴赏方法
CN101820552A (zh) * 2009-02-27 2010-09-01 索尼公司 图像处理设备、图像处理方法、程序和三维图像显示设备
WO2011086630A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 撮像装置、撮像方法、プログラム及び集積回路
CN102156380A (zh) * 2010-02-04 2011-08-17 卡西欧计算机株式会社 摄像装置以及警告方法
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
CN102422124A (zh) * 2010-05-31 2012-04-18 松下电器产业株式会社 成像装置、成像方法及程序
CN103026720A (zh) * 2010-06-18 2013-04-03 黑拉许克联合股份有限公司 立体摄像机系统的光学自诊断
CN102547332A (zh) * 2010-12-22 2012-07-04 富士通株式会社 图像拍摄装置和图像拍摄控制方法
CN103563366A (zh) * 2011-03-29 2014-02-05 索尼公司 图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序
CN102724521A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 立体显示方法及装置
CN103621094A (zh) * 2011-06-30 2014-03-05 索尼公司 图像处理装置和方法
CN103106652A (zh) * 2011-09-29 2013-05-15 索尼公司 图像处理设备、图像处理方法和程序
CN103108203A (zh) * 2011-11-11 2013-05-15 Lg电子株式会社 三维图像处理装置及其电力控制方法
CN104185985A (zh) * 2012-03-30 2014-12-03 富士胶片株式会社 拍摄装置、方法、存储介质以及程序
JP5380575B2 (ja) * 2012-05-09 2014-01-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
EP2670147A2 (en) * 2012-05-28 2013-12-04 Ricoh Company, Ltd. Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
EP2911116A1 (en) * 2012-10-18 2015-08-26 Konica Minolta, Inc. Image-processing device, image-processing method, and image-processing program
CN104869384A (zh) * 2014-02-25 2015-08-26 华晶科技股份有限公司 电子装置及其校正方法
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
JP2016091108A (ja) * 2014-10-30 2016-05-23 パナソニックＩｐマネジメント株式会社 人体部位検出システムおよび人体部位検出方法
WO2016129430A1 (ja) * 2015-02-09 2016-08-18 国立研究開発法人情報通信研究機構 奥行推定装置、奥行推定方法及び奥行推定プログラム
CN105611269A (zh) * 2015-12-18 2016-05-25 华中科技大学 基于fpga的实时视差计算系统

Also Published As

Publication number Publication date
CN109564382A (zh) 2019-04-02
JP6586239B2 (ja) 2019-10-02
JPWO2018042481A1 (ja) 2019-04-18
US20190230347A1 (en) 2019-07-25
US10728537B2 (en) 2020-07-28
WO2018042481A1 (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
CN109564382B (zh) 拍摄装置以及拍摄方法
CN108426160B (zh) 监控系统、监控装置及监控方法
CN104902246B (zh) 视频监视方法和装置
JP4626632B2 (ja) 映像監視システム
KR101343975B1 (ko) 돌발검지 시스템
JP4460782B2 (ja) 侵入監視装置
JP3201518U (ja) イメージセンサ視野内の障害物を検出するためのシステム
US20040227816A1 (en) Intruding object monitoring system
KR102059244B1 (ko) 라이다 장치
JP2015501578A (ja) 射影空間監視のための方法および装置
US20070076958A1 (en) Method and system for determining gaze direction in a pupil detection system
CN106997455A (zh) 用于安全地检测出最小尺寸的对象的光电传感器和方法
JP2013530466A (ja) ステレオカメラシステムの光学式自己診断
EP2670147A2 (en) Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
JP2001211466A (ja) 自己診断機能を有する画像処理システム
US7619650B2 (en) Imaging sensor that monitors operability of the imaging sensor
JP2011180022A (ja) ステレオカメラの診断方法、およびステレオカメラの診断装置
JP2019159346A (ja) 撮像装置
JP2005515733A (ja) 画像撮影システムにおいて画像エラーを識別ないし表示するための方法と装置
WO2020105527A1 (ja) 画像解析装置、画像解析システム、および制御プログラム
JP2015025730A (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
US20120154583A1 (en) Method and system for monitoring the accessibility of an emergency exit
US20210052156A1 (en) Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium
KR20100010734A (ko) 스테레오 카메라 및 열화상 카메라를 이용한 승강장모니터링 시스템 및 그 방법
EP1800964B1 (en) Method of depth estimation from a single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant