CN107431747B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN107431747B CN107431747B CN201680018069.4A CN201680018069A CN107431747B CN 107431747 B CN107431747 B CN 107431747B CN 201680018069 A CN201680018069 A CN 201680018069A CN 107431747 B CN107431747 B CN 107431747B
- Authority
- CN
- China
- Prior art keywords
- image pickup
- unit
- image
- imaging
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 168
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 238000012937 correction Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
具有多个摄像部,至少一个摄像部是以第一帧率进行摄像的摄像部,至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部;具有:运动体检测部,基于由以第二帧率进行摄像的摄像部取得的图像来检测运动体;以及距离检测部,基于由所述多个摄像部取得的多个图像的视差来检测与被摄体的距离。
Description
技术领域
本发明涉及摄像装置。
背景技术
作为本技术领域的背景技术,已知对被摄像的立体图像进行间隔剔除并记录至记录介质的装置(参照专利文献1)。
现有技术文献
专利文献
专利文献1:国际公布WO2010/128640号公报
发明内容
发明要解决的课题
但是,专利文献1中记载的技术没有考虑以高帧率被摄像的图像的处理。
用于解决课题的手段
根据本发明的第一方式,一种具有多个摄像部的摄像装置,优选所述多个摄像部之中的至少一个摄像部是以第一帧率进行摄像的摄像部,所述多个摄像部之中的至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部,所述摄像装置具有:运动体检测部,基于由以所述第二帧率进行摄像的摄像部取得的图像来检测运动体;以及距离检测部,基于由所述多个摄像部取得的多个图像的视差来检测与被摄体的距离。
发明效果
根据本发明,能够提供高性能且低成本的摄像装置。
附图说明
图1是表示第一实施方式中的摄像装置的结构的图。
图2是表示第一实施方式中的摄像定时信号的定时的一例的图。
图3是表示第一实施方式中的摄像装置的处理流程的图。
图4是表示在第一实施方式中由摄像装置摄像的图像的例子的图。
图5是表示第一实施方式中的摄像定时信号的定时的另一例的图。
图6是表示第二实施方式中的摄像装置的结构的图。
图7是表示第二实施方式中的摄像定时信号的定时的一例的图。
图8是表示第三实施方式中的摄像装置的结构的图。
图9是表示第四实施方式中的摄像装置的结构的图。
图10是表示第五实施方式中的摄像装置的结构的图。
具体实施方式
以下,使用附图说明本发明的实施方式。
(第一实施方式)
图1是表示本发明的摄像装置的第一实施方式的结构的图。本实施方式的摄像装置1例如被搭载在车辆的前方,构成为对信号灯、标识、障碍物等进行识别来辅助驾驶员的安全系统的一部分。
摄像部101、102、103构成为在图像传感器上安装有光学透镜。这些摄像部每次被输入后述的摄像定时信号则拍摄1张图像,并输出所摄像的图像。
此外,这些摄像部以取得大致同一范围的视场角的图像的方式被安装。进而摄像部101和摄像部102以规定的距离左右分离而设置,根据由摄像部101和摄像部102拍摄到的图像的偏差、所谓视差,能够计算至被摄体为止的距离。
另外,在图1中示出了摄像装置1的结构要素被收纳于同一箱体的例子,但例如也可以将摄像部101、102、103一起收纳到与其他结构要素不同的箱体,也可以将摄像部101和摄像部102以左右分离的形式收纳于同一箱体,而将摄像部103收纳于再其他的箱体(该图中虚线框),进而也可以将摄像部101、102、103分别收纳于不同的箱体而安装于车辆。在该情况下,图像信号和摄像定时信号通过未图示的连接线缆连接即可。作为使用连接线缆来传输图像的方法,有使用LVDS(低压差分信号:LowVoltage Differential Signaling)方式的差动传输路径的双向传输方法等。
进而,通过将摄像部101和摄像部102的图像传感器设为彩色图像传感器,从而能够取得所摄像的图像的颜色信息。关于摄像部103,将图像传感器设为黑白图像传感器从而降低成本,但也可以是彩色图像传感器。此外,也可以构成为将摄像部103和后述的运动体检测部106收纳于同一箱体,输出运动体检测结果。在该情况下,不输出图像本身,因此能够降低所传输的数据量。
摄像定时信号生成部104将所生成的例如脉冲状的摄像定时信号输出至摄像部101、102、103。如前述那样,各摄像部通过输入1脉冲的该摄像定时信号从而摄像1张图像。摄像定时信号生成部104对摄像部101、102、103分别输出独立的摄像定时信号,从而能够控制各摄像部的摄像定时。
距离检测部105输入摄像部101和摄像部102的图像来检测被摄体的距离。作为检测距离的方法,例如有如下方法。距离检测部105获取来自摄像部101、102的图像,以使双方的图像的亮度相对应的方式利用预先计测的校正值进行校正,接着还以使水平位置相对应的方式利用预先计测的校正值进行校正。校正值的计测在摄像装置的制造工序中进行。按适用校正值前的每个装置,对特定的被摄体进行摄像,求出使得所获取的图像的亮度变得均匀的每个像素的亮度校正值、及使得图像变得水平的每个像素的几何校正值,分别作为校正表而在每个装置中保存在例如未图示的非易失性存储器中。
接着进行视差的计算。如前述那样,摄像部101和摄像部102以规定的距离在左右分离而设置,因此所摄像的图像具有视差。计算该视差。作为视差的计算方法,例如有块匹配方式。距离检测部105例如在水平方向上搜索与从摄像部101的图像上较小地切出的规定尺寸的块区域对应的、摄像部102的图像上的显示相同被摄体的区域。并且摄像部101和摄像部102中的一致的块区域的位置的差成为视差。
在整个图像上进行上述处理。作为对一致进行比较的方法,例如,将使得块区域内的像素的亮度的差分的总和变小的位置作为视差。已知距离能够根据摄像部101、摄像部102的透镜焦点距离、摄像部101与摄像部102的距离、上述求得的视差、及摄像传感器的像素间距求出。其中,距离的计算方法并非限定于此。
运动体检测部106输入摄像部103的图像来检测被摄体的运动。作为检测运动的方法,例如有如下方法。运动体检测部106获取来自摄像部103的图像,检测所获取到的图像的时间性的变化。作为时间性的变化的检测方法,例如也有块匹配方式。
运动体检测部106依次积蓄摄像部103的例如多张图像,在上下左右方向上搜索与将某图像较小地切出的规定尺寸的块区域对应的、下一图像上的显示相同被摄体的区域。并且块区域一致的位置成为该块区域的被摄体运动的方向和量。作为对一致进行比较的方法,与上述的距离检测同样,有求出使得块区域内的像素的亮度的差分的总和变小的位置的方法等。
在整个图像上进行上述处理,而且针对所输入的图像依次处理,从而能够取得被摄体的时间性的运动。进而,在车辆移动的情况下,去除与该移动相伴的背景的移动量从而检测运动体。背景的运动的推定例如被记载于非专利文献:清原将裕等著《用于车辆周边监视的移动体检测技术的开发》ViEW视觉技术的实际利用研讨会(2011.12.8-9横滨)pp.275-280。作为检测结果,例如是按每个块区域表示运动的朝向和大小的矢量。但是,被摄体的运动的检测方法并非限定于此。
识别部107接受距离检测部105和运动体检测部106的检测结果,对图像上的坐标位置进行比较参照从而识别运动体的距离。识别部107将识别结果的信息输出至摄像装置1的外部。
另外,也可以在基于3张图像的识别处理结束后,识别部107对摄像定时信号生成部104输出该情况,从而摄像定时信号生成部104输出接下来的摄像定时信号。
图2是表示由摄像定时信号生成部104生成并输出的摄像定时信号的脉冲波形定时的一例的图。在该图中(2-1)是输出至摄像部101的摄像定时信号。同样地(2-2)是输出至摄像部102的摄像定时信号,(2-3)是输出至摄像部103的摄像定时信号。
例如,在(2-1)、(2-2)中,以每1秒30脉冲的周期同时输出至摄像部101、102,在(2-3)中以每1秒480脉冲的周期输出至摄像部103。在该情况下,虽未图示,但在(2-1)(2-2)的1脉冲的期间,(2-3)输出16脉冲的定时信号。此外,这些摄像定时信号同步,(2-1)(2-2)(2-3)的摄像定时信号在摄像定时T21、T22、T23、T24、T25中同时一起输出,此时摄像部101、102、103同时进行摄像。
即,在根据由摄像部101和摄像部102摄像的图像来检测距离的情况下,在摄像部103中摄像相同时间的图像,因此能够准确地进行在前述对运动体进行距离识别时的图像的比较参照。另外,不需要必须在相同的时间进行摄像,还能够有意地错开一定的时刻拍摄。
图3是表示本发明的摄像装置的一实施方式的处理流程的图。如前述那样,通过摄像部101及102检测被摄体的距离,通过摄像部103检测运动体。
首先,通过摄像部101及102进行拍摄(S301:S表示步骤),根据所摄像的两个图像来检测视差(S302)。接着,根据如上述那样检测的视差来计算距离(S303)。以图2所示的摄像定时(2-1)(2-2)的周期反复进行该S301、S302、S303的处理。
此外,根据由摄像部103拍摄到的图像来检测运动体。如前述那样,通过摄像部103进行拍摄(S304),根据所摄像的图像来检测被摄体的运动(S305)。接着去除背景的移动量(S306)。以图2的摄像定时(2-3)的周期反复进行该S304、S305、S306的处理。并且,在识别部107中识别运动体的距离(S307)。
图4是表示在本发明的摄像装置的一实施方式中摄像的图像的例子的图。图像401是在某时刻由摄像部103摄像的图像,摄像部101、102也拍摄而取得大致同样的图像。被摄体402、403、404设为处于大致相同的距离。图像内的框在所摄像的图像中不存在,用于明确示出所识别的运动体。
被摄体402表示捕捉到由于突然跑出而进入了拍摄范围的行人并识别为运动体,被摄体403表示交通信号灯的绿灯点亮而被识别为运动体。由于交通信号灯使用对商用交流电源进行了整流而得到的电源,所以以100Hz或者120Hz闪烁(所谓动态点亮)。从而例如在以每1秒30张的周期拍摄的情况下,交通信号灯看上去时亮时暗或者熄灭。
因此如本实施方式那样,例如以每1秒480张的周期进行拍摄,从而能够准确地捕捉交通信号灯点亮的期间。被摄体404也是行人,与被摄体402、403处于大致相同的距离,但由于静止而不被识别为运动体。这样,根据本实施方式,能够准确地捕捉突然跑出的人、信号机、此外的动态点亮的显示器。
根据本实施方式,由两个摄像部检测被摄体的距离,且由其他摄像部以比距离检测更高的帧率检测运动体,从而能够快速检测运动体的距离,能够提高安全性。以高帧率进行摄像的摄像部与用于检测距离的摄像部独立,因此以对以往的距离检测功能追加的形式,不限制距离检测功能就能够实现。
图5是表示由摄像定时信号生成部104生成并输出的摄像定时信号的脉冲波形定时的另一实施方式的图。在该图中(5-1)(5-2)是分别输出至摄像部101、102的摄像定时信号。(5-3)表示输出至摄像部103的摄像定时信号。
在该图中,在摄像定时T51,在根据由摄像部103拍摄到的图像,由运动体检测部106将前述的突然跑出的人检测为运动体的情况下,运动体检测部106对摄像定时信号生成部104通知已检测出。摄像定时信号生成部104接受该通知,在摄像定时T52,对摄像部101、102输出摄像定时信号。
通过在摄像定时T52紧前的摄像定时信号拍摄的图像正在摄像过程中,因此被丢弃,但从摄像定时T52重新进行摄像,因此能够较早地取得运动体的距离。此外,在捕捉到如前述的交通信号灯那样动态点亮的显示器的情况下,在运动体检测部106中,还能够根据亮度信号的变化,与点亮的定时相应地输出摄像定时信号。
在该情况下,在距离检测部105中,能够作为交通信号灯始终点亮的状态,因此检测视差的情况下的亮度值不受摄像定时影响,能够准确地计算距离。在该情况下,通过将摄像部101、102的图像传感器设为彩色像素传感器,能够准确地判别所点亮的信号灯的颜色。
此时,摄像部103的图像传感器根据亮度信号的变化来进行运动体检测,因此也可以是黑白图像传感器,来降低装置的成本。
根据本实施方式,由两个摄像部检测被摄体的距离,且由其他摄像部以比检测距离更高的帧率来检测运动体时,与运动体的状态相应地进行距离检测的动作,因此能够快速检测运动体的距离,能够提高安全性。
(第二实施方式)
图6是表示本发明的摄像装置的第二实施方式的结构的图。在该图中示出摄像部601、帧率变换部602。在本实施方式中,具备摄像部601和摄像部102这两个摄像部作为摄像部。摄像部601和摄像部102以规定的距离在左右分离而设置,根据由摄像部601和摄像部102拍摄到的图像的视差,能够计算至被摄体为止的距离。此外,摄像定时信号生成部104对摄像部601和摄像部102输出摄像定时信号。
图7是表示图6所示的摄像装置中的、由摄像定时信号生成部104生成并输出的摄像定时信号的定时的一例的图。在该图中(7-1)是输出至摄像部601的摄像定时信号,(7-2)表示输出至摄像部102的摄像定时信号。在(7-1)中,例如以每1秒480脉冲的周期同时输出至摄像部601,在(7-2)中,以每1秒30脉冲的周期输出至摄像部102。
这些摄像定时信号同步,(7-1)(7-2)的摄像定时信号在摄像定时T71、T72、T73、T74、T75同时一起输出,此时摄像部601和摄像部102同时进行摄像。
再次返回图6进行说明。如前述那样,摄像部601、摄像部102按照从摄像定时信号生成部104输出的摄像定时信号进行摄像。帧率变换部602被插入至摄像部601和距离检测部105之间。帧率变换部602降低所输入的图像的帧率而输出至距离检测部105。
帧率的变换例如有对所输入的图像进行间隔剔除并输出的方法、取多张图像的平均并输出的方法等。在此,将图7的摄像定时T71、T72、T73、T74及T75的图像输出至距离检测部105,丢弃这以外的图像。由此,对距离检测部105,由摄像部601及摄像部102在相同的定时拍摄的图像以每1秒30张输入。
这以后的动作与第一实施方式相同,在距离检测部105中,根据由摄像部601和摄像部102在相同的定时摄像的图像的视差来检测被摄体的距离,且将由摄像部601摄像的图像输入至运动体检测部106,进行运动体检测。识别部107接受距离检测部105和运动体检测部106的检测结果,对图像上的坐标位置进行比较参照从而识别运动体的距离。
在本实施方式中,由摄像部601和摄像部102这两个摄像部构成,在摄像部601中,根据以高帧率拍摄到的图像进行运动体检测,此外,在帧率变换部602中,以与在摄像部102中拍摄到的图像的帧率、摄像定时对应的方式,对图像进行间隔剔除并输出至距离检测部105,因此与本发明的摄像装置的第一实施方式相比,能够以更低成本实现,且得到同样的性能的距离检测功能。此外,摄像部为两个即可,所以能够通过减轻摄像部侧的重量、降低功耗、缩小箱体来减少对车辆设置的尺寸限制,能够降低成本。另外,也可以使摄像部102以与摄像部601相同的高帧率拍摄,在与距离检测部105之间同样地插入帧率变换部。在该情况下,摄像部601和摄像部102能够采用相同性能的图像传感器。
(第三实施方式)
图8是表示本发明的摄像装置的第三实施方式的结构的图。在本实施方式中,将第一实施方式的摄像部103和运动体检测部106收纳于不同箱体而设为运动体摄像部802,将剩余的部分设为视差摄像部801。在该情况下,能够对视差摄像部801追加运动体摄像部802而构成,能够容易地分开提供仅进行距离检测的装置、和除了距离检测之外还进行运动体检测的装置。此外,在该实施方式的情况下,在视差摄像部801与运动体摄像部802之间不输出图像本身,因此能够降低所传输的数据量。
(第四实施方式)
图9是表示本发明的摄像装置的第四实施方式的结构的图。摄像装置1被搭载于汽车等车辆,在该图中示出车辆控制部901。识别部107的输出被输入至车辆控制部901。车辆控制部901接受识别部107的识别结果,对车辆的其他未图示的装置进行控制。作为车辆的控制,是基于检测到突然跑出的人、红灯、道路标识,对驾驶员点亮警告灯、发出警告音、通过刹车制动进行减速、停止控制、跟随前车时的节流阀、刹车控制、用于避免其他碰撞、维持车道的转向角控制等。这些车辆控制信息从摄像装置1对未图示的其他装置经由车内网络而输出。另外,在该图中示出了车辆控制部901与摄像装置1被收纳于同一箱体的例子,但并非限于此,也可以如前述那样,将摄像部101、102、103设为不同箱体。
(第五实施方式)
图10是表示本发明的摄像装置的其他的第五实施方式的结构的图。示出网络摄像部201、网络运动体检测部203。示出LAN(局域网:Local Area Network)206、控制部205。网络摄像部201、网络运动体检测部203经由LAN206与控制部205连接。此外,示出图像压缩/接口部202、运动体检测/接口部204、网络接口部207、摄像定时信息发送部208、图像展开部209、运动体检测接收接口部210。
图像压缩/接口部202对由摄像部101、摄像部102拍摄到的图像进行压缩并发送至LAN206,此外接收从LAN206传送来的摄像定时信息并传递至摄像部101、102。为了减少图像压缩的处理时间,也可以不使用多个图像的时间性的相关关系,而是使用在一张图像内进行压缩的画面内压缩方式。此外,也可以选择并切换影像压缩编码方式。图像压缩/接口部202生成压缩编码数据,按照规定的网络协议发送数据。
在控制部205中,在网络接口部207中经由LAN206进行压缩图像数据的接收和摄像定时信息的发送。在摄像定时信息发送部208中,发送表示各摄像部101、102、103摄像的摄像定时的摄像定时信息。在本实施方式中,在网络摄像部201、网络运动体检测部203和控制部205之间,设置有使时刻同步的架构。
作为使时刻同步的方法,例如能够使用在IEEE1588中记载的方法、IEEE802.1AVB的方式。使用这样的对时刻信息进行收发的方法,在连接于网络的设备间定期地使时刻同步。例如,使用例如PLL(锁相环:Phase Locked Loop)基于时刻信息来调节网络摄像部201中的基准信号的振荡周期。
通过这样,能够使基准信号的周期在设备间一致,能够将时刻同步。在该状态下,作为摄像定时信息,发送已同步的时刻的绝对时间、相对于此的相对时间、时间间隔等,从而能够使摄像定时相对应。摄像定时信息例如在电源接通后对各摄像部101、102、103进行发送。在本实施方式中,对摄像部101、102发送相同的摄像定时信息,对摄像部103发送以比摄像部101、102更高的帧率摄像的摄像定时信息,从而能够在前述的图2所示的摄像定时进行摄像。在摄像定时信息为相对时间、时间间隔的情况下,在摄像部101、102、103中,一边参照在设备间同步的时刻一边按照所接收到的摄像定时信息进行摄像,因此不需要每次传送摄像定时信息。
在图像压缩/接口部202和运动体检测/接口部204中,基于所接收到的摄像定时信息,生成前述的实施方式的脉冲状的摄像定时信号,输出至摄像部101、102、103。
由控制部205的网络接口部207接收到的压缩图像数据在图像展开部209中被展开为原来的图像,将由摄像部101拍摄到的图像和由摄像部102拍摄到的图像输出至距离检测部105。
另一方面,在网络运动体检测部203中,根据由摄像部103基于由运动体检测/接口部204接收到的摄像定时信息摄像的图像来检测运动体。检测的方式与前述的实施方式是同样的方式即可。将作为运动体检测结果的每块的矢量变换为规定的格式而经由LAN206发送至控制部205。在控制部205中,对由网络接口部207接收到的运动体检测结果,在运动体检测接收接口部210中将格式变换为每块的矢量。以后的动作与最初的实施方式同样。
根据本实施方式,经由LAN206来交换图像、摄像定时信息,因此能够减轻摄像部侧的处理量,能够通过减轻摄像部侧的重量、降低功耗、缩小箱体来减少对车辆设置的尺寸限制。此外,能够对由网络摄像部201和控制部205构成的摄像装置追加网络运动体检测部203而构成,能够容易地分开提供仅进行距离检测的装置、和除了距离检测之外还进行运动体检测的装置。此外,在网络运动体检测部203与控制部205之间不输出图像本身,因此能够降低所传输的数据量。
以上那样,由两个摄像部检测被摄体的距离,且以比检测距离更高的帧率来检测运动体,从而能够快速检测运动体的距离,能够提供高性能且低成本的装置。
另外,本发明并非限定于上述的实施方式,还包含各种变形例。例如,为了易于理解地说明本发明而详细地说明了上述的实施方式,并非限定于必须具备所说明的全部结构。此外,能够将某实施方式的结构的一部分置换为其他实施方式的结构,此外,还能够对某实施方式的结构追加其他实施方式的结构。此外,关于各实施方式的结构的一部分,能够进行其他结构的追加/删除/置换。
此外,上述的各结构既可以是它们的一部分或者全部由硬件构成,也可以构成为通过由处理器执行程序来实现。此外,示出认为说明上所需的控制线、信息线,不限于示出产品上所需的全部控制线、信息线。也可以认为实际上基本上全部结构相互连接。
下面的优先权基础申请的公开内容以引用方式被收录于此。
日本特许申请2015年第076435号(2015年4月3日申请)
标号说明:
1……摄像装置,101~103……摄像部,104……摄像定时信号生成部,105……距离检测部,106……运动体检测部,107识别部,401……拍摄图像,402~404……被摄体,601……摄像部,602……帧率变换部,801……视差摄像部,802……运动体摄像部,901……车辆控制部,201……网络摄像部,202……图像压缩/接口部,203……网络运动体检测部,204……运动体检测/接口部,205……控制部,206……LAN、207……网络接口部,208……摄像定时信息发送部,209……图像展开部,210……运动体检测接收接口部。
Claims (8)
1.一种摄像装置,具有多个摄像部,
所述多个摄像部之中的至少两个摄像部是以第一帧率进行摄像的摄像部,
所述多个摄像部之中的至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部,
所述摄像装置具有:
摄像定时信号生成部,将用于在同步的定时进行摄像的摄像定时信号分别输出至所述多个摄像部;
运动体检测部,基于由以所述第二帧率进行摄像的摄像部取得的图像来检测运动体;
距离检测部,基于由以所述第一帧率进行摄像的所述至少两个摄像部取得的多个图像的视差来检测距被摄体的距离;以及
识别部,基于所述运动体检测部和所述距离检测部的输出来识别距所述运动体的距离,
所述多个摄像部基于所输入的摄像定时信号进行摄像,
所述摄像定时信号生成部基于所述运动体检测部的输出,控制向以所述第一帧率进行摄像的摄像部输出的摄像定时信号。
2.如权利要求1所述的摄像装置,
所述多个摄像部与所述摄像定时信号生成部经由网络连接,
所述摄像定时信号生成部对所述多个摄像部分别发送摄像定时信息,
所述多个摄像部基于来自网络的所述摄像定时信息进行摄像。
3.如权利要求1所述的摄像装置,
所述摄像部及所述运动体检测部与所述摄像定时信号生成部经由网络连接。
4.如权利要求1所述的摄像装置,
所述摄像装置具备车辆控制部,该车辆控制部控制车辆的运动,
所述车辆控制部基于所述识别部的识别结果来控制所述车辆。
5.一种摄像装置,具有多个摄像部,
所述多个摄像部之中的至少一个摄像部是以第一帧率进行摄像的摄像部,
所述多个摄像部之中的至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部,
所述摄像装置具有:
摄像定时信号生成部,将用于在同步的定时进行摄像的摄像定时信号分别输出至所述多个摄像部;
运动体检测部,基于由以所述第二帧率进行摄像的摄像部取得的图像来检测运动体;
帧率变换部,将由以所述第二帧率进行摄像的摄像部摄像的图像的帧率,变换为基于以所述第一帧率进行摄像的摄像部的参数决定的帧率;
距离检测部,基于由以所述第一帧率进行摄像的摄像部取得的图像与由所述帧率变换部变换后的图像的视差来检测距被摄体的距离;以及
识别部,基于所述运动体检测部和所述距离检测部的输出来识别距所述运动体的距离,
所述多个摄像部基于所输入的摄像定时信号进行摄像,
所述帧率变换部控制为:基于所述运动体检测部的输出,对由以所述第二帧率进行摄像的摄像部摄像的图像的帧率进行变换。
6.如权利要求5所述的摄像装置,
所述多个摄像部与所述摄像定时信号生成部经由网络连接,
所述摄像定时信号生成部对所述多个摄像部分别发送摄像定时信息,
所述多个摄像部基于来自网络的所述摄像定时信息进行摄像。
7.如权利要求5所述的摄像装置,
所述摄像部及所述运动体检测部与所述摄像定时信号生成部经由网络连接。
8.如权利要求5所述的摄像装置,
所述摄像装置具备车辆控制部,该车辆控制部控制车辆的运动,
所述车辆控制部基于所述识别部的识别结果来控制所述车辆。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076435A JP2016197795A (ja) | 2015-04-03 | 2015-04-03 | 撮像装置 |
JP2015-076435 | 2015-04-03 | ||
PCT/JP2016/060495 WO2016159142A1 (ja) | 2015-04-03 | 2016-03-30 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107431747A CN107431747A (zh) | 2017-12-01 |
CN107431747B true CN107431747B (zh) | 2020-03-27 |
Family
ID=57005146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680018069.4A Active CN107431747B (zh) | 2015-04-03 | 2016-03-30 | 摄像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180082136A1 (zh) |
EP (1) | EP3280128A4 (zh) |
JP (1) | JP2016197795A (zh) |
CN (1) | CN107431747B (zh) |
WO (1) | WO2016159142A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9979906B2 (en) * | 2016-08-03 | 2018-05-22 | Waymo Llc | Beam split extended dynamic range image capture system |
DE112018002572T5 (de) | 2017-05-19 | 2020-06-04 | Movidius Ltd. | Verfahren, systeme und vorrichtungen zur optimierung der pipeline-ausführung |
JP2019036907A (ja) | 2017-08-21 | 2019-03-07 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び機器 |
JP7150508B2 (ja) * | 2018-07-24 | 2022-10-11 | 株式会社東芝 | 鉄道車両用撮像システム |
CN108989606B (zh) * | 2018-08-22 | 2021-02-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN109743505B (zh) * | 2019-01-25 | 2021-01-19 | Oppo广东移动通信有限公司 | 基于激光测距的视频拍摄方法、装置及电子设备 |
CN114995487A (zh) * | 2019-11-07 | 2022-09-02 | 深圳市道通智能航空技术股份有限公司 | 全向避障方法及无人飞行器 |
CN112153306B (zh) * | 2020-09-30 | 2022-02-25 | 深圳市商汤科技有限公司 | 图像采集系统、方法、装置、电子设备及可穿戴设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020054839A (ko) * | 2000-12-28 | 2002-07-08 | 이계안 | 아이엠에이큐를 이용한 차량 거리 제어 시스템의 영상획득방법 |
CN101497329A (zh) * | 2008-01-29 | 2009-08-05 | 欧姆龙株式会社 | 图像处理装置、图像处理方法、以及程序 |
JP2010286926A (ja) * | 2009-06-09 | 2010-12-24 | Konica Minolta Holdings Inc | 周辺監視装置 |
CN103764448A (zh) * | 2011-09-05 | 2014-04-30 | 三菱电机株式会社 | 图像处理装置及图像处理方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244914A (ja) * | 1999-02-18 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 映像音声多重化カメラ装置 |
DE19926559A1 (de) * | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
JP2001084383A (ja) * | 1999-09-09 | 2001-03-30 | Univ Tokyo | 移動検出方法 |
US7251346B2 (en) * | 2002-11-19 | 2007-07-31 | Honda Motor Co., Ltd. | Moving object detection device, moving object detection method, and moving object detection program |
JP4235018B2 (ja) * | 2003-03-31 | 2009-03-04 | 本田技研工業株式会社 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
JP2006148557A (ja) * | 2004-11-19 | 2006-06-08 | Samsung Techwin Co Ltd | 自動撮像装置および自動撮像装置の制御用プログラム |
JP2007019759A (ja) * | 2005-07-06 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 監視カメラ |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
WO2008094029A1 (en) * | 2007-01-31 | 2008-08-07 | Ultrawaves Design Holding B.V. | Surveillance method and system using optimized object based rule checking |
US20120044327A1 (en) * | 2009-05-07 | 2012-02-23 | Shinichi Horita | Device for acquiring stereo image |
JP5216984B2 (ja) * | 2009-09-02 | 2013-06-19 | シャープ株式会社 | 動き情報取得装置及び画像処理装置 |
JP2012023634A (ja) * | 2010-07-15 | 2012-02-02 | Toshiba Corp | ビデオカメラ、撮像方法 |
JP5960710B2 (ja) * | 2011-10-11 | 2016-08-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
JP5499011B2 (ja) * | 2011-11-17 | 2014-05-21 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
KR20130099403A (ko) * | 2012-02-29 | 2013-09-06 | 삼성전자주식회사 | 이미지 프로세싱 방법 및 이를 이용한 이미지 프로세싱 유닛 |
WO2014141654A1 (ja) * | 2013-03-13 | 2014-09-18 | パナソニック株式会社 | 測距装置、撮像装置および測距方法 |
US9554113B2 (en) * | 2013-03-21 | 2017-01-24 | Mediatek Inc. | Video frame processing method |
JP5804007B2 (ja) * | 2013-09-03 | 2015-11-04 | カシオ計算機株式会社 | 動画生成システム、動画生成方法及びプログラム |
-
2015
- 2015-04-03 JP JP2015076435A patent/JP2016197795A/ja active Pending
-
2016
- 2016-03-30 US US15/561,544 patent/US20180082136A1/en not_active Abandoned
- 2016-03-30 CN CN201680018069.4A patent/CN107431747B/zh active Active
- 2016-03-30 EP EP16773023.3A patent/EP3280128A4/en active Pending
- 2016-03-30 WO PCT/JP2016/060495 patent/WO2016159142A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020054839A (ko) * | 2000-12-28 | 2002-07-08 | 이계안 | 아이엠에이큐를 이용한 차량 거리 제어 시스템의 영상획득방법 |
CN101497329A (zh) * | 2008-01-29 | 2009-08-05 | 欧姆龙株式会社 | 图像处理装置、图像处理方法、以及程序 |
JP2010286926A (ja) * | 2009-06-09 | 2010-12-24 | Konica Minolta Holdings Inc | 周辺監視装置 |
CN103764448A (zh) * | 2011-09-05 | 2014-04-30 | 三菱电机株式会社 | 图像处理装置及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180082136A1 (en) | 2018-03-22 |
WO2016159142A1 (ja) | 2016-10-06 |
CN107431747A (zh) | 2017-12-01 |
JP2016197795A (ja) | 2016-11-24 |
EP3280128A4 (en) | 2018-12-12 |
EP3280128A1 (en) | 2018-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107431747B (zh) | 摄像装置 | |
CN109691079B (zh) | 成像装置和电子设备 | |
US11650052B2 (en) | Imaging device | |
US8350903B2 (en) | Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device | |
US9860521B2 (en) | Image processing system | |
EP3089442B1 (en) | Vehicle-mounted image recognition device | |
CN113542529B (zh) | 用于dms和oms的940nm led闪光同步 | |
US11029150B2 (en) | Object distance detection device | |
JP2007172540A (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
JP7278846B2 (ja) | 物体位置検出装置、走行制御システム、および走行制御方法 | |
US20240031551A1 (en) | Image capturing apparatus for capturing a plurality of eyeball images, image capturing method for image capturing apparatus, and storage medium | |
US11589028B2 (en) | Non-same camera based image processing apparatus | |
JP2018151999A (ja) | 物体距離検出装置 | |
JP6891082B2 (ja) | 物体距離検出装置 | |
JP6643517B2 (ja) | 撮像装置 | |
JP4797441B2 (ja) | 車両用画像処理装置 | |
US20200111227A1 (en) | Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle | |
TW201838405A (zh) | 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法 | |
JP2005229317A (ja) | 画像表示システム及び撮像装置 | |
KR101030210B1 (ko) | 자동차용 장애물 인식 시스템 및 그 방법 | |
JP2006127058A (ja) | 対象物認識システム及び画像処理装置 | |
JP2013066023A (ja) | 立体映像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: Ibaraki Patentee after: Hitachi astemo Co.,Ltd. Address before: Ibaraki Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd. |
|
CP01 | Change in the name or title of a patent holder |