JP2007195141A - 画像速度算出装置及び画像速度算出方法 - Google Patents
画像速度算出装置及び画像速度算出方法 Download PDFInfo
- Publication number
- JP2007195141A JP2007195141A JP2006246745A JP2006246745A JP2007195141A JP 2007195141 A JP2007195141 A JP 2007195141A JP 2006246745 A JP2006246745 A JP 2006246745A JP 2006246745 A JP2006246745 A JP 2006246745A JP 2007195141 A JP2007195141 A JP 2007195141A
- Authority
- JP
- Japan
- Prior art keywords
- image
- speed
- pixel
- exposure time
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 15
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000004904 shortening Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
【課題】画像上で画像速度算出対象が高速で移動する場合でも、画像速度の算出を可能にする。
【解決手段】マイコン３により、カメラ１により撮像された画像上にカメラ１の露光中に発生する画像の流れを判定し、判定された画像の流れに基づいてカメラ制御部４によりカメラ１の露光時間を変更し、変更されたカメラ１の露光時間に基づいて、画像速度を算出する。
【選択図】 図１
【解決手段】マイコン３により、カメラ１により撮像された画像上にカメラ１の露光中に発生する画像の流れを判定し、判定された画像の流れに基づいてカメラ制御部４によりカメラ１の露光時間を変更し、変更されたカメラ１の露光時間に基づいて、画像速度を算出する。
【選択図】 図１
Description
本発明は、撮像した画像の速度を算出する画像速度算出装置及び画像速度算出方法に関する。
従来の画像速度算出装置は、例えば下記特許文献１に記載されている。
下記従来技術では、画像の速度を算出するために車載カメラから撮像した撮像画像から勾配法という計算手法によって対象物のオプティカルフロー(画像上における動きを示すベクトル)を算出している。勾配法は、対象物の濃淡値の分布が保持されていることを前提とし、離散的にサンプリングされた画像に基づいた連立拘束式を解くことによってオプティカルフローを算出することができる。そして、算出したオプティカルフローの方向及び大きさから画像の速度を算出している。
特開平１１−１６０３３５号公報
下記従来技術では、画像の速度を算出するために車載カメラから撮像した撮像画像から勾配法という計算手法によって対象物のオプティカルフロー(画像上における動きを示すベクトル)を算出している。勾配法は、対象物の濃淡値の分布が保持されていることを前提とし、離散的にサンプリングされた画像に基づいた連立拘束式を解くことによってオプティカルフローを算出することができる。そして、算出したオプティカルフローの方向及び大きさから画像の速度を算出している。
上記従来技術では、対象物の濃淡値の分布が保持されていることを前提に画像の速度を算出している。このため対象物が早い動きをする場合には、対象物の濃淡値分布に大きな変化が発生することになるため、オプティカルフローによる画像速度を算出することが難しいという問題がある。
本発明は、撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れを判定して、判定された画像の流れに基づいて、撮像手段の露光時間を短い時間に変更する。そして短くした露光時間に基づいて画像速度を算出する。
本発明は、撮像手段の露光時間を画像の流れが発生しない時間に変更することで画像速度を算出するようにしたので、濃度値分布の変化による影響を受けることなく対象物が早い動きをする場合に画像速度を算出することができる。
《実施の形態１》
〈画像速度算出装置の構成〉
図１は、本発明の実施の形態１の画像速度算出装置の構成を示すブロック図である。
図１に示すように、本実施の形態の画像速度算出装置は、カメラ１、画像メモリ２、マイコン３、カメラ制御部４、モニタ５が接続されている。
高速カメラ等の電子式のカメラ１は画像を撮像する。画像メモリ２は、カメラ１で撮像された明るさの度合い（すなわち、輝度）をデジタル値に変換し保持する。マイコン３は、画像メモリ２に保持された画像を処理し、画像上の移動領域（画像上で移動している対象に対応する領域）の画像速度（移動領域の単位時間あたりの移動量）を算出する。また、画像速度を算出する際に設定するカメラ１の露光時間を算出し、カメラ制御部４に指示する。カメラ制御部４は、マイコン３によって指示された露光時間になるようにカメラ１の露光時間を制御する。なお、露光時間の長さは、カメラ１の電子シャッターまたは機械的シャッターのシャッター速度により決まる。また、露光時間とシャッター速度との関係は、露光時間が長いとシャッター速度が遅く、露光時間が短いとシャッター速度が速いことを意味するものである。
モニタ５は、画像メモリ２に保持された画像や画像速度情報を表示する。
なお、図１に示す画像速度装置の構成は、以下の実施の形態１〜５のすべてについて共通する。
〈画像速度算出装置の構成〉
図１は、本発明の実施の形態１の画像速度算出装置の構成を示すブロック図である。
図１に示すように、本実施の形態の画像速度算出装置は、カメラ１、画像メモリ２、マイコン３、カメラ制御部４、モニタ５が接続されている。
高速カメラ等の電子式のカメラ１は画像を撮像する。画像メモリ２は、カメラ１で撮像された明るさの度合い（すなわち、輝度）をデジタル値に変換し保持する。マイコン３は、画像メモリ２に保持された画像を処理し、画像上の移動領域（画像上で移動している対象に対応する領域）の画像速度（移動領域の単位時間あたりの移動量）を算出する。また、画像速度を算出する際に設定するカメラ１の露光時間を算出し、カメラ制御部４に指示する。カメラ制御部４は、マイコン３によって指示された露光時間になるようにカメラ１の露光時間を制御する。なお、露光時間の長さは、カメラ１の電子シャッターまたは機械的シャッターのシャッター速度により決まる。また、露光時間とシャッター速度との関係は、露光時間が長いとシャッター速度が遅く、露光時間が短いとシャッター速度が速いことを意味するものである。
モニタ５は、画像メモリ２に保持された画像や画像速度情報を表示する。
なお、図１に示す画像速度装置の構成は、以下の実施の形態１〜５のすべてについて共通する。
〈処理フロー〉
図２は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ１０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ１０２において、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出する。ここで、1画素とは画像１枚を構成する最小単位を意味し、画像の位置と明るさを決めるデータである。また、像流れとは、カメラ１の露光時間中に撮像対象物が１画素以上移動することにより発生するいわゆる画像の流れを意味する。例えば、車両前方に歩行者が飛び出していた場合や走行する車両から前方を連続して撮像した場合に画像内の物体が画像内を、中心から周囲へ流れるように移動してみえる場合などである。
次に、Ｓ１０３において、抽出した像流れ領域の露光時間を計測する。
次に、Ｓ１０４において、抽出した像流れ領域の露光時間が長いか否かを判定する。露光時間が長い場合は、Ｓ１０５の処理、ない場合はＳ１０６の処理を実施する。
次に、露光時間が長いある場合は、Ｓ１０５において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ１０１へ戻る。
次に、露光時間が長くない場合は、Ｓ１０６において、現時点の露光時間の逆数を算出し、移動領域の速度を算出し、Ｓ１０１へ戻る。
図２は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ１０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ１０２において、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出する。ここで、1画素とは画像１枚を構成する最小単位を意味し、画像の位置と明るさを決めるデータである。また、像流れとは、カメラ１の露光時間中に撮像対象物が１画素以上移動することにより発生するいわゆる画像の流れを意味する。例えば、車両前方に歩行者が飛び出していた場合や走行する車両から前方を連続して撮像した場合に画像内の物体が画像内を、中心から周囲へ流れるように移動してみえる場合などである。
次に、Ｓ１０３において、抽出した像流れ領域の露光時間を計測する。
次に、Ｓ１０４において、抽出した像流れ領域の露光時間が長いか否かを判定する。露光時間が長い場合は、Ｓ１０５の処理、ない場合はＳ１０６の処理を実施する。
次に、露光時間が長いある場合は、Ｓ１０５において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ１０１へ戻る。
次に、露光時間が長くない場合は、Ｓ１０６において、現時点の露光時間の逆数を算出し、移動領域の速度を算出し、Ｓ１０１へ戻る。
このように本実施の形態の画像速度算出装置は、画像を撮像するカメラ１と、カメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、抽出された像流れ領域の露光時間を判定し、露光時間が長いと判定された場合に、カメラ１の露光時間を短い時間に変更し、露光時間が長くないと判定された場合に、カメラ１の露光時間に基づいて、画像に像流れが発生する像流れ領域の画像速度を算出するマイコン３とを有する。
このようにカメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、カメラ１の露光時間を変化させながら撮像した複数の画像について処理を行い、画像に像流れが発生する像流れ領域の露光時間を短くし、そのときの露光時間に基づいて対象（画像速度算出対象）の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度を算出することができる。
なお、露光時間の具体的な計測手段の例については、以下の実施の形態２、３において説明する。
このようにカメラ１により撮像された画像に像流れが発生する像流れ領域を抽出し、カメラ１の露光時間を変化させながら撮像した複数の画像について処理を行い、画像に像流れが発生する像流れ領域の露光時間を短くし、そのときの露光時間に基づいて対象（画像速度算出対象）の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度を算出することができる。
なお、露光時間の具体的な計測手段の例については、以下の実施の形態２、３において説明する。
《実施の形態２》
図３は、本実施の形態における図１のカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。
図３の（ａ）は撮像画像を示し、３１は観測領域、３２は画像上の物体である。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）はカメラ１の露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は撮像画像＃１〜＃５の周波数解析＃１〜＃５を示す。
（ｆ）は周波数解析＃１〜＃５による高周波成分を示す。
図３は、本実施の形態における図１のカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。
図３の（ａ）は撮像画像を示し、３１は観測領域、３２は画像上の物体である。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）はカメラ１の露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は撮像画像＃１〜＃５の周波数解析＃１〜＃５を示す。
（ｆ）は周波数解析＃１〜＃５による高周波成分を示す。
高速に移動する対象は露光時間が長いと、シャッターを開いて露光している間に１画素より多く流れてしまう。そして、図３(d)の撮像画像＃１〜＃３のように撮像した画像上に像流れが生じてしまう。ここで2画素以上の場合は当然ながら画像上に像流れが生じる。また、1.1画素、1.5画素の場合にも画像上に流れが生じてしまう。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く動かなくなり、図３(d)の撮像画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５について、図３（ｅ）に示すように周波数解析を行なうと、画像に像流れが多いほど高周波成分が少なく、画像に像流れが少ないほど高周波成分が多くなり、図３（ｆ）に示すように、画像に像流れがなくなると高周波成分は最大かつ一定となる（変化しなくなる）。
このような特徴に基づいて、露光時間を短くしていき、高周波成分の変化がなくなる露光時間を抽出することで画像の像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く動かなくなり、図３(d)の撮像画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５について、図３（ｅ）に示すように周波数解析を行なうと、画像に像流れが多いほど高周波成分が少なく、画像に像流れが少ないほど高周波成分が多くなり、図３（ｆ）に示すように、画像に像流れがなくなると高周波成分は最大かつ一定となる（変化しなくなる）。
このような特徴に基づいて、露光時間を短くしていき、高周波成分の変化がなくなる露光時間を抽出することで画像の像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
〈処理フロー〉
図４は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ２０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ２０２において、カメラ１により撮像された画像の観測領域（図３の３１参照）を設定し、画像に像流れが発生する像流れ領域を抽出する。
次に、Ｓ２０３において、周波数フーリエ変換（ＦＦＴ）等を用いて、抽出した像流れ領域の周波数解析を行い、高周波成分の変化を観測する。
次に、Ｓ２０４において、高周波成分の変化があるか否かを判定する。すなわち、ある露光時間で撮像した画像における像流れ領域の高周波成分と、それより所定の値だけ短い露光時間で撮像した画像における像流れ領域の高周波成分とを比較して、ある所定の値以下の変化量である場合には、Ｓ２０５の処理、それより大きい変化量である場合はＳ２０６の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ２０５において、現時点の露光時間の逆数を算出し、高速画像領域の速度を算出し、S２０７へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ２０６において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ２０１へ戻る。
次に、Ｓ２０７において、Ｓ２０５で算出された画像速度をモニタ５に適宜表わすモニタ表示を行い、Ｓ２０１へ戻る。
図４は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。
まず、Ｓ２０１において、図１のカメラ１により撮像された画像を取得する。
次に、Ｓ２０２において、カメラ１により撮像された画像の観測領域（図３の３１参照）を設定し、画像に像流れが発生する像流れ領域を抽出する。
次に、Ｓ２０３において、周波数フーリエ変換（ＦＦＴ）等を用いて、抽出した像流れ領域の周波数解析を行い、高周波成分の変化を観測する。
次に、Ｓ２０４において、高周波成分の変化があるか否かを判定する。すなわち、ある露光時間で撮像した画像における像流れ領域の高周波成分と、それより所定の値だけ短い露光時間で撮像した画像における像流れ領域の高周波成分とを比較して、ある所定の値以下の変化量である場合には、Ｓ２０５の処理、それより大きい変化量である場合はＳ２０６の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ２０５において、現時点の露光時間の逆数を算出し、高速画像領域の速度を算出し、S２０７へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ２０６において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ２０１へ戻る。
次に、Ｓ２０７において、Ｓ２０５で算出された画像速度をモニタ５に適宜表わすモニタ表示を行い、Ｓ２０１へ戻る。
本実施の形態では、本実施の形態の画像速度算出装置は、画像を撮像するカメラ１と、カメラ１により撮像された画像上の像流れが１画素より多く流れたことを判定し、１画素より多く流れたと判定された場合に、カメラ１の露光時間を変更し、１画素の像流れであると判定された場合に、カメラ１の露光時間に基づいて、高速移動領域の画像速度を算出するマイコン３とを有する。
このように本実施の形態では、画像上の像流れを判定し、カメラ１の露光時間を高速に変化させながら撮像した複数の画像について処理を行い、１画素流れた時の画像を抽出し、そのときの露光時間から対象の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度が算出できる。
このように本実施の形態では、画像上の像流れを判定し、カメラ１の露光時間を高速に変化させながら撮像した複数の画像について処理を行い、１画素流れた時の画像を抽出し、そのときの露光時間から対象の画像速度を算出するため、対象が画面上で高速に移動している場合でも、対象の画像速度が算出できる。
また、マイコン３において１画素の像流れを判定するには、カメラ制御部４によりカメラ１の露光時間を短くしながら撮像した画像（高速移動領域）の周波数解析を行って高周波成分を算出し、この高周波成分が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域の高周波成分の変化を観測し、高周波成分の変化がなくなる画像を抽出することで、像流れ領域が１画素の像流れとなる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度を算出することができる。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域の高周波成分の変化を観測し、高周波成分の変化がなくなる画像を抽出することで、像流れ領域が１画素の像流れとなる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度を算出することができる。
《実施の形態３》
図５は、本実施の形態におけるカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。図３に示した実施の形態２とは別の手段を示す。本図は実施の形態２の図３と同様の図であり、重複する部分は説明を省略する。
図５（ａ）は撮像画像を示す。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）は露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は図５(d)撮像画像＃１〜＃５のエッジ画像＃１〜＃５を示す。
（ｆ）は図５(e)エッジ画像＃１〜＃５のエッジ強度を示す。
図５は、本実施の形態におけるカメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出する手段を示す図である。図３に示した実施の形態２とは別の手段を示す。本図は実施の形態２の図３と同様の図であり、重複する部分は説明を省略する。
図５（ａ）は撮像画像を示す。
（ｂ）はカメラ１で１フレーム(カメラ１で撮像された画像１枚を表す単位)を撮像する撮像周期を示す。
（ｃ）は露光時間を示す。
（ｄ）は撮像画像＃１〜＃５を示す。
（ｅ）は図５(d)撮像画像＃１〜＃５のエッジ画像＃１〜＃５を示す。
（ｆ）は図５(e)エッジ画像＃１〜＃５のエッジ強度を示す。
図３と同様に、高速に移動する対象は露光時間が長いと、シャッターを開いて露光している間に１画素より多く流れてしまい、図５（ｄ）の撮像画像＃１〜＃３、図５（ｅ）のエッジ画像＃１〜＃３のように撮像した画像に像流れが生じてしまう。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く流れなくなり、図５(d)画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５のエッジ強度を観測すると、図５（ｆ）に示すように、画像の像流れが多いほどエッジ強度が弱く、画像の像流れが少ないほどエッジ強度が強くなり、画像の像流れがなくなるとエッジ強度は最大かつ一定となる。
このような特徴に基づいて、露光時間を短くしていき、エッジ強度変化がなくなる露光時間を抽出することで画像に像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が、対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
ところが、このような対象は露光時間を短くすることでシャッターを開いて露光している間に１画素より多く流れなくなり、図５(d)画像＃４、５のように画像に像流れがない画像を撮像することができる。
このような撮像画像＃１〜＃５のエッジ強度を観測すると、図５（ｆ）に示すように、画像の像流れが多いほどエッジ強度が弱く、画像の像流れが少ないほどエッジ強度が強くなり、画像の像流れがなくなるとエッジ強度は最大かつ一定となる。
このような特徴に基づいて、露光時間を短くしていき、エッジ強度変化がなくなる露光時間を抽出することで画像に像流れが発生しなくなる時点がわかる。そして、この時点における露光時間が、対象が１画素流れる時間となる。
つまり、この露光時間の逆数が対象の画像速度となる。
本実施の形態では、マイコン３において１画素の像流れを判定するには、カメラ制御部４によりカメラ１の露光時間を短くしながら撮像した画像のエッジ強度を算出し、このエッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域におけるエッジ強度の変化を観測し、エッジ強度の変化がなくなる画像を抽出することで、像流れ領域が１画素流れる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度が算出できる。
このように露光時間を高速に変化させて撮像した複数の画像の像流れ領域におけるエッジ強度の変化を観測し、エッジ強度の変化がなくなる画像を抽出することで、像流れ領域が１画素流れる露光時間がわかるため、対象が画面上で高速に移動している場合でも、露光時間の逆数を算出することで対象の画像速度が算出できる。
《実施の形態４》
本実施の形態は、図１のカメラ１（あるいは画像速度算出装置全体）を移動体、例えば自動車等の車両に搭載した場合の実施の形態である。
カメラ１は例えば車両の前部に設置され、車両の前方を撮像する。
モニタ５は車両に搭載され、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報を重畳表示する。
その他の構成は、図１に示した実施の形態１と同様である。本実施の形態においても、カメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出するものである。
本実施の形態は、図１のカメラ１（あるいは画像速度算出装置全体）を移動体、例えば自動車等の車両に搭載した場合の実施の形態である。
カメラ１は例えば車両の前部に設置され、車両の前方を撮像する。
モニタ５は車両に搭載され、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報を重畳表示する。
その他の構成は、図１に示した実施の形態１と同様である。本実施の形態においても、カメラ１の露光時間をカメラ制御部４で変更しながら、マイコン３で画像速度を算出するものである。
図６（ａ）は、車両の前部に搭載したカメラ１で車両の前方を撮像した撮像画像を示す。、（ｂ）は、横方向の各座標位置について画像速度を統計処理し、（車両、すなわち、カメラ１の移動による）最も頻度の高い画像速度をプロットした画像速度プロファイルを示す。
（ａ）において、６１は低速移動体、６２は高速移動体、（ｂ）において、６３は低速移動領域、６４は高速移動領域である。
（ａ）において、６１は低速移動体、６２は高速移動体、（ｂ）において、６３は低速移動領域、６４は高速移動領域である。
車両が道路上を前方に走行し、カメラ１が視軸方向へ動いている場合、相対的にカメラ１の視軸向きを中心として左右に画像が動く。また、その速度はカメラ１の視軸向きから離れるほど大きくなる。
このような特徴に基づいて、カメラ１の視軸向き方向に近い方向で撮像された物体は、画像上での移動量が少なく、フレーム(カメラ１で撮像された画像１枚を表す単位)間で１画素以上動かない低速移動体６１としてその画素に止まっている。
そして、その低速移動体６１がその画素に止まっているフレーム数をカウントすることで、その低速移動体６１の画像速度を算出することができる。
このような特徴に基づいて、カメラ１の視軸向き方向に近い方向で撮像された物体は、画像上での移動量が少なく、フレーム(カメラ１で撮像された画像１枚を表す単位)間で１画素以上動かない低速移動体６１としてその画素に止まっている。
そして、その低速移動体６１がその画素に止まっているフレーム数をカウントすることで、その低速移動体６１の画像速度を算出することができる。
このようにして算出された低速移動体６１の存在する図６（ｂ）の実線で示す低速移動領域６３の画像速度プロファイルを元に、空間的連続性を考慮して、１画素より多く移動し、画面両端に高速移動体６２が存在する高速移動領域６４の画像速度プロファイルを、（ｂ）の破線に示すように推定することができる。
このように、推定された低速移動領域６３の画像速度プロファイルに基づいて、高速移動領域６４の画像速度を補正することで、カメラ１が動いている場合でも、その移動によって発生する相対的な速度を排除することができる。
すなわち、車両等の移動体に搭載されたカメラ１でも、カメラ１の移動量による相対速度を排除することが可能となり、カメラ１の近くに存在する高速に移動する対象の画像速度でも計測することができる。
このように、推定された低速移動領域６３の画像速度プロファイルに基づいて、高速移動領域６４の画像速度を補正することで、カメラ１が動いている場合でも、その移動によって発生する相対的な速度を排除することができる。
すなわち、車両等の移動体に搭載されたカメラ１でも、カメラ１の移動量による相対速度を排除することが可能となり、カメラ１の近くに存在する高速に移動する対象の画像速度でも計測することができる。
〈処理フロー〉
図７は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。ここでは、実施の形態３で説明した画像速度算出の手段を使用する例について説明する。すなわち、露光時間を短くしながら撮像した画像のエッジ強度を算出し、エッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する手段を使用する。
図７は、本実施の形態における画像速度の算出を実施する処理フローを示す図である。ここでは、実施の形態３で説明した画像速度算出の手段を使用する例について説明する。すなわち、露光時間を短くしながら撮像した画像のエッジ強度を算出し、エッジ強度が最大かつ一定となった時点の画像を、１画素流れた時の画像であると判定する手段を使用する。
まず、Ｓ４０１において、カメラ１（図１参照）により撮像された画像を取得する。
次に、Ｓ４０２において、カメラ１から入力され、画像メモリ２に保持された撮像画像に対し、ソベルフィルタ演算処理を行い、横エッジ画像を算出する。
次に、Ｓ４０３において、Ｓ４０２によって算出された横エッジ画像を１フレーム遅延させた画像を画像メモリ２に保持する。
次に、Ｓ４０４において、Ｓ４０２とＳ４０３で算出された横エッジ画像と１フレーム遅延させた横エッジ画像との差分画像を算出する。
次に、Ｓ４０５において、Ｓ４０４で算出された横エッジ差分画像に基づいてエッジの有無を判定し、エッジがある場合はＳ４０６、ない場合にはＳ４０８を実施する。
次に、Ｓ４０６において、Ｓ４０５で抽出された差分画像における横エッジについて、該エッジが同じ画素に何フレーム存在するかをカウント（投票）する。
次に、Ｓ４０７において、Ｓ４０６でカウントされた同一画素に存在するフレーム数を逆数にして、該横エッジの画像速度、すなわち、低速画像の速度を算出する。次いで、その情報をモニタ５（図１）に送る。
次に、Ｓ４０２において、カメラ１から入力され、画像メモリ２に保持された撮像画像に対し、ソベルフィルタ演算処理を行い、横エッジ画像を算出する。
次に、Ｓ４０３において、Ｓ４０２によって算出された横エッジ画像を１フレーム遅延させた画像を画像メモリ２に保持する。
次に、Ｓ４０４において、Ｓ４０２とＳ４０３で算出された横エッジ画像と１フレーム遅延させた横エッジ画像との差分画像を算出する。
次に、Ｓ４０５において、Ｓ４０４で算出された横エッジ差分画像に基づいてエッジの有無を判定し、エッジがある場合はＳ４０６、ない場合にはＳ４０８を実施する。
次に、Ｓ４０６において、Ｓ４０５で抽出された差分画像における横エッジについて、該エッジが同じ画素に何フレーム存在するかをカウント（投票）する。
次に、Ｓ４０７において、Ｓ４０６でカウントされた同一画素に存在するフレーム数を逆数にして、該横エッジの画像速度、すなわち、低速画像の速度を算出する。次いで、その情報をモニタ５（図１）に送る。
一方、Ｓ４０５で差分画像においてエッジがないと判定された場合に、Ｓ４０８において、Ｓ４０２で抽出された横エッジのソベルフィルタ出力であるエッジ強度を算出する。
次に、Ｓ４０９において、Ｓ４０７で算出された横エッジの低速画像の速度について、同じｘ座標（画像横方向）毎に、そのｘ座標に存在する画像速度の最も多い速度を算出し、各ｘ座標の低画像速度プロファイルを算出する（図６（ｂ）の実線）。
そして、この算出した低画像速度プロファイルに基づいて、空間的連続性を満足するように高速画像の速度のプロファイルを推定し（図６（ｂ）の破線）、画面両端の高速移動領域を含めた全ｘ座標における画像速度プロファイルを算出する（図６（ｂ）の実線及び破線を含む画像速度プロファイル）。
次に、Ｓ４１０において、Ｓ４０９で算出された画像速度プロファイル情報に基づいて、車両、すなわち、カメラ１の移動によって発生する相対的な速度を排除し、高速画像の速度を補正する。すなわち、Ｓ４０９で推定された画像速度分、位置をずらした位置に存在していた前フレームの横エッジのエッジ強度を読み出す。
次に、Ｓ４１１において、Ｓ４０８で算出されたある露光時間で撮像した画像における像流れ領域におけるエッジ強度と、Ｓ４１０で読み出されたそれより所定の値だけ短い露光時間で撮像した画像における像流れ領域のエッジ強度とを比較して、ある所定の値以下の変化量である場合には、Ｓ４１２の処理、それより大きい変化量である場合はＳ４１３の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ４１２において、Ｓ４０５で抽出された横エッジの画像速度として現時点の露光時間の逆数を算出し、高速画像領域の速度を算出してS４１５へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ４１３において、Ｓ４０８で算出された横エッジの位置、エッジ強度を保持しておく。
次に、Ｓ４１４において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ４０１へ戻る。 次に、Ｓ４１５において、Ｓ４０７及びＳ４１２で算出された画像速度をモニタ５に適宜表わすモニタ表示を行う。
例えば、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報として、画面において右に移動しているものは青、左に移動しているものは赤というように色相を変えながら重畳表示する。
次に、Ｓ４０９において、Ｓ４０７で算出された横エッジの低速画像の速度について、同じｘ座標（画像横方向）毎に、そのｘ座標に存在する画像速度の最も多い速度を算出し、各ｘ座標の低画像速度プロファイルを算出する（図６（ｂ）の実線）。
そして、この算出した低画像速度プロファイルに基づいて、空間的連続性を満足するように高速画像の速度のプロファイルを推定し（図６（ｂ）の破線）、画面両端の高速移動領域を含めた全ｘ座標における画像速度プロファイルを算出する（図６（ｂ）の実線及び破線を含む画像速度プロファイル）。
次に、Ｓ４１０において、Ｓ４０９で算出された画像速度プロファイル情報に基づいて、車両、すなわち、カメラ１の移動によって発生する相対的な速度を排除し、高速画像の速度を補正する。すなわち、Ｓ４０９で推定された画像速度分、位置をずらした位置に存在していた前フレームの横エッジのエッジ強度を読み出す。
次に、Ｓ４１１において、Ｓ４０８で算出されたある露光時間で撮像した画像における像流れ領域におけるエッジ強度と、Ｓ４１０で読み出されたそれより所定の値だけ短い露光時間で撮像した画像における像流れ領域のエッジ強度とを比較して、ある所定の値以下の変化量である場合には、Ｓ４１２の処理、それより大きい変化量である場合はＳ４１３の処理を実施する。
次に、ある所定値以下の変化量である場合には、Ｓ４１２において、Ｓ４０５で抽出された横エッジの画像速度として現時点の露光時間の逆数を算出し、高速画像領域の速度を算出してS４１５へ進む。
次に、ある所定値以上の変化量である場合には、Ｓ４１３において、Ｓ４０８で算出された横エッジの位置、エッジ強度を保持しておく。
次に、Ｓ４１４において、カメラ１の露光時間をある所定の値だけ短くし、Ｓ４０１へ戻る。 次に、Ｓ４１５において、Ｓ４０７及びＳ４１２で算出された画像速度をモニタ５に適宜表わすモニタ表示を行う。
例えば、画像メモリ２に保持された画像に、マイコン３によって算出された画像速度情報として、画面において右に移動しているものは青、左に移動しているものは赤というように色相を変えながら重畳表示する。
本実施の形態では、カメラ１が車両等の移動体に搭載され、マイコン３は、画像上の流れが１画素より多いとされなかった低速移動領域が、１画素流れるのに要したフレーム数を計測することにより、低速移動領域の画像速度を算出する。そして、この低速移動領域における画像速度情報に基づいて、空間的な連続性から高速移動領域における画像速度を推定し、この高速移動領域においてカメラ１が移動することにより発生する相対的な画像速度を排除し、１画素の像流れを判定する。
このように低速移動領域において計測された画像速度を用いて高速移動領域の動きを推定する構成になっているため、カメラ１が移動物体に搭載され、移動している場合でも、この移動による相対的な画像速度をキャンセルすることができる。
したがって、カメラ１を車両等の移動体に搭載し、移動体が移動している場合でも、画像速度を算出することができ、また、移動するカメラ１の近くに存在し、画像上で相対的に高速で移動する対象でも画像速度を算出することができる。
このように低速移動領域において計測された画像速度を用いて高速移動領域の動きを推定する構成になっているため、カメラ１が移動物体に搭載され、移動している場合でも、この移動による相対的な画像速度をキャンセルすることができる。
したがって、カメラ１を車両等の移動体に搭載し、移動体が移動している場合でも、画像速度を算出することができ、また、移動するカメラ１の近くに存在し、画像上で相対的に高速で移動する対象でも画像速度を算出することができる。
《実施の形態５》
本実施の形態は、所定の時刻から複数の異なる露光時間の画像が撮像可能なカメラ（図１のカメラ１参照）を用いて、画像速度を算出する場合の実施の形態である。
図８（ａ）は、上方からカメラ１を眺めた図で、所定の時刻Ｔ０から所定のある時間であるＴ秒毎の時刻Ｔ０〜Ｔ４における対象の動きを表した図である。
θ１はカメラ１の１画素あたりの画角である。
θ２、θ３、θ４はそれぞれ時刻Ｔ０〜Ｔ４におけるカメラ１から対象に到る方向の角度である。図では、Ｔ０〜Ｔ４のみ例示しているが、もっと多数の場合も可能である。
図８（ｂ）〜（ｅ）の撮像画像＃１〜＃４はそれぞれ、時刻Ｔ０〜Ｔ１、Ｔ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４の間、露光して撮像した１フレームにおいて露光時間の異なる画像である。
すなわち、所定の時刻Ｔ０から露光時間を露光し、それぞれ時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮像した画像である。
本実施の形態は、所定の時刻から複数の異なる露光時間の画像が撮像可能なカメラ（図１のカメラ１参照）を用いて、画像速度を算出する場合の実施の形態である。
図８（ａ）は、上方からカメラ１を眺めた図で、所定の時刻Ｔ０から所定のある時間であるＴ秒毎の時刻Ｔ０〜Ｔ４における対象の動きを表した図である。
θ１はカメラ１の１画素あたりの画角である。
θ２、θ３、θ４はそれぞれ時刻Ｔ０〜Ｔ４におけるカメラ１から対象に到る方向の角度である。図では、Ｔ０〜Ｔ４のみ例示しているが、もっと多数の場合も可能である。
図８（ｂ）〜（ｅ）の撮像画像＃１〜＃４はそれぞれ、時刻Ｔ０〜Ｔ１、Ｔ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４の間、露光して撮像した１フレームにおいて露光時間の異なる画像である。
すなわち、所定の時刻Ｔ０から露光時間を露光し、それぞれ時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮像した画像である。
例えば、Ｔ秒が対象が１画素移動する時間であった場合、撮像画像＃１はＴ０〜Ｔ１のＴ秒間露光しているため、対象は同一画素に存在する。
撮像画像＃２〜＃４は、露光しているＴ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４間に対象が２画素、３画素、４画素移動するため、画像に像流れが発生する。
このように所定の時刻Ｔ０から複数の露光時間の画像が撮像されるため、実施の形態２で説明した周波数解析、あるいは実施の形態３で説明したエッジ強度の観測を行なうことにより、これらの撮像画像＃１〜＃４における画像に像流れのない画像を抽出することができ、それに基づいて画像速度を計測することができる。
撮像画像＃２〜＃４は、露光しているＴ０〜Ｔ２、Ｔ０〜Ｔ３、Ｔ０〜Ｔ４間に対象が２画素、３画素、４画素移動するため、画像に像流れが発生する。
このように所定の時刻Ｔ０から複数の露光時間の画像が撮像されるため、実施の形態２で説明した周波数解析、あるいは実施の形態３で説明したエッジ強度の観測を行なうことにより、これらの撮像画像＃１〜＃４における画像に像流れのない画像を抽出することができ、それに基づいて画像速度を計測することができる。
〈処理フロー〉
図９は、本実施の形態において、図３に示した上記実施の形態２における周波数解析を用いて、画像速度の算出を実施する処理フローを示す。
Ｓ５０１〜Ｓ５０７は、実施の形態４のＳ４０１〜Ｓ４０７と全く同一の処理をするものであるので、説明を省略する。
図９は、本実施の形態において、図３に示した上記実施の形態２における周波数解析を用いて、画像速度の算出を実施する処理フローを示す。
Ｓ５０１〜Ｓ５０７は、実施の形態４のＳ４０１〜Ｓ４０７と全く同一の処理をするものであるので、説明を省略する。
Ｓ５０５で差分画像においてエッジがないと判定された場合、Ｓ５０８において、１フレームで、ある所定時間ずつずらした複数の露光時間で撮像した画像を出力するようにカメラ１を制御する。
次に、Ｓ５０９において、Ｓ５０８で撮像された露光時間が異なる複数の画像について周波数解析処理を行う。
次に、Ｓ５１０において、Ｓ５０９で算出された周波数解析結果から、高周波成分が最大でかつ一定となる露光時間を検出する。
次に、Ｓ５１１において、Ｓ５１０で検出された高周波成分が最大でかつ一定となる露光時間の逆数を画像速度として算出する。
次に、Ｓ５１２において、Ｓ５０７及びＳ５１１で算出された画像速度情報をモニタ５に表示する。
次に、Ｓ５０９において、Ｓ５０８で撮像された露光時間が異なる複数の画像について周波数解析処理を行う。
次に、Ｓ５１０において、Ｓ５０９で算出された周波数解析結果から、高周波成分が最大でかつ一定となる露光時間を検出する。
次に、Ｓ５１１において、Ｓ５１０で検出された高周波成分が最大でかつ一定となる露光時間の逆数を画像速度として算出する。
次に、Ｓ５１２において、Ｓ５０７及びＳ５１１で算出された画像速度情報をモニタ５に表示する。
本実施の形態では、複数の異なる露光時間の画像を撮像するカメラ１と、カメラ１により撮像された画像上の像流れが１画素より多く流れたことを判定し、１画素より多く流れたと判定された場合に、カメラ１の露光時間を変更し、カメラ１の露光時間に基づいてこの高速移動領域の画像速度を算出するマイコン３とを有する。
このように本実施の形態では、ある所定の時刻Ｔ０から複数の異なるシャッタ速度で撮像された画像について処理を行う構成なので、ある時刻Ｔ０を基準として複数の露光時間で対象を観測することができるため、高速に移動する対象でも画像速度を算出することができる。
また、本実施の形態では、例えば１フレームにおいて複数の異なる露光時間の画像を撮像し、画像速度を算出するので、処理時間を短縮することができる。
また、実施の形態４と比較して、高速移動領域の画像速度を推定しないので、速度算出精度を向上できる。
なお、本実施の形態においても、画像速度を算出するに際し、露光時間を変更することももちろん可能である。
このように本実施の形態では、ある所定の時刻Ｔ０から複数の異なるシャッタ速度で撮像された画像について処理を行う構成なので、ある時刻Ｔ０を基準として複数の露光時間で対象を観測することができるため、高速に移動する対象でも画像速度を算出することができる。
また、本実施の形態では、例えば１フレームにおいて複数の異なる露光時間の画像を撮像し、画像速度を算出するので、処理時間を短縮することができる。
また、実施の形態４と比較して、高速移動領域の画像速度を推定しないので、速度算出精度を向上できる。
なお、本実施の形態においても、画像速度を算出するに際し、露光時間を変更することももちろん可能である。
なお、以上説明した実施の形態は、本発明の技術的思想の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、前記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。
すなわち、実施の形態におけるカメラ１が、特許請求の範囲の撮像手段に、マイコン３が、画像流れ判定手段、露光時間変更手段、画像速度算出手段、１画素移動判定手段に、カメラ制御部４が、1画素移動変更手段にそれぞれ対応する。
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。
すなわち、実施の形態におけるカメラ１が、特許請求の範囲の撮像手段に、マイコン３が、画像流れ判定手段、露光時間変更手段、画像速度算出手段、１画素移動判定手段に、カメラ制御部４が、1画素移動変更手段にそれぞれ対応する。
１…カメラ ２…画像メモリ
３…マイコン ４…カメラ制御部
５…モニタ
３１…観測領域 ３２…画像上の物体
６１…低速移動体 ６２…高速移動体
６３…低速移動領域 ６４…高速移動領域
３…マイコン ４…カメラ制御部
５…モニタ
３１…観測領域 ３２…画像上の物体
６１…低速移動体 ６２…高速移動体
６３…低速移動領域 ６４…高速移動領域
Claims (8)
- 撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れを判定する画像流れ判定手段と、
前記画像流れ判定手段により判定された前記画像の流れに基づいて、
前記撮像手段の露光時間を短い露光時間に変更する露光時間変更手段と、
前記露光時間変更手段により変更された前記露光時間に基づいて
前記画像の速度を算出する画像速度算出手段と、
を有することを特徴とする画像速度算出装置。 - 撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に発生する画像の流れが１画素以上流れたことを判定する１画素移動判定手段と、
前記１画素移動判定手段により判定された画像の流れに基づいて、
前記撮像手段の露光時間を1画素の流れとなる露光時間に変更する１画素移動変更手段と、
前記１画素移動変更手段により変更された前記露光時間に基づいて、
前記画像の速度を算出する画像速度算出手段と
を有することを特徴とする画像速度算出装置。 - 前記１画素移動判定手段は、
前記１画素移動変更手段により露光時間を短くしながら撮像した画像の周波数解析を行って高周波成分をの変化を算出し、
前記高周波成分が変化しなくなる時点の画像を、
１画素流れた時の画像であると判定することを特徴とする
請求項２記載の画像速度算出装置。 - 前記１画素移動判定手段は、
前記１画素移動変更手段により露光時間を短くしながら撮像した画像のエッジ強度の変化を算出し、
前記エッジ強度が変化しなくなる時点の画像を、
１画素流れた時の画像であると判定することを特徴とする
請求項２記載の画像速度算出装置。 - 所定の時刻から複数の異なる露光時間で画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に前記撮像手段の露光中に物体が動くことで発生する画像の流れが１画素以上流れたことを判定する１画素移動判定手段と、
前記１画素移動判定手段により画像の流れが１画素の流れであると判定された場合に、前記 撮像手段の露光時間に基づいて前記画像の速度を算出する画像速度算出手段と
を有することを特徴とする画像速度算出装置。 - 前記画像速度算出手段は、
前記画像が１画素以上流れたと判定されない領域を検出する低速移動領域検出手段と、前記低速移動領域検出手段により１画素より多く流れたと判定されない場合には、１画素移動するのに要したフレーム数を計測することにより、前記低速移動領域の画像速度を算出することを特徴とする請求項２または５記載の画像速度算出装置。 - 前記画像速度算出手段は、
前記低速移動領域検出手段により画像が１画素以上流れたと判定されなかった低速移動領 域を、１画素移動するのに要したフレーム数を計測することにより、前記低速移動領域の画像速度を算出し、
前記１画素移動判定手段は、
前記画像速度算出手段により算出された低速移動領域における画像速度情報に基づいて、空間的な連続性から前記高速移動領域における画像速度を推定し、前記高速移動領域において前記撮像手段が移動することにより発生する相対的な画像速度を排除し、１画素の流れを判定することを特徴とする請求項２記載の画像速度算出装置。 - 画像を撮像し、
撮像した画像に発生する画像の流れに基づいて
撮像する露光時間を短い時間に変更して画像の速度を算出する
ことを特徴とする画像速度算出方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006246745A JP2007195141A (ja) | 2005-12-20 | 2006-09-12 | 画像速度算出装置及び画像速度算出方法 |
| US11/611,531 US7430305B2 (en) | 2005-12-20 | 2006-12-15 | Image velocity computer and method for computing image velocity |
| EP06126437A EP1801595A2 (en) | 2005-12-20 | 2006-12-18 | Image velocity computing device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005365779 | 2005-12-20 | ||
| JP2006246745A JP2007195141A (ja) | 2005-12-20 | 2006-09-12 | 画像速度算出装置及び画像速度算出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007195141A true JP2007195141A (ja) | 2007-08-02 |
Family
ID=37857122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006246745A Pending JP2007195141A (ja) | 2005-12-20 | 2006-09-12 | 画像速度算出装置及び画像速度算出方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7430305B2 (ja) |
| EP (1) | EP1801595A2 (ja) |
| JP (1) | JP2007195141A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103230957A (zh) * | 2013-03-28 | 2013-08-07 | 广东永利坚铝业有限公司 | 检测型材速度的方法及其加工监测系统 |
| WO2018088425A1 (ja) * | 2016-11-10 | 2018-05-17 | 日本電信電話株式会社 | 画像評価装置、画像評価方法及び画像評価プログラム |
| JP2021004729A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社小野測器 | 状態計測装置 |
| WO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
| KR20210102843A (ko) * | 2020-02-11 | 2021-08-20 | 한국전자통신연구원 | 엑스선 영상 처리 장치 및 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8687060B1 (en) | 2009-12-28 | 2014-04-01 | Cognex Corporation | System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system |
| JP7298436B2 (ja) * | 2019-10-14 | 2023-06-27 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1132253A (ja) * | 1997-07-08 | 1999-02-02 | Hitachi Ltd | 画像処理装置 |
| JP2003109014A (ja) * | 2001-09-28 | 2003-04-11 | Nissan Motor Co Ltd | 移動速さ指標検出装置及び方法 |
| JP2004096504A (ja) * | 2002-08-30 | 2004-03-25 | Mitsubishi Heavy Ind Ltd | 移動物体撮影装置 |
| JP2004117195A (ja) * | 2002-09-26 | 2004-04-15 | Pentax Corp | 速度計測機能付デジタルカメラ |
| JP2005221311A (ja) * | 2004-02-04 | 2005-08-18 | Toto Ltd | エアロゾル粒子速度測定方法、装置およびそれを備える複合構造物作製装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209221B2 (en) * | 1994-05-23 | 2007-04-24 | Automotive Technologies International, Inc. | Method for obtaining and displaying information about objects in a vehicular blind spot |
| JP3367597B2 (ja) | 1997-11-25 | 2003-01-14 | 日本電信電話株式会社 | 制御機能付流速推定装置 |
| US7050648B1 (en) * | 1998-09-18 | 2006-05-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and recording medium |
| US20030099295A1 (en) * | 2001-10-31 | 2003-05-29 | Infowrap Inc. | Method for fast motion estimation using bi-directional and symmetrical gradient schemes |
| US7257249B2 (en) * | 2002-06-12 | 2007-08-14 | Spatial Integrated Systems, Inc. | Discrete linear space sampling method and apparatus for generating digital 3D models |
| US7499584B2 (en) * | 2004-10-21 | 2009-03-03 | Mitutoyo Corporation | Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection |
-
2006
- 2006-09-12 JP JP2006246745A patent/JP2007195141A/ja active Pending
- 2006-12-15 US US11/611,531 patent/US7430305B2/en not_active Expired - Fee Related
- 2006-12-18 EP EP06126437A patent/EP1801595A2/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1132253A (ja) * | 1997-07-08 | 1999-02-02 | Hitachi Ltd | 画像処理装置 |
| JP2003109014A (ja) * | 2001-09-28 | 2003-04-11 | Nissan Motor Co Ltd | 移動速さ指標検出装置及び方法 |
| JP2004096504A (ja) * | 2002-08-30 | 2004-03-25 | Mitsubishi Heavy Ind Ltd | 移動物体撮影装置 |
| JP2004117195A (ja) * | 2002-09-26 | 2004-04-15 | Pentax Corp | 速度計測機能付デジタルカメラ |
| JP2005221311A (ja) * | 2004-02-04 | 2005-08-18 | Toto Ltd | エアロゾル粒子速度測定方法、装置およびそれを備える複合構造物作製装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103230957A (zh) * | 2013-03-28 | 2013-08-07 | 广东永利坚铝业有限公司 | 检测型材速度的方法及其加工监测系统 |
| WO2018088425A1 (ja) * | 2016-11-10 | 2018-05-17 | 日本電信電話株式会社 | 画像評価装置、画像評価方法及び画像評価プログラム |
| JPWO2018088425A1 (ja) * | 2016-11-10 | 2019-03-07 | 日本電信電話株式会社 | 画像評価装置、画像評価方法及び画像評価プログラム |
| US11042771B2 (en) | 2016-11-10 | 2021-06-22 | Nippon Telegraph And Telephone Corporation | Image evaluation device, image evaluation method, and image evaluation program |
| US11710226B2 (en) | 2016-11-10 | 2023-07-25 | Nippon Telegraph And Telephone Corporation | Image evaluation device, image evaluation method, and image evaluation program |
| JP2021004729A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社小野測器 | 状態計測装置 |
| JP7182520B2 (ja) | 2019-06-25 | 2022-12-02 | 株式会社小野測器 | 状態計測装置 |
| WO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
| JPWO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | ||
| JP7384204B2 (ja) | 2019-07-16 | 2023-11-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
| KR20210102843A (ko) * | 2020-02-11 | 2021-08-20 | 한국전자통신연구원 | 엑스선 영상 처리 장치 및 방법 |
| KR102556513B1 (ko) | 2020-02-11 | 2023-07-19 | 한국전자통신연구원 | 엑스선 영상 처리 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070139565A1 (en) | 2007-06-21 |
| EP1801595A2 (en) | 2007-06-27 |
| US7430305B2 (en) | 2008-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103688292B (zh) | 图像显示装置和图像显示方法 | |
| US8068639B2 (en) | Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area | |
| US8184196B2 (en) | System and method to generate depth data using edge detection | |
| JP4725391B2 (ja) | 車両用視程測定装置、及び運転支援装置 | |
| JP2007195141A (ja) | 画像速度算出装置及び画像速度算出方法 | |
| JP5567922B2 (ja) | 画像処理装置及びその制御方法 | |
| JP6594180B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| JP4307430B2 (ja) | 手ぶれ検出装置 | |
| JP5911296B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
| JP2005331929A5 (ja) | ||
| CN104867128A (zh) | 图像模糊检测方法和装置 | |
| CN111164407A (zh) | 二维闪烁测量装置、二维闪烁测量系统、二维闪烁测量方法以及二维闪烁测量程序 | |
| CN107194886B (zh) | 一种用于相机传感器的灰尘检测方法及装置 | |
| JP7302596B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN1987484A (zh) | 图像速度计算装置和图像速度计算方法 | |
| JP2008245063A (ja) | 画像処理装置 | |
| JP2010016650A5 (ja) | ||
| JP3823982B2 (ja) | 画像補正方法、プログラム及び装置 | |
| EP3282420B1 (en) | Method and apparatus for soiling detection, image processing system and advanced driver assistance system | |
| JP2010230423A (ja) | 変位量測定装置及び同測定方法 | |
| JP6348020B2 (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
| JP2008017961A (ja) | 血流速度の測定方法及び装置 | |
| JP2007508562A (ja) | デジタルカメラによる寸法測定方法 | |
| JP6584173B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2007010496A (ja) | 車両停止検出装置、カーナビゲーション装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080827 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101013 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101028 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110927 |