JP2004354236A - Device and method for stereoscopic camera supporting and stereoscopic camera system - Google Patents

Device and method for stereoscopic camera supporting and stereoscopic camera system Download PDF

Info

Publication number
JP2004354236A
JP2004354236A JP2003152977A JP2003152977A JP2004354236A JP 2004354236 A JP2004354236 A JP 2004354236A JP 2003152977 A JP2003152977 A JP 2003152977A JP 2003152977 A JP2003152977 A JP 2003152977A JP 2004354236 A JP2004354236 A JP 2004354236A
Authority
JP
Japan
Prior art keywords
stereo camera
vehicle
control
image
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003152977A
Other languages
Japanese (ja)
Inventor
Hidekazu Iwaki
秀和 岩城
Takashi Miyoshi
貴史 三由
Akio Kosaka
明生 小坂
Kazuhiko Arai
和彦 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003152977A priority Critical patent/JP2004354236A/en
Priority to PCT/JP2004/007557 priority patent/WO2004106856A1/en
Priority to EP04734940A priority patent/EP1637836A1/en
Priority to CNA2004800009551A priority patent/CN1701213A/en
Publication of JP2004354236A publication Critical patent/JP2004354236A/en
Priority to US11/169,098 priority patent/US20050237385A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic camera supporting device for efficiently acquiring information noticed on the object of a distance or the like of the object itself independently of a background and the other part of the other periphery. <P>SOLUTION: The stereoscopic camera supporting device is provided with a coupling member (159) constituted so as to support a stereoscopic camera (116) on a vehicle (300), and a control means (160) for controlling the attitude and position of the stereoscopic camera supported on the vehicle with the coupling member. In the stereoscopic camera supporting device, the control means controls the attitude and position of the stereoscopic camera, so that a contour part at the highest level position from among the contours of the notice object in a video concerning the video obtained with the stereoscopic camera is positioned on the upper end of the frame of the video and in the neighborhood thereof independently of change of the attitude and position of the vehicle. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するためのステレオカメラ支持装置およびこの種のステレオカメラの支持方法並びにこれらを適用したステレオカメラシステムに関し、特に、それらによってステレオカメラの撮像視野に映じる特定の被写体が映像フレーム内において占める位置が特定の傾向を呈するようにするための技術に関する。
【０００２】
【従来の技術】
近年、例えば、ステレオカメラを車両に搭載し、このカメラによって得られる映像信号出力に基づいて運転者に安全のための種々の情報を提供したり、或いは、車両の走行に係る自動制御を行なって運転の支援をするようなシステムも実用化されつつある。車載型のステレオカメラを車両に取り付ける場合の、太陽光、熱、温度、振動等々の環境ストレスに対処するための機構についても具体的な提案がなされている（例えば特許文献１）。
【０００３】
また、車載のステレオカメラを用いて、ステレオカメラが未校正で、走行中の振動や道路面の傾斜の変化がある状況下でも、道路面上に存在する障害物の高速かつ高精度な検出を実現するべく、適用したカメラに係るキャリブレーションの手間を少なくして、道路両端の２本の白線の走行中の画像上の動きだけから、道路平面と各カメラの幾何学的な関係を求めることにより、走行中に振動や道路自身に傾斜があっても、道路平面上に存在する障害物を高速に検出する障害物検出装置も提案されている（例えば特許文献２）。
【０００４】
更に、車載ステレオカメラを利用した車両用距離測定装置において、ステレオカメラの両光学系の取付位置および上下視野角度から定まる視野最下端部が路面と交わる点までの距離よりも短く設定される基準距離を用いて、距離演算手段の演算開始直後に演算距離が有効であるか、無効であるかを距離評価手段で評価するようにし、確実に対象物までの距離を演算している状態となってから距離演算手段の演算距離を有効とするようにして、距離測定開始直後の距離測定値が有効であるか否かを簡単に判定し、距離測定精度を向上させようとする技術も提案されている（例えば特許文献３）。
【０００５】
【特許文献１】特許第３１４８７４９号公報
（段落０００３〜０００４；段落０００８〜００１１；図１；図２）
【０００６】
【特許文献２】特開２００１−７６１２８号公報
（要約、段落０００６；段落００１１；図３；図４）
【０００７】
【特許文献３】特許第３３５４４５０号公報
（段落０００４；段落００３５；図７；図９）
【０００８】
【発明が解決しようとする課題】
しかしながら、これら従来の提案には、ステレオカメラの撮像視野に映じる特定の被写体が映像フレーム内において占める位置が特定の傾向を呈するようにして、背景や周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得するべく、適用されるステレオカメラの姿勢を調節することによってこれに対応しようとする技術課題の認識、ひいては、その技術課題の解決手段に係る開示はなされていない。
【０００９】
そこで、本発明の目的は、車載用であることをその一例とするステレオカメラを用いて当該ステレオカメラとの相対関係が変化する被写体をその撮像視野に含んで撮影を行なう場合に、背景その他の周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得することができるようにした、当該ステレオカメラの姿勢を調節するステレオカメラ支持装置およびステレオカメラの支持方法並びにそれらを適用したステレオカメラシステムを提供することにある。
【００１０】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、次のような特徴的構成を備えている。
【００１１】
本発明に係る請求項１に記載のステレオカメラ支持装置は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラによって得られる映像に関して、当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００１２】
また、本発明に係る請求項２に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力に基づいて制御動作を行なうように構成された。
【００１３】
また、本発明に係る請求項３に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力に依拠して制御動作を行なうように構成された。
【００１４】
また、本発明に係る請求項４に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力と、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力と、に依拠して制御動作を行なうように構成された。
【００１５】
また、本発明に係る請求項５に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記検出手段は、当該車両の傾きを検出する傾斜検出手段、当該車両の所定部の水準位置を検出する高さ検出手段の内少なくとも１つを含む。
【００１６】
また、本発明に係る請求項６に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記傾斜検出手段は鉛直方向又は水平方向に対する相対的な角度を検出する。
【００１７】
また、本発明に係る請求項７に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記高さ検出手段は当該車両の接地面に対する相対的な位置を検出する。
【００１８】
また、本発明に係る請求項８に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、フィードバック制御を行なう。
【００１９】
また、本発明に係る請求項９に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、フィードフォワード制御を行なう。
【００２０】
また、本発明に係る請求項１０に記載のステレオカメラ支持装置は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記物体上に支持するように構成された結合部材と、上記結合部材によって上記物体上に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００２１】
また、本発明に係る請求項１１に記載のステレオカメラ支持方法は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、上記結合によって上記車両に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御する。
【００２２】
また、本発明に係る請求項１２に記載のステレオカメラ支持方法は、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、上記結合によって上記物体上に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御する。
【００２３】
また、本発明に係る請求項１３に記載のステレオカメラ支持装置は、上記記載の発明であるステレオカメラ支持装置において、上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力を状態変数とし、且つ、上記ステレオカメラによる映像に依拠することなく制御動作を行なうように構成された。
【００２４】
また、本発明に係る請求項１４に記載のステレオカメラシステムは、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００２５】
また、本発明に係る請求項１５に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記ステレオカメラによる撮影によって得られる映像情報に基づいて上記注目被写体の距離を算出する情報処理手段を更に備えた。
【００２６】
また、本発明に係る請求項１６に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像を映出するためのデータを生成するように構成された。
【００２７】
また、本発明に係る請求項１７に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像に該車両から等距離にある道路上の点群を表わす指標をスーパーインポーズ表示して映出するためのデータを生成するように構成された。
【００２８】
また、本発明に係る請求項１８に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された警告手段に警告を発報させるためのデータを生成するように構成された。
【００２９】
また、本発明に係る請求項１９に記載のステレオカメラシステムは、相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、上記結合部材によって上記物体に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成された。
【００３０】
また、本発明に係る請求項２０に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向となる姿勢に制御するよう構成された。
【００３１】
また、本発明に係る請求項２１に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に前回の制御で設定された最後の状態を維持するような姿勢に制御するよう構成された。
【００３２】
また、本発明に係る請求項２２に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向よりも下向きになる姿勢に制御するよう構成された。
【００３３】
また、本発明に係る請求項２３に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、当該車両の高速走行時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が相対的に下向きになる姿勢に制御し、低速走行時には上記中心線が相対的に上向きになる姿勢に制御するよう構成された。
【００３４】
また、本発明に係る請求項２４に記載のステレオカメラシステムは、上記記載の発明であるステレオカメラシステムにおいて、上記制御手段は、注目すべき被写体の輪郭の最高水準部分が映像のフレームの上端を更に上方に逸脱してしまうような高い被写体に遭遇したことが認識されたときには上記ステレオカメラの姿勢を上向きに制御するよう構成された。
【００３５】
【発明の実施の形態】
図１は、本発明に係るステレオカメラ支持装置１５０及びこの装置を適用するステレオカメラシステムの構成を示す図である。
【００３６】
本ステレオカメラシステムは、後述するステレオアダプタ１０１と撮像装置１０２とを含んでなるステレオカメラ１１６、処理装置１０３、制御装置１０４、入力装置１０５、警告装置１０６、運転装置１０７、表示装置１０８、車速センサ１０９、測距レーダ１１０、照度センサ１１１、外部カメラ１１２、ＧＰＳ１１３、ＶＩＣＳ１１４、外部通信装置１１５、ステレオカメラ支持装置１５０、カメラ姿勢センサ１５５及び車両姿勢センサ１５６を備えている。
【００３７】
そして、ステレオカメラ支持装置１５０には、ステレオカメラ結合装置１５９及び支持制御装置１６０が設けられている。
【００３８】
ここで、ステレオアダプタ１０１は、図２に示すように、カメラ等の撮像装置１０２内部にある撮像光学系１０２Ａの前方に取り付けられ、撮像素子１０２Ｂに視差画像２０１を形成するために用いられるものであり、同一被写体１からの光を所定距離離間した２つの受光部位（ミラー１０１Ａ−１，１０１Ａ−２）で受光し、この受光した各々の光を撮像装置１０２の撮像光学系１０２Ａに導く光学系（ミラー１０１Ｂ−１，１０１Ｂ−２）が設けられている。
【００３９】
ステレオアダプタ１０１と撮像装置１０２（あるいはそれらに加えて処理装置１０３）を含んで構成されるステレオカメラ１１６は、ステレオカメラ支持装置１５０によって種々の方向を撮像することが可能に構成されている。
【００４０】
このステレオカメラ１１６は、図３の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）に示すように、車両３００の車内および車外の任意の位置（ハッチングして示す位置）に装着することが可能である。車両３００の車外に装着する際は、車両のボンネット、ピラー、ヘッドライト等に装着可能であり、車外の風景をさまざまな方向から撮影することが可能である。また、車両３００の車内に装着する際は、ダッシュボート上、ルームミラー等に装着可能である。
【００４１】
処理装置１０３は、上記ステレオアダプタ１０１を通して撮像装置１０２から撮影された画像から三次元再構成等の処理を行い、三次元距離画像等の作成を行う。制御装置１０４は、画像情報と車両情報を統括する役割を持っており、例えば、処理装置１０３で処理された結果を表示装置１０８に表示したり、処理装置１０３で得られた距離情報と車速センサ１０９等の情報とを分析して、警告装置１０６に警告を発生させたり、運転装置１０７を制御して運転者に安全運転を促すことができるようになっている。また、入力装置１０５は、例えば、リモコン等の入力機器を用いて制御装置１０４に指示を与え、モード等の切り換えを行うことができる。
【００４２】
上述より理解される通り、処理装置１０３と制御装置１０４は本システムにおける情報処理手段を構成しており、このシステムを備えた車両に搭載されたコンピュータによって双方の装置の機能が賄われるように構成され得る。
【００４３】
さらに、警告装置１０６は、音声装置１０６Ａ，振動装置１０６Ｂなどから成り、例えば、音声装置１０６Ａはスピーカ等からの音声、振動装置１０６Ｂは運転席シートの振動により運転者に警告を発するものである。
【００４４】
ここで、ステレオカメラ支持装置１５０の構成要素であるステレオカメラ結合装置１５９は、ステレオカメラ１１６を車両３００に結合して支持する。また、ステレオカメラ支持装置１５０の構成要素である支持制御装置１６０は、ステレオカメラ結合装置１５９に信号を出力して、ステレオカメラ１１６の撮像方向を制御する。
【００４５】
また、車両姿勢センサ１５６は、車両の姿勢または位置を検出する検出手段であり、道路に対する車両の傾きを検出する。そして、この車両姿勢センサ１５６の検出値、処理装置１０３で処理された画像情報、ＧＰＳ１１３の情報等に基づいて、支持制御装置１６０が、ステレオカメラ１１６の撮像範囲、即ち撮像視野を何処に定めるかを制御する。即ち、車両が傾くことによって撮像視野が適正な状態からずれた場合は、元の撮像視野になるようにステレオカメラ結合装置１５９に対して制御信号を出力する。この際、支持制御装置１６０は、カメラの姿勢または位置を検出するセンサであるカメラ姿勢センサ１５５の検出出力値に基づいて現在のカメラの状態を把握し、制御信号を生成する。そして、ステレオカメラ結合装置１５９はこの制御信号に基づいて内部に設けられた調整機構を駆動し、ステレオカメラ１１６を所望の方向に設定する。
【００４６】
尚、上述の車両姿勢センサ１５６は、鉛直方向または水平方向に対する相対的な角度を検出する傾斜検出手段として機能し得、更に、当該車両の接地面に対する相対的な位置を検出する高さ検出手段として機能し得る。
【００４７】
尚、この制御に必要な各種の情報及び検出信号は制御装置１０４を介して支持制御装置１６０に入力される。但し、この形態に限定されず、支持制御装置１６０が直接制御に必要な各種の情報及び検出信号を受け取るように構成しても良く、制御装置１０４と支持制御装置１６０とが適宜機能を分担して制御に必要な各種の情報及び検出信号を受け取るように構成しても良い。
【００４８】
次に、処理装置１０３が備えている三次元距離画像等を作成する機能について概説する。尚、処理装置１０３の構成例と適用され得る画像処理理論については、本出願人が、特願２００３−０４８３２３号公報として既に提案している。
【００４９】
図４は、処理装置１０３で求めた三次元距離画像を示したものである。図４の（Ａ）は、撮影された画像であり、図４の（Ｂ）はその画像から距離を算出した結果を示す図である。このように、カメラから被写体までの距離を三次元情報として算出することができる。尚、図４の（Ｂ）では、輝度が高いほど距離が近いことを表わしている。
【００５０】
また、三次元距離画像に基づいて、処理装置１０３は、道路領域と非道路領域を弁別することができ、更に道路面内にある物体、非道路領域にある障害物を認識し抽出することもできる。
【００５１】
したがって、図５に示すように、三次元再構成等の処理を行って抽出した道路の平面あるいは曲面形状を、表示装置１０８の表示部１０８Ａ上に表示することもできる。更にこのとき、車両３００から等間隔離れた道路面上の点群を直線あるいは曲線Ｌ１，Ｌ２，Ｌ３でスーパーインポーズ表示する。さらに、処理装置１０３によってその道路上の前方を走る車両Ｔ１，Ｔ２等を認識して、その前方車両を外包する楕円又は矩形等で表示すると共に、前方車両Ｔ１，Ｔ２等までの距離を表示することもできる。
【００５２】
このように、本ステレオカメラシステムを用いれば、道路及び被写体に関する種々の情報を得ることができる。
【００５３】
［第１の実施の形態］
図６は、本発明に係る第１の実施の形態のステレオカメラ支持装置１５０のステレオカメラ結合装置１５９の構成例を示す図である。
【００５４】
ステレオカメラ結合装置１５９は、ステレオカメラ１１６を車両３００に取り付けるための結合部材であるとともに、ステレオカメラ１１６を所望の位置・姿勢に変更自在に制御することが可能なように構成されている。ステレオカメラ結合装置１５９の両端には、車体と結合させるため車体の適所に固定される支持部材１５１、及びステレオカメラ１１６と結合させるための被支持部材１５２が設けられている。そして、このようにして車体に結合されたステレオカメラ１１６を所定範囲内で方向自在とするための機構が設けられている。即ち、この機構は、ヨー回動軸１５３ａ、ピッチ回動軸１５３ｂ、ロール回動軸１５３ｃの３軸回りに回動可能に構成するヨー回動モータ１５４ａ、ピッチ回動モータ１５４ｂ、ロール回動モータ１５４ｃを備えた姿勢制御機構である。
【００５５】
本構成のステレオカメラ結合装置１５９に対して、支持制御装置１６０はそれぞれのモータに対する制御信号を出力することによって、ステレオアダプタ１０１を所望の方向に制御することが可能となる。尚、図６には示されていないが、ステレオカメラ結合装置１５９には、カメラの姿勢または位置を検出するカメラ姿勢センサ１５５（図１）が設けられている。このカメラ姿勢センサ１５５は、例えば、それぞれのモータの回動角度を検出しても良い。
【００５６】
尚、ステレオカメラ結合装置１５９としては、図６に示すような３軸制御機構を備えた方式のものに限らず、例えば、電動式の公知のジンバル機構を適用することができる。また、本出願人が提案した特許第３３０６１２８号の鏡枠支持機構に準じたメカニズムを適用しても良い。
【００５７】
尚、ステレオカメラ結合装置１５９は、図６に例示したような３軸について、自動で制御する方式のものではなく、例えば、ヨー角については手動で調整するものであっても良い。このための手動調整機構は、例えば、回動、ロックが可能なユニバーサルジョイント、あるいはカメラ用自由雲台の如くに懸架された被支持体を、所望の取り付け角度にロックネジを緩めて指向した後、ロックネジを締め付け角度を固定することで方向を調整するような構成を採ることができる。
【００５８】
次に、本発明に係る第１の実施の形態のステレオカメラ支持装置１５０の動作について説明する。
【００５９】
図７は、車両３００に搭載されたステレオカメラの撮像方向を示す図であり、図８は、ステレオカメラ支持装置１５０における制御の、概略の手順を示すフロー図である。
【００６０】
図７の（Ａ）では、ステレオカメラ１１６はステレオカメラ結合装置１５９を介して車両３００の車内の適所（ダッシュボード上やフロントガラス上方の中央位置近傍等）に懸架されている。そして、このステレオカメラ１１６の視野３０５の中心線３０６は、道路面２１０に対して平行になるように設定されている。しかしながら、この状態では撮影されたフレームの上部領域には、目的とする被写体に関する画像を処理する上で不必要な背景領域である空が撮影され、本来必要とされる前方車両などの被写体３１０や道路面２１０等撮像する領域の占める割合が不十分な画像となっている。
【００６１】
そこで、図７の（Ｂ）に示すように、ステレオカメラ結合装置１５９による制御によってステレオカメラ１１６の撮像姿勢を調節し、前方の被写体３１０の上端部（当該被写体の輪郭のうち最高水準位置にある輪郭部分）が視野３０５の上端部（従って、撮像された映像のフレーム上端）に位置するように調節する。これによって、道路面２１０の撮影領域が広がり、また空などの不必要な背景領域が減少し視野を有効に利用することができる。
【００６２】
上述のステレオカメラ支持装置１５０の制御動作を、図８を参照しつつ説明する。
【００６３】
支持制御装置１６０は、処理装置１０３が実行した物体認識処理結果を受け取る（Ｓ１）。即ち、処理装置１０３は、三次元距離画像（該当するピクセルを表わす情報と距離を表わす情報とを含む）に基づいて、道路領域と非道路領域を弁別し、当該道路領域内に存在する被写体３１０を認識して抽出する。この際処理装置１０３は、認識した被写体３１０の内から、走行している車両のみをその特徴に基づいて抽出しても良い。
【００６４】
支持制御装置１６０は、撮像視野中に存在する被写体３１０についての輪郭部分の最高水準位置を求める（Ｓ２）。そして、その最高水準位置が視野３０５の上端部（従って、映像のフレーム上端。以下同様）よりも上にあるかどうかを調べる（Ｓ３）。撮像視野中に複数の被写体３１０が存在するときは、それらの内、輪郭部分の水準位置が最も高い位置を求める。
【００６５】
その最高水準位置が視野３０５の上端部よりも下にある場合（Ｓ３ Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置に対して後傾している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、被写体３１０の最高水準位置が視野３０５の上端部に位置するように、支持制御装置１６０に対してカメラアダプタ１０１の姿勢を調節する制御信号を出力する（Ｓ４）。
【００６６】
その最高水準位置が視野３０５の上端部よりも上にある場合（Ｓ３ Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置に対して前傾している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、被写体３１０の最高水準位置が視野３０５の上端部に位置するように、ステレオカメラ結合装置１５９に対してカメラ姿勢を調節する制御信号を出力する（Ｓ５）。
【００６７】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野３０５を所望位置に調節する（Ｓ６）。
【００６８】
上述において、車両の電源キーがオンにされる等してステレオカメラ支持装置が起動した当初の時点でのステレオカメラ１１６の姿勢をどのようにするかについては、何通りかの態様をとり得る。
【００６９】
即ち、一つの態様では、起動時（即ち、本システムの初動時）には一律に水平の姿勢（ステレオカメラの撮像光学系乃至その近傍に設定した視点からステレオカメラ１１６の撮像視野を見込んで撮影するときの視野の中心線、即ち、図７にて既述の中心線３０６、が水平方向となる姿勢）となるようにしておき、その後、車両の走行に伴なって上述の三次元距離画像の情報に基づいて次第にステレオカメラの姿勢を既述の如く調節するように制御を行なう。
【００７０】
この態様をとる場合は、初動状態では、例えば、ガレージの壁面を撮像してしまうような状況であっても、ステレオカメラは、その後の走行による視野の展開に応じて何れの姿勢にも中立的な位置から最適な姿勢に向けて適切な制御が実行され得る。従って、このシステムにおける制御に馴染まないような初動段階にあるときに無駄な情報処理や制御が行われ、これに起因して優先順位が相対的に高い処理の高速化が阻害されるといった恐れが回避される。
【００７１】
また、別の態様としては、初動時は、前回の制御で設定された最後の状態を維持するようにしてもよい。この場合は、車両が再度走行を始めるのは、前回の制御で設定された最後の状態からである蓋然性が高いことから、走行を開始してから比較的早い時点でステレオカメラの姿勢を目標とされるべきものに合致させることができる可能性が高い。
【００７２】
また更に別の態様として、初動時は、ステレオカメラの姿勢を相対的に下向き（即ち、上述の中心線３０６が、水平方向よりも下向き、乃至、初動時以外に制御される向きよりも下向きの姿勢）に設定するように制御する態様をとってもよい。この場合は、初動時に特に注意しなくてはならない周囲の障害物や幼児、ペットの動物等の存在を見逃してしまうといった恐れを低減させることができる。
【００７３】
上述した初動時でのステレオカメラの姿勢制御の各種態様は、例えば、予め複数の制御モードとして操作者の任意によって選択可能に設定され得るようにシステムを構成してもよい。
【００７４】
以上は、初動時におけるステレオカメラの姿勢に関する種々の制御態様であるが、本発明のシステムを備えた車両の走行状態に応じてステレオカメラの姿勢制御の傾向を選択する態様も採り得る。即ち、高速走行時は、ステレオカメラの姿勢を相対的に下向き（上述と略々同義）となるように制御し、低速走行時は、相対的に上向きとなるように制御する。
【００７５】
この態様によれば、高速走行時には撮像により得た映像から道路の部分を安定的に抽出・弁別し、遠方の車両を正確に認識することができ、低速走行時には運転者による注意が薄れがちな比較的高い物体を確実に認識できるといった点で性能が高いシステムが実現される。
【００７６】
尚、注目すべき被写体の輪郭の最高水準部分が映像のフレームの上端を更に上方に逸脱してしまうような高い被写体に近接し乃至遭遇したことが該当するセンサ等によりされたときには、自動的に、ステレオカメラの姿勢が上向きとなるに制御されるようにしてもよく、また、操作者の認識に基づいて人為的操作によって、ステレオカメラの姿勢を上向きに操作するための補助的手段を併設するようにしてもよい。
【００７７】
尚、ステレオカメラの姿勢を、該ステレオカメラを備える車両の組立て行程中、乃至、工場出荷前に所定のものに設定することは、一つの技術的手法として考慮され得る。
【００７８】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。例えば、一般的なＰＩＤ等のフィードバック制御を用いる場合には、支持制御装置１６０は、その制御ループ内で最高水準位置と視野３０５の上端との偏差量に対応した制御信号を生成してステレオカメラ結合装置１５９に出力し、その偏差量が０になるまでその動作を繰り返すことで所望の姿勢にカメラを制御することができる。
【００７９】
上述より理解されるとおり、この実施の形態では、ステレオカメラ１１６を設置する車両側に設けられた支持部材（メンバー）１５１と該ステレオカメラ１１６の所定部位に設けられた被支持部材（メンバー）１５２とが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、このような結合部材によって車両に支持されたステレオカメラ１１６の姿勢乃至位置を制御する制御手段とは、ステレオカメラ結合装置１５９と支持制御装置１６０との各該当機能部によって具現化されている。
【００８０】
また、このような支持制御装置１６０を含むシステムは、制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力を用いてステレオカメラの姿勢制御を行なうが、この制御においてはこれら検出出力を制御系の一の状態変数として制御動作を行なう形態であり得る。
【００８１】
また支持制御装置１６０の制御演算機能部は別個の回路として構成することなく制御装置１０４の該当機能部と一体的に当該車両に搭載される共通のコンピュータによってこの機能をも賄うように構成され得る。
【００８２】
［第２の実施の形態］
次に、本発明に係る第２の実施の形態のステレオカメラ支持装置１５０について説明する。
【００８３】
第２の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第２の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【００８４】
次に、本発明に係る第２の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、車両３００の前後方向の傾きによる視野の変化を補正する。
【００８５】
図９は、車両の前後方向の傾きによるステレオカメラの撮像方向を示す図であり、図１０は、ステレオカメラ支持装置１５０における制御動作の概略の手順を示すフロー図である。
【００８６】
図９の（Ａ）に示すように、ステレオカメラ１１６は、ステレオカメラ結合装置１５９を介して水平面に対して所定の傾き角度θ下方を観測するように車両３００に懸架されている。そして、この車両３００には、車体の前後の傾きを検出する傾斜センサ１５６ａあるいは、前輪部、後輪部のサスペンションとの距離を測定するサスペンションストロークセンサ１５６ｂ、１５６ｃが設けられている。
【００８７】
ところで、車両３００に乗車する人数、乗車位置が変化した場合、または車の荷台に積載する荷物の重量が変化した場合には、それによって車両３００の前後の傾斜角度も変化する。更に、減速、加速時においても車両３００の前後の傾斜角度は変化する。この結果、ステレオカメラの視野も適正な状態から外れてしまうこととなる。
【００８８】
そこで、図９の（Ｂ）に示すように、傾斜センサ１５６ａで検出した車体の傾斜角、あるいはサスペンションストロークセンサ１５６ｂ、１５６ｃで検出したストロークから算出した車体の傾斜角に基づいて、カメラの視野が所望の状態になるようにステレオカメラアダプタ１１６の撮像方向を制御する。
【００８９】
尚、傾斜センサ１５６ａ、サスペンションストロークセンサ１５６ｂ、１５６ｃ等を複数の検出端の各変換器として含んで既述の車両姿勢センサ１５６が構成される形態をとり得る。
【００９０】
上述のステレオカメラ支持装置１５０の制御動作を、図１０を参照しつつ説明する。
【００９１】
支持制御装置１６０は、車両３００の前輪部と後輪部に取り付けたサスペンションストロークセンサ１５６ｂ、１５６ｃの検出出力を読み込む（Ｂ０１）。そして、このストロークセンサの差を演算することにより、車両３００の前後の傾きを算出する（Ｂ０２）。そして、車両が基準状態と比較して前傾しているかどうかを調べる（Ｂ０３）。
【００９２】
車両が基準状態と比較して後傾している場合（Ｂ０３ Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置におけるよりも上方を撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の視野方向が下向きとなるようにカメラの姿勢を調節させるための制御信号を出力する（Ｂ０４）。
【００９３】
車両が基準状態と比較して前傾している場合（Ｂ０３ Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置におけるよりも下方を撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の視野方向が上向きとなるようにカメラの姿勢を調節させるための制御信号を出力する（Ｂ０５）。
【００９４】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野３０５が所望位置となるように調節する（Ｂ２０）。
【００９５】
尚、車両３００の傾きは傾斜センサ１５６ａの検出出力を用いて検出するようにしても良く、また、サスペンションストロークセンサ１５６ｂ、１５６ｃの検出出力と、傾斜センサ１５６ａの検出出力を組合わせて傾斜角度を算出するようにしても良い。
【００９６】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。例えば、一般的なＰＩＤ等のフィードバック制御を用いる場合には、支持制御装置１６０は、その制御ループ内でカメラ姿勢センサ１５５の目標値と実績値との偏差量に対応した制御信号を生成してステレオカメラ結合装置１５９に出力し、その偏差量が０になるまでその動作を繰り返すことで所望の姿勢にカメラを制御することができる。
【００９７】
また、本第２の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【００９８】
［第３の実施の形態］
次に、本発明に係る第３の実施の形態のステレオカメラ支持装置１５０について説明する。
【００９９】
第３の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第３の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【０１００】
次に、本発明に係る第３の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、車両の左右方向の傾きによる視野の変化を補正する。
【０１０１】
図１１は、車両３００が左右方向に傾いたときのステレオカメラの姿勢を示す図であり、図１２は、ステレオカメラ支持装置１５０における制御動作の概略の手順を示すフロー図である。
【０１０２】
図１１の（Ａ）に示すように、ステレオカメラ１１６は、ステレオカメラ結合装置１５９を介して道路面２１０に対して平行に車両３００に懸架されている。そして、この車両３００には、車体の左右の傾きを検出する傾斜センサ１５６ｄ、あるいは左右の車輪部のサスペンションの距離を測定するサスペンションストロークセンサ１５６ｅ、１５６ｆが設けられている。
【０１０３】
ところで、車両３００に乗車する人数、乗車位置が変化した場合、または車の荷台に積載する荷物の重量が変化した場合には、それによって車両３００の左右の傾斜角度も変化する。更に、右折、左折時においても車両３００の左右の傾斜角度は変化する。この結果、ステレオカメラの視野（それを見込む方向）も適正な状態から外れてしまうこととなる。
【０１０４】
そこで、図１１の（Ｂ）に示すように、傾斜センサ１５６ｄで検出した車体の傾斜角、あるいはサスペンションストロークセンサ１５６ｅ、１５６ｆで検出したストロークから算出した車体の傾斜角に基づいて、カメラの視野が所望の状態になるようにステレオカメラ１１６の撮像方向を制御する。
【０１０５】
上述のステレオカメラ支持装置１５０の制御動作を、図１２を参照しつつ説明する。
【０１０６】
支持制御装置１６０は、車両３００の左右に取り付けたサスペンションストロークセンサ１５６ｅ、１５６ｆの検出出力を読み込む（Ｂ０６）。そして、このストロークセンサの出力値の差を演算することにより、車両３００の左右の傾きを算出し（Ｂ０７）、車両が基準状態と比較して右傾しているかどうかを調べる（Ｂ０８）。
【０１０７】
車両が基準状態と比較して左傾している場合（Ｂ０８ Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置に対して左傾して撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出値からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の方向を右傾向きに調節させるための制御信号を出力する（Ｂ０９）。
【０１０８】
車両が基準状態と比較して右傾している場合（Ｂ０８ Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置に対して右傾して撮像している。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、ステレオカメラ結合装置１５９に対してカメラアダプタ１１６の方向を左傾向きに調節させるための制御信号を出力する（Ｂ１０）。
【０１０９】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野３０５を所望位置に調節する（Ｂ２０）。
【０１１０】
尚、車両３００の傾きは傾斜センサ１５６ｄの検出出力を用いても良く、また、サスペンションストロークセンサ１５６ｅ、１５６ｆの検出出力と、傾斜センサ１５６ｄの検出出力を組合わせて傾斜角度を算出するようにしても良い。
【０１１１】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。例えば、一般的なＰＩＤ等のフィードバック制御を用いる場合には、支持制御装置１６０は、その制御ループ内でカメラ姿勢センサ１５５の目標値と実績値との偏差量に対応した制御信号を生成してステレオカメラ結合装置１５９に出力し、その偏差量が０になるまでその動作を繰り返すことで所望の姿勢にカメラを制御することができる。
【０１１２】
また、本第３の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【０１１３】
［第４の実施の形態］
次に、本発明に係る第４の実施の形態のステレオカメラ支持装置１５０について説明する。
【０１１４】
第４の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第４の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【０１１５】
次に、本発明に係る第４の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、道路面２１０の傾斜を検出して視野の変化を補正する。
【０１１６】
図１３は、道路面の傾きとステレオカメラの撮像方向を示す図であり、図１４は、ステレオカメラ支持装置１５０の制御動作の概略の手順を示すフロー図である。
【０１１７】
図１３の（Ａ）、（Ｂ）に示すように、車両３００の進行方向前方の道路面２１０が傾斜している場合には、ステレオカメラの視野が適正な状態から外れてしまうこととなる。例えば、図１３の（Ａ）に示すように、道路面２１０が登りの場合は、撮像フレーム中には道路面の領域が増加するが被写体３１０（図７参照）に関する情報が減少する。また、図１３の（Ｂ）に示すように、道路面２１０が下りの場合は、撮像フレーム中には被写体３１０（図７参照）に関する情報が増加するが道路面の領域が減少する。
【０１１８】
そこで、進行方向前方の道路面２１０の傾斜を検出しそれに基づいてカメラの視野が所望の状態になるようにステレオカメラ１１６の撮像方向を調節する。
【０１１９】
上述のステレオカメラ支持装置１５０の制御動作を、図１４を参照しつつ説明する。
【０１２０】
支持制御装置１６０は、処理装置１０３が実行した道路面認識処理結果を受け取る（Ｂ１１）。即ち、処理装置１０３は、三次元距離画像（該当するピクセルを表わす情報と距離を表わす情報とを含む）に基づいて、進行方向の道路領域と非道路領域を弁別し道路面を認識して抽出する。
【０１２１】
支持制御装置１６０は、抽出された道路面情報に基づいて特定の位置を求める（Ｂ１２）。この特定の位置としては、例えば道路の両辺の延長線が画像フレーム上で交わる所謂バニッシングポイントとすることができる。そして、求めた特定の位置が画像フレーム中の所定の位置よりも下に位置するかどうかを調べる（Ｂ１３）。即ち、特定の位置を見込む仰角が、所定の仰角よりも小さいかどうかを調べる。
【０１２２】
特定の位置を見込む仰角が、所定の仰角よりも大きい場合（Ｂ１４ Ｎｏ）は、ステレオカメラ１１６は所望の姿勢位置に対して上向きとなっている。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きを取り込み、特定の位置を見込む角が、所定の角となるように、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の撮像方向を調節させる制御信号を出力する（Ｂ１４）。
【０１２３】
特定の位置を見込む仰角が、所定の仰角よりも小さい場合（Ｂ１４ Ｙｅｓ）は、ステレオカメラ１１６は所望の姿勢位置に対して下向きとなっている。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出値からカメラの傾きを取り込み、特定の位置を見込む角が、所望の角となるように、ステレオカメラ結合装置１５９に対してステレオカメラ１１６の撮像方向を移動させる制御信号を出力する（Ｂ１５）。
【０１２４】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野が所望の位置となるように調節する（Ｂ２０）。
【０１２５】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。
【０１２６】
例えば、指示制御装置１６０は、その制御ループ内で進行方向前方の道路面２１０におけるカメラ姿勢センサ１５５の目標値と制御量との制御偏差に応じた操作量の制御信号を生成し、更に、要すれば、予め準備された車両の運動モデルに依拠して加減速の現在値、ハンドルの操作角等に応じてフィードバック制御だけでは補償しきれない制御偏差を除くための補償用操作信号を生成してフィードフォワード制御による補償を加味することによって、オフセットのない且つロバストな制御を実現することができる。
【０１２７】
即ち、このようなフィードバック制御とフィードフォワード制御との折衷による制御を適用することにより、車両の姿勢変動が激しく、フィードバック制御だけでは十分に制御偏差を低減させることが困難であると予測されるような状況においても、追従性が高い理想的なカメラの姿勢制御を実現することができる。
【０１２８】
また、本第４の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【０１２９】
［第５の実施の形態］
次に、本発明に係る第５の実施の形態のステレオカメラ支持装置１５０について説明する。
【０１３０】
第５の実施の形態のステレオカメラ支持装置１５０は第１の実施の形態のステレオカメラ支持装置１５０と同様に、図１に示すステレオカメラシステムに組み込まれて適用される。そして第５の実施の形態のステレオカメラ結合装置１５９の構成は、図６に示す第１の実施の形態のステレオカメラ結合装置１５９の構成と同様である。従って、第１の実施の形態と同一の部位には同一の符号を付して、その詳細の説明は省略する。
【０１３１】
次に、本発明に係る第５の実施の形態のステレオカメラ支持装置１５０の動作について説明する。本実施の形態では、ステレオカメラ支持装置１５０は、第４の実施の形態の図１３に示すように、道路面２１０の傾斜を検出して視野の変化を補正する。但し、第５の実施の形態では、道路面の傾斜をＧＰＳ１１３からの情報に基づいて把握する点が第４の実施の形態と異なっている。
【０１３２】
図１５は、ステレオカメラ支持装置１５０の制御動作の概略の手順を示すフロー図である。
【０１３３】
支持制御装置１６０は、ＧＰＳ１１３（図１）からの地図情報に基づいて、車両３００の現在位置と進行方向前方の道路の地形情報を受け取る（Ｂ１５）。そして、支持制御装置１６０は、前方の道路面２１０の傾斜を予測して（Ｂ１６）、予測した傾斜が登りかどうかを調べる（Ｂ１７）。
【０１３４】
前方の道路の傾斜が下りの場合（Ｂ１７ Ｎｏ）は、ステレオカメラ１１６の撮像方向は適正な姿勢位置に対して上向きとなっていると判断される。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きのデータを取り込み、その角度に対応した下向き補正量を算出して、ステレオカメラ結合装置１５９に対してカメラを移動させる制御信号を出力する（Ｂ１８）。
【０１３５】
前方の道路の傾斜が登りの場合（Ｂ１７ Ｙｅｓ）は、ステレオカメラ１１６の撮像方向は適正な姿勢位置に対して下向きとなっていると判断される。そこで支持制御装置１６０は、カメラ姿勢センサ１５５の検出出力からカメラの傾きのデータを取り込み、その角度に対応した上向き補正量を算出して、ステレオカメラ結合装置１５９に対してカメラの姿勢を調節させる制御信号を出力する（Ｂ１９）。
【０１３６】
制御信号を受け取ったステレオカメラ結合装置１５９は、内部に設けられたカメラの姿勢を調節するための機構を駆動して、ステレオカメラ１１６の視野が所望位置に合致するように調節する（Ｂ２０）。
【０１３７】
尚、カメラを移動させるための制御動作は、所謂現代制御理論によるか古典制御理論によるかに拘わらず、フィードバック制御或いはフィードフォワード制御乃至これらを折衷した方式であって良く、ＰＩＤ制御、Ｈインフィニティ制御、適応型モデル制御、ファジイ制御、ニューラルネットなどの公知の種々の制御方法を適用することができる。
【０１３８】
例えば、指示制御装置１６０は、その制御ループ内で進行方向前方の道路面２１０におけるカメラ姿勢センサ１５５の目標値と制御量との制御偏差に応じた操作量の制御信号を生成し、更に、要すれば、予め準備された車両の運動モデルに依拠して加減速の現在値、ハンドルの操作角等に応じてフィードバック制御だけでは補償しきれない制御偏差を除くための補償用操作信号を生成してフィードフォワード制御による補償を加味することによって、オフセットのない且つロバストな制御を実現することができる。
【０１３９】
即ち、このようなフィードバック制御とフィードフォワード制御との折衷による制御を適用することにより、車両の姿勢変動が激しく、フィードバック制御だけでは十分に制御偏差を低減させることが困難であると予測されるような状況においても、追従性が高い理想的なカメラの姿勢制御を実現することができる。
【０１４０】
また、本第５の実施の形態に係るステレオカメラ支持装置１５０の制御動作は、第１の実施の形態に係るステレオカメラ支持装置１５０の制御動作と組合わせて動作させても良く、また単独で動作させても良い。
【０１４１】
以上、本発明に係る各実施の形態のステレオカメラ支持装置１５０を用いれば、道路を走行する先行車両の形状、先行車両との車間距離、本ステレオカメラを搭載した車両の走行状態あるいは道路状態による前後左右の車体の傾き、前方の道路面の傾斜などに影響されない適正な撮像視野を確保することができる。
【０１４２】
［映像表示方法の実施例］
次に、本発明に係るステレオカメラ支持装置１５０が適用されるステレオカメラシステムを用いて、運転者に対する映像を表示する方法について図１６を参照しつつ説明する。ステレオカメラ１１６は、一般に複数の視点を備えた構成とすることができるが、図１６では簡単のために２つの視点を備えた構成として表現している。
【０１４３】
ステレオカメラ１１６からは、右側の視野３０５ａによる映像２０１ａと、右側の視野３０５ｂによる映像２０１ｂが得られる。そこで、制御装置１０４は、運転者の運転位置に応じてこの映像２０１ａ、２０１ｂを切り替えて表示装置１０８に表示する。
【０１４４】
例えば、運転席が右側にある場合は、右側の映像２０１ａを表示装置１０８に表示し、運転席が左側にある場合は、左側の映像２０１ｂを表示装置１０８に表示する。これによって、運転者の視点と映像の視点とのずれをできるだけ少なくすることができ、映像がより自然に見られるという効果が生ずる。
【０１４５】
尚、上述の実施の形態では、ステレオカメラ支持装置は車に搭載されているが、本発明はこの形態に限定されるものではない。即ち、本発明は移動体における測距の眼として搭載されるステレオカメラ一般に適用することが可能である。したがって、本発明は、車、船舶、航空機、ロボットなどの移動体にも搭載することができる。
【０１４６】
また、本発明のシステム実施の形態は、必ずしも車両やロボットのような移動体に測距の目として搭載される場合に限定されるものではなく、例えば、カメラ自体は、監視カメラの如く水平面上での位置を固定されながら自己に向かってくる乃至は自己から遠ざかるように相対移動する物体との距離を測るように設置される形態で実施されても極めて有効である。
【０１４７】
尚、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。制御手段（支持制御装置１６０の制御演算機能部等）を、当該車両の姿勢乃至位置を検出する検出手段の検出出力をその制御における状態変数として、且つ、上記ステレオカメラによる映像に依拠することなく、制御動作を行なうように構成する等である。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１４８】
【発明の効果】
以上説明したように、本発明のステレオカメラ支持装置によれば、背景その他の周囲の他部に依存せずにその被写体自体の距離等当該被写体に着目した情報を効率的に取得することができる。
【図面の簡単な説明】
【図１】ステレオカメラ支持装置が適用されるステレオカメラシステムの構成を示す図。
【図２】ステレオアダプタの構成を示す図。
【図３】ステレオカメラの車両への装着を示す図。
【図４】処理装置で求めた三次元距離画像を示す図。
【図５】三次元再構成等の処理を行って抽出した画像の表示を示す図。
【図６】ステレオカメラ支持装置のステレオカメラ結合装置の構成を示す図。
【図７】車両に搭載されたステレオカメラの撮像方向を示す図。
【図８】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図９】車両の前後方向の傾きによるステレオカメラの撮像方向を示す図。
【図１０】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１１】車両の左右方向の傾きによるステレオカメラの姿勢を示す図。
【図１２】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１３】道路面の傾きとステレオカメラの撮像方向を示す図。
【図１４】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１５】ステレオカメラ支持装置における制御動作の概略の手順を示すフロー図。
【図１６】運転者に対する映像を表示する方法を説明する図。
【符号の説明】
１０１…ステレオアダプタ、１０２…撮像装置、１０３…処理装置、１０４…制御装置、１０５…入力装置、１０８…表示装置、１１３…ＧＰＳ、１１６…ステレオカメラ、１５０…ステレオカメラ支持装置、１５５…カメラ姿勢センサ、１５６…車両姿勢センサ、１５９…ステレオカメラ結合装置、１６０…支持制御装置、２１０…道路面、３００…車両、３０５…視野、３１０…被写体。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a stereo camera support device for supporting a stereo camera adapted to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other, a method for supporting this type of stereo camera, and a method for applying the same. The present invention relates to a stereo camera system, and more particularly, to a technique for causing a position occupied in a video frame by a specific subject in an imaging field of view of the stereo camera to exhibit a specific tendency.
[0002]
[Prior art]
In recent years, for example, a stereo camera is mounted on a vehicle, and various information for safety is provided to a driver based on a video signal output obtained by the camera, or an automatic control related to traveling of the vehicle is performed. Systems that support driving are also being put into practical use. A specific proposal has also been made for a mechanism for coping with environmental stresses such as sunlight, heat, temperature, and vibration when a vehicle-mounted stereo camera is attached to a vehicle (for example, Patent Document 1).
[0003]
In addition, using an in-vehicle stereo camera, high-speed and high-precision detection of obstacles on the road surface can be performed even when the stereo camera has not been calibrated and there is vibration during driving and changes in the inclination of the road surface. To achieve this, the geometrical relationship between the road plane and each camera is determined only from the movement of the two white lines at both ends of the road on the moving image while reducing the labor required for the calibration of the applied camera. Accordingly, an obstacle detection device that detects an obstacle existing on a road plane at high speed even if the road or the road itself is inclined during traveling has been proposed (for example, Patent Document 2).
[0004]
Further, in a vehicle distance measuring apparatus using an in-vehicle stereo camera, a reference distance set to be shorter than a distance from a mounting point of both optical systems of the stereo camera and a point at which a lowermost end of a field of view determined by an upper and lower angle of view intersects a road surface. By using the distance evaluation means to evaluate whether the calculated distance is valid or invalid immediately after the calculation of the distance calculation means is started, the distance to the object is reliably calculated. A technique has also been proposed in which the calculation distance of the distance calculation means is made valid, and it is easily determined whether or not the distance measurement value immediately after the start of the distance measurement is valid, and the distance measurement accuracy is improved. (For example, Patent Document 3).
[0005]
[Patent Document 1] Japanese Patent No. 3148749
(Paragraphs 0003 to 0004; paragraphs 0008 to 0011; FIG. 1 and FIG. 2)
[0006]
[Patent Document 2] JP-A-2001-76128
(Summary, paragraph 0006; paragraph 0011; FIG. 3; FIG. 4)
[0007]
[Patent Document 3] Japanese Patent No. 3354450
(Paragraph 0004; Paragraph 0035; FIG. 7; FIG. 9)
[0008]
[Problems to be solved by the invention]
However, in these conventional proposals, the position occupied in a video frame by a specific subject in a field of view of a stereo camera exhibits a specific tendency, and the position of the subject does not depend on the background or other parts around the subject. In order to efficiently obtain information focusing on the subject, such as the distance of the subject itself, by recognizing the technical problem that is to be addressed by adjusting the attitude of the applied stereo camera, and eventually solving the technical problem. No such disclosure has been made.
[0009]
Therefore, an object of the present invention is to use a stereo camera, which is an example of a vehicle-mounted type, to capture an image of a subject whose relative relationship with the stereo camera changes in its imaging field of view, and to perform background and other imaging. A stereo camera support device and a stereo camera for adjusting the attitude of the stereo camera, so that information focused on the subject such as the distance of the subject itself can be efficiently acquired without depending on other parts of the surroundings. An object of the present invention is to provide a supporting method and a stereo camera system to which the supporting methods are applied.
[0010]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the present invention has the following characteristic configuration.
[0011]
The stereo camera supporting device according to claim 1 according to the present invention is a stereo camera supporting device that supports a stereo camera that is configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other, By connecting a supporting member provided on the vehicle side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera so that the relative relationship between the two members is variable within a predetermined range. A coupling member configured to support the stereo camera on the vehicle, and control means for controlling a posture or a position of the stereo camera supported by the vehicle by the coupling member, wherein the control means includes: Regarding the image obtained by the stereo camera, the outline portion at the highest level among the outlines of the subject of interest in the image is Regardless of the change in the attitude or position of the two, so as to be positioned on the frame upper end or its vicinity of the image, which is configured so as to control the attitude or position of the stereo camera.
[0012]
The stereo camera supporting device according to claim 2 of the present invention is the stereo camera supporting device according to the above-described invention, wherein the control unit outputs a detection output of a detecting unit that detects a posture or a position of the vehicle. It is configured to perform a control operation based on the control operation.
[0013]
According to a third aspect of the present invention, in the stereo camera supporting apparatus according to the third aspect of the present invention, the control unit evaluates and recognizes a feature of an image obtained by the stereo camera. The control operation is performed based on the output of the image recognition means.
[0014]
The stereo camera supporting device according to claim 4 of the present invention is the stereo camera supporting device according to the above-described invention, wherein the control unit detects a detection output of a detecting unit that detects an attitude or a position of the vehicle. The control operation is performed based on the output of the image recognition means for evaluating and recognizing the characteristics of the image obtained by the stereo camera.
[0015]
According to a fifth aspect of the present invention, there is provided the stereo camera supporting device according to the first aspect of the present invention, wherein the detecting means includes a tilt detecting means for detecting a tilt of the vehicle; At least one of height detecting means for detecting the level position of the section is included.
[0016]
According to a sixth aspect of the present invention, in the stereo camera supporting device according to the first aspect of the present invention, the inclination detecting means detects a relative angle with respect to a vertical direction or a horizontal direction.
[0017]
The stereo camera supporting device according to claim 7 of the present invention is the stereo camera supporting device according to the above invention, wherein the height detecting means detects a relative position of the vehicle with respect to a ground contact surface.
[0018]
Further, according to the stereo camera support device according to claim 8 of the present invention, in the stereo camera support device according to the above-described invention, the control unit performs feedback control.
[0019]
A stereo camera support device according to a ninth aspect of the present invention is the stereo camera support device according to the invention described above, wherein the control means performs feedforward control.
[0020]
The stereo camera support device according to claim 10 of the present invention is a stereo camera support device that supports a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other. The supporting member provided on the object side on which the stereo camera is installed and the supported member provided on a predetermined portion of the stereo camera are coupled such that the relative relationship between the two members is variable within a predetermined range. A coupling member configured to support the stereo camera on the object by doing so, and control means for controlling a posture or a position of the stereo camera supported on the object by the coupling member. The control means determines that the contour portion at the highest level among the contours of the subject of interest in the video obtained by the stereo camera is And regardless of the change in the relative orientation or location of the target subject in the imaging field of view, which is configured so as to control the attitude or position of the stereo camera to be positioned to the frame upper end or its vicinity of the image.
[0021]
A stereo camera supporting method according to claim 11 of the present invention is a stereo camera supporting method for supporting a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other. A supporting member provided on the vehicle side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera are coupled such that a relative relationship between the two members is variable within a predetermined range. Then, the posture or position of the stereo camera supported by the vehicle by the connection is determined by setting the contour portion at the highest level among the contours of the subject of interest in the image obtained by the stereo camera to the posture or position of the vehicle. The attitude or position of the stereo camera is controlled so that the stereo camera is located at or near the upper end of the video frame regardless of the change.
[0022]
A stereo camera supporting method according to claim 12 of the present invention is a stereo camera supporting method for supporting a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other. A supporting member provided on the object side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera are coupled such that the relative relationship between the two members is variable within a predetermined range. Then, the posture or position of the stereo camera supported on the object by the connection is determined by setting the contour portion at the highest level among the contours of the subject of interest in the image obtained by the stereo camera, with the object and the imaging field of view. Irrespective of a change in the relative posture or position with respect to the subject of interest in the To control the attitude or position of the camera.
[0023]
The stereo camera support device according to claim 13 of the present invention is the stereo camera support device according to the invention described above, wherein the control unit outputs a detection output of a detection unit that detects a posture or a position of the vehicle. It is configured to perform a control operation as a state variable and without relying on an image from the stereo camera.
[0024]
Further, the stereo camera system according to claim 14 according to the present invention is a stereo camera system including a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other, A supporting member provided on a vehicle side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera are coupled so that a relative position between the two members is variable within a predetermined range. A coupling member configured to support the stereo camera on the vehicle by the control member, and control means for controlling a posture or a position of the stereo camera supported on the vehicle by the coupling member, wherein the control means includes: An image pickup optical system of the stereo camera or a viewpoint set in the vicinity of the image pickup optical system can be taken in view of the field of view of the stereo camera. Regarding the image obtained by the above, the contour portion at the highest level among the contours of the subject of interest in the video is located at the upper end of the frame of the video or in the vicinity thereof, regardless of the change in the attitude or position of the vehicle. The configuration is such that the attitude or position of the stereo camera can be controlled.
[0025]
A stereo camera system according to a fifteenth aspect of the present invention is the stereo camera system according to the first aspect of the present invention, wherein the information for calculating the distance to the subject of interest based on video information obtained by shooting with the stereo camera. Processing means is further provided.
[0026]
A stereo camera system according to a sixteenth aspect of the present invention is the stereo camera system according to the above-described invention, wherein the information processing means transmits the information to the vehicle based on video information obtained by shooting with the stereo camera. It is configured to generate data for projecting an image representing a road condition on the applied display means.
[0027]
A stereo camera system according to a seventeenth aspect of the present invention is the stereo camera system according to the above-described invention, wherein the information processing means transmits the information to the vehicle based on video information obtained by shooting with the stereo camera. The present invention is configured to generate data for superimposing and displaying an index representing a point group on a road equidistant from the vehicle on a video representing a road condition on the applied display means.
[0028]
The stereo camera system according to claim 18 of the present invention is the stereo camera system according to the above-mentioned invention, wherein the information processing means is provided to the vehicle based on video information obtained by shooting with the stereo camera. It is configured to generate data for causing the applied warning means to issue a warning.
[0029]
Further, the stereo camera system according to claim 19 according to the present invention is a stereo camera system including a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other, A supporting member provided on the object side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera are coupled so that the relative position between the two members is variable within a predetermined range. A coupling member configured to support the stereo camera by the vehicle, and control means for controlling a posture or a position of the stereo camera supported by the object by the coupling member, wherein the control means includes: An image pickup optical system of the stereo camera or a viewpoint set in the vicinity of the image pickup optical system can be taken in view of the field of view of the stereo camera. Regarding the image obtained by the above, the contour portion at the highest level among the contours of the object of interest in the image is a frame of the image regardless of a change in the relative posture or position between the object and the object of interest in the imaging field of view. The configuration is such that the attitude or position of the stereo camera can be controlled so as to be located at or near the upper end.
[0030]
Further, in the stereo camera system according to claim 20 of the present invention, in the stereo camera system according to the above-mentioned invention, the control means sets the stereo camera to its imaging optical system or its vicinity at the time of initial movement. The stereoscopic camera is configured to be controlled to a posture in which the center line of the field of view when taking a picture is taken in view of the field of view of the stereo camera from the point of view.
[0031]
Further, in the stereo camera system according to claim 21 of the present invention, in the stereo camera system according to the above-mentioned invention, the control means sets the stereo camera to its imaging optical system or its vicinity at the time of initial movement. The stereoscopic camera is configured to control the attitude such that the center line of the field of view when capturing the image of the field of view of the stereo camera from the point of view substantially maintains the last state set in the previous control.
[0032]
In a stereo camera system according to a twenty-second aspect of the present invention, in the stereo camera system according to the above-described invention, the control means sets the stereo camera to its imaging optical system or its vicinity at the time of initial movement. The stereoscopic camera is configured to control the attitude such that the center line of the field of view when taking the image with the field of view of the stereo camera taken from the viewpoint is substantially lower than the horizontal direction.
[0033]
The stereo camera system according to claim 23 of the present invention is the stereo camera system according to the above-mentioned invention, wherein the control means controls the stereo camera to operate its imaging optical system or A position in which the center line of the visual field is controlled to be relatively downward when taking an image of the stereoscopic camera from the viewpoint set in the vicinity thereof, and the center line is relatively upward when traveling at low speed. It was configured to control.
[0034]
Further, in the stereo camera system according to claim 24 of the present invention, in the stereo camera system according to the above-mentioned invention, the control unit may be configured such that a highest level portion of a contour of a subject to be noted is positioned at an upper end of a frame of a video. Further, when it is recognized that a high object that deviates upward is encountered, the posture of the stereo camera is controlled to be upward.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a diagram showing a configuration of a stereo camera support device 150 according to the present invention and a stereo camera system to which the device is applied.
[0036]
The stereo camera system includes a stereo camera 116 including a stereo adapter 101 and an imaging device 102 described later, a processing device 103, a control device 104, an input device 105, a warning device 106, a driving device 107, a display device 108, a vehicle speed sensor. 109, a ranging radar 110, an illuminance sensor 111, an external camera 112, a GPS 113, a VICS 114, an external communication device 115, a stereo camera support device 150, a camera attitude sensor 155, and a vehicle attitude sensor 156.
[0037]
The stereo camera support device 150 is provided with a stereo camera coupling device 159 and a support control device 160.
[0038]
Here, as shown in FIG. 2, the stereo adapter 101 is mounted in front of an imaging optical system 102A inside an imaging device 102 such as a camera, and is used to form a parallax image 201 on an imaging device 102B. An optical system that receives light from the same subject 1 at two light receiving portions (mirrors 101A-1 and 101A-2) separated by a predetermined distance, and guides each of the received light to an imaging optical system 102A of the imaging device 102. (Mirrors 101B-1, 101B-2) are provided.
[0039]
The stereo camera 116 including the stereo adapter 101 and the imaging device 102 (or the processing device 103 in addition thereto) is configured to be able to capture images in various directions by the stereo camera support device 150.
[0040]
As shown in FIGS. 3A, 3B, 3C, and 3D, the stereo camera 116 is mounted at an arbitrary position inside the vehicle 300 and at a position outside the vehicle 300 (a position shown by hatching). Is possible. When mounted outside the vehicle 300, it can be mounted on the hood, pillars, headlights, or the like of the vehicle, so that the landscape outside the vehicle can be photographed from various directions. In addition, when it is mounted inside the vehicle 300, it can be mounted on a dashboard, a room mirror, or the like.
[0041]
The processing device 103 performs processing such as three-dimensional reconstruction from an image captured from the imaging device 102 through the stereo adapter 101, and creates a three-dimensional distance image and the like. The control device 104 has a role of controlling the image information and the vehicle information. For example, the control device 104 displays a result processed by the processing device 103 on the display device 108, and displays the distance information and the vehicle speed sensor obtained by the processing device 103. By analyzing the information 109 and the like, a warning can be issued to the warning device 106 or the driving device 107 can be controlled to prompt the driver to drive safely. The input device 105 can switch the mode and the like by giving an instruction to the control device 104 using an input device such as a remote controller, for example.
[0042]
As understood from the above description, the processing device 103 and the control device 104 constitute information processing means in the present system, and are configured such that the functions of both devices are covered by a computer mounted on a vehicle equipped with the system. Can be done.
[0043]
Further, the warning device 106 includes a voice device 106A, a vibration device 106B, and the like. For example, the voice device 106A issues a voice from a speaker or the like, and the vibration device 106B issues a warning to a driver by vibration of a driver's seat.
[0044]
Here, the stereo camera coupling device 159, which is a component of the stereo camera support device 150, couples and supports the stereo camera 116 to the vehicle 300. In addition, the support control device 160, which is a component of the stereo camera support device 150, outputs a signal to the stereo camera combining device 159 to control the imaging direction of the stereo camera 116.
[0045]
The vehicle attitude sensor 156 is a detection unit that detects the attitude or position of the vehicle, and detects the inclination of the vehicle with respect to the road. Then, based on the detection value of the vehicle attitude sensor 156, the image information processed by the processing device 103, the information of the GPS 113, and the like, the support control device 160 determines the imaging range of the stereo camera 116, that is, where the imaging field of view is determined. Control. That is, when the imaging field of view deviates from an appropriate state due to the inclination of the vehicle, a control signal is output to the stereo camera combining device 159 so that the original imaging field of view is restored. At this time, the support control device 160 grasps the current state of the camera based on the detection output value of the camera posture sensor 155 which is a sensor for detecting the posture or position of the camera, and generates a control signal. Then, the stereo camera coupling device 159 drives an adjustment mechanism provided therein based on the control signal, and sets the stereo camera 116 in a desired direction.
[0046]
The above-mentioned vehicle attitude sensor 156 can function as an inclination detecting means for detecting a relative angle with respect to a vertical direction or a horizontal direction, and further, a height detecting means for detecting a relative position of the vehicle with respect to a ground contact surface. Can function as
[0047]
Various information and detection signals necessary for this control are input to the support control device 160 via the control device 104. However, the present invention is not limited to this mode, and the support control device 160 may be configured to directly receive various types of information and detection signals necessary for control, and the control device 104 and the support control device 160 share functions as appropriate. May be configured to receive various information and detection signals necessary for control.
[0048]
Next, an outline of a function of the processing device 103 for creating a three-dimensional distance image or the like will be described. The present applicant has already proposed a configuration example of the processing apparatus 103 and an applicable image processing theory as Japanese Patent Application No. 2003-048323.
[0049]
FIG. 4 shows a three-dimensional distance image obtained by the processing device 103. FIG. 4A is a photographed image, and FIG. 4B is a diagram showing a result of calculating a distance from the image. Thus, the distance from the camera to the subject can be calculated as three-dimensional information. In FIG. 4B, the higher the luminance, the closer the distance.
[0050]
Further, based on the three-dimensional distance image, the processing device 103 can discriminate between a road area and a non-road area, and can also recognize and extract an object in a road surface and an obstacle in a non-road area. it can.
[0051]
Therefore, as shown in FIG. 5, the plane or curved shape of the road extracted by performing processing such as three-dimensional reconstruction can be displayed on the display unit 108A of the display device 108. Further, at this time, a point group on the road surface which is equally spaced from the vehicle 300 is superimposed and displayed by straight lines or curves L1, L2, L3. Further, the processing device 103 recognizes the vehicles T1, T2, etc. running ahead on the road, and displays them as ellipses or rectangles surrounding the vehicles in front, and also displays the distances to the vehicles T1, T2, etc. ahead. You can also.
[0052]
As described above, by using the stereo camera system, it is possible to obtain various information on the road and the subject.
[0053]
[First Embodiment]
FIG. 6 is a diagram illustrating a configuration example of the stereo camera coupling device 159 of the stereo camera support device 150 according to the first embodiment of the present invention.
[0054]
The stereo camera coupling device 159 is a coupling member for attaching the stereo camera 116 to the vehicle 300, and is configured to be able to freely control the stereo camera 116 to a desired position / posture. At both ends of the stereo camera coupling device 159, a support member 151 fixed to an appropriate position on the vehicle body for coupling with the vehicle body and a supported member 152 for coupling with the stereo camera 116 are provided. Further, a mechanism is provided for allowing the stereo camera 116 thus coupled to the vehicle body to freely turn within a predetermined range. That is, this mechanism includes a yaw rotation motor 154a, a pitch rotation motor 154b, and a roll rotation motor that are configured to be rotatable around three axes of a yaw rotation shaft 153a, a pitch rotation shaft 153b, and a roll rotation shaft 153c. 154c is a posture control mechanism.
[0055]
The support controller 160 outputs control signals for the respective motors to the stereo camera coupling device 159 having this configuration, whereby the stereo adapter 101 can be controlled in a desired direction. Although not shown in FIG. 6, the stereo camera coupling device 159 is provided with a camera posture sensor 155 (FIG. 1) for detecting the posture or position of the camera. The camera attitude sensor 155 may detect, for example, the rotation angle of each motor.
[0056]
Note that the stereo camera combining device 159 is not limited to a system having a three-axis control mechanism as shown in FIG. 6, and for example, a known motorized gimbal mechanism can be applied. Further, a mechanism according to the lens frame support mechanism of Japanese Patent No. 3306128 proposed by the present applicant may be applied.
[0057]
Note that the stereo camera combining device 159 does not automatically control three axes as illustrated in FIG. 6, but may manually adjust the yaw angle, for example. The manual adjustment mechanism for this purpose is, for example, a universal joint that can be rotated and locked, or a supported body suspended like a camera free head, after loosening the lock screw to a desired mounting angle and directing, A configuration in which the direction is adjusted by fixing the angle by tightening the lock screw can be adopted.
[0058]
Next, the operation of the stereo camera support device 150 according to the first embodiment of the present invention will be described.
[0059]
FIG. 7 is a diagram illustrating an imaging direction of a stereo camera mounted on the vehicle 300, and FIG. 8 is a flowchart illustrating a schematic procedure of control in the stereo camera support device 150.
[0060]
In FIG. 7A, the stereo camera 116 is suspended via a stereo camera coupling device 159 at an appropriate position in the vehicle 300 (e.g., near a central position above a dashboard or above a windshield). The center line 306 of the field of view 305 of the stereo camera 116 is set to be parallel to the road surface 210. However, in this state, the sky, which is an unnecessary background area for processing an image of a target subject, is shot in the upper area of the shot frame, and the subject 310 such as a vehicle ahead, which is originally required, is taken. The ratio of the area to be imaged such as the road surface 210 is insufficient.
[0061]
Therefore, as shown in FIG. 7B, the imaging posture of the stereo camera 116 is adjusted by the control of the stereo camera combining device 159, and the upper end of the front subject 310 (the highest level position among the contours of the subject) is adjusted. The adjustment is performed so that the outline portion is located at the upper end of the visual field 305 (therefore, the upper end of the frame of the captured video). As a result, the photographing area of the road surface 210 is widened, and unnecessary background areas such as the sky are reduced, so that the visual field can be used effectively.
[0062]
The control operation of the above-described stereo camera support device 150 will be described with reference to FIG.
[0063]
The support control device 160 receives the result of the object recognition processing executed by the processing device 103 (S1). That is, the processing device 103 discriminates between a road area and a non-road area based on the three-dimensional distance image (including information indicating the corresponding pixel and information indicating the distance), and the subject 310 existing in the road area. Recognize and extract. At this time, the processing device 103 may extract only the running vehicle from the recognized subjects 310 based on the characteristics thereof.
[0064]
The support control device 160 obtains the highest level position of the contour portion of the subject 310 existing in the field of view (S2). Then, it is checked whether or not the highest level position is above the upper end portion of the visual field 305 (therefore, the upper end of the video frame; the same applies hereinafter) (S3). When there are a plurality of subjects 310 in the field of view of the image, the position where the level position of the outline portion is the highest is obtained.
[0065]
When the highest level position is below the upper end of the field of view 305 (S3 No), the stereo camera 116 is tilted backward with respect to the desired posture position. Therefore, the support control device 160 captures the inclination of the camera from the detection output of the camera attitude sensor 155, and instructs the support control device 160 to operate the camera adapter 101 so that the highest level position of the subject 310 is located at the upper end of the visual field 305. A control signal for adjusting the posture is output (S4).
[0066]
When the highest level position is above the upper end of the field of view 305 (S3 Yes), the stereo camera 116 is tilted forward with respect to the desired posture position. Therefore, the support control device 160 captures the inclination of the camera from the detection output of the camera posture sensor 155, and adjusts the camera posture with respect to the stereo camera coupling device 159 so that the highest level position of the subject 310 is located at the upper end of the visual field 305. The control signal to be adjusted is output (S5).
[0067]
Upon receiving the control signal, the stereo camera combining device 159 drives a mechanism provided inside to adjust the attitude of the camera, and adjusts the visual field 305 of the stereo camera 116 to a desired position (S6).
[0068]
In the above description, the attitude of the stereo camera 116 at the time when the stereo camera support device is initially activated, for example, when the power key of the vehicle is turned on, may take several forms.
[0069]
That is, in one aspect, at the time of startup (that is, at the time of the initial operation of the present system), a uniform horizontal posture (imaging is performed in view of the imaging field of view of the stereo camera 116 from the imaging optical system of the stereo camera or a viewpoint set in the vicinity thereof). (That is, the center line 306 described above with reference to FIG. 7 is in a horizontal direction), and then the three-dimensional distance image Based on this information, control is performed so as to gradually adjust the attitude of the stereo camera as described above.
[0070]
When this mode is adopted, in the initial movement state, for example, even in a situation where an image of the wall of the garage is taken, the stereo camera is neutral in any posture according to the development of the visual field by subsequent traveling. Appropriate control can be performed from the optimal position to the optimal posture. Therefore, useless information processing and control are performed during the initial stage that is not familiar with the control in this system, which may hinder speeding up of processing with relatively high priority. Be avoided.
[0071]
As another mode, at the time of initial movement, the last state set in the previous control may be maintained. In this case, it is highly probable that the vehicle will start running again from the last state set by the previous control, so that the attitude of the stereo camera is targeted relatively early after starting running. It is likely to be able to match what needs to be done.
[0072]
As still another aspect, at the time of initial movement, the attitude of the stereo camera is relatively downward (that is, the center line 306 is lower than the horizontal direction or lower than the direction controlled at the time other than the initial movement). (Posture). In this case, it is possible to reduce the risk of overlooking the surrounding obstacles, infants, pet animals, and the like that require special attention at the time of initial movement.
[0073]
The above-described various aspects of the attitude control of the stereo camera at the time of initial movement may be configured, for example, such that the system can be set in advance as a plurality of control modes so as to be selectable by an operator.
[0074]
The above is the various control modes related to the attitude of the stereo camera at the time of the initial movement. However, a mode in which the tendency of the attitude control of the stereo camera is selected according to the running state of the vehicle including the system of the present invention may be adopted. That is, during high-speed running, the stereo camera is controlled to be relatively downward (substantially the same as described above), and when running at low speed, is controlled to be relatively upward.
[0075]
According to this aspect, it is possible to stably extract and discriminate a road portion from an image obtained by imaging during high-speed driving, accurately recognize a distant vehicle, and the driver's attention tends to be lessened at low-speed driving. A system with high performance in that relatively high objects can be reliably recognized is realized.
[0076]
Incidentally, when it is determined by a corresponding sensor or the like that the highest level portion of the contour of the subject to be noticed approaches or encounters a high subject that deviates further upward from the upper end of the frame of the image, The attitude of the stereo camera may be controlled to be directed upward, and auxiliary means for operating the attitude of the stereo camera upward by artificial operation based on the recognition of the operator may be provided. You may do so.
[0077]
Setting the attitude of the stereo camera to a predetermined one during the assembly process of the vehicle including the stereo camera or before shipment from the factory can be considered as one technical method.
[0078]
Incidentally, the control operation for moving the camera may be feedback control or feedforward control or a system that compromises between them, irrespective of the so-called modern control theory or classical control theory, such as PID control and H-infinity control. Various known control methods such as adaptive model control, fuzzy control, and neural network can be applied. For example, when feedback control such as general PID is used, the support control device 160 generates a control signal corresponding to the deviation between the highest level position and the upper end of the field of view 305 in the control loop to generate a stereo camera. By outputting the output to the coupling device 159 and repeating the operation until the deviation becomes zero, the camera can be controlled to a desired posture.
[0079]
As understood from the above description, in this embodiment, a support member (member) 151 provided on the vehicle side on which the stereo camera 116 is installed and a supported member (member) 152 provided on a predetermined portion of the stereo camera 116 And a connecting member configured to support the stereo camera on the vehicle by connecting the relative position between the two members within a predetermined range, and to support the vehicle by the connecting member. The control means for controlling the posture or position of the stereo camera 116 is realized by respective functional units of the stereo camera coupling device 159 and the support control device 160.
[0080]
Further, in the system including such a support control device 160, the control means performs the attitude control of the stereo camera using the detection output of the detection means for detecting the attitude or the position of the vehicle. The control operation may be performed by using the output as one state variable of the control system.
[0081]
In addition, the control operation function unit of the support control device 160 can be configured so as to cover this function by a common computer mounted on the vehicle integrally with the corresponding function unit of the control device 104 without forming a separate circuit. .
[0082]
[Second embodiment]
Next, a stereo camera support device 150 according to a second embodiment of the present invention will be described.
[0083]
The stereo camera support device 150 according to the second embodiment is incorporated in the stereo camera system shown in FIG. 1 and applied similarly to the stereo camera support device 150 according to the first embodiment. The configuration of the stereo camera combining device 159 of the second embodiment is the same as the configuration of the stereo camera combining device 159 of the first embodiment shown in FIG. Therefore, the same portions as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0084]
Next, the operation of the stereo camera support device 150 according to the second embodiment of the present invention will be described. In the present embodiment, stereo camera support device 150 corrects a change in the field of view due to the inclination of vehicle 300 in the front-back direction.
[0085]
FIG. 9 is a diagram illustrating an imaging direction of the stereo camera according to the inclination of the vehicle in the front-rear direction. FIG. 10 is a flowchart illustrating a schematic procedure of a control operation in the stereo camera support device 150.
[0086]
As shown in FIG. 9A, the stereo camera 116 is suspended from the vehicle 300 via the stereo camera coupling device 159 so as to observe a predetermined inclination angle θ below the horizontal plane. The vehicle 300 is provided with an inclination sensor 156a for detecting the front and rear inclination of the vehicle body or a suspension stroke sensor 156b and 156c for measuring the distance between the front and rear wheel suspensions.
[0087]
By the way, when the number of people boarding the vehicle 300 and the riding position change, or when the weight of the luggage loaded on the bed of the vehicle changes, the front and rear inclination angles of the vehicle 300 change accordingly. Furthermore, the front and rear inclination angles of the vehicle 300 also change during deceleration and acceleration. As a result, the field of view of the stereo camera also deviates from an appropriate state.
[0088]
Therefore, as shown in FIG. 9B, the field of view of the camera is determined based on the inclination angle of the vehicle body detected by the inclination sensor 156a or the inclination angle of the vehicle body calculated from the strokes detected by the suspension stroke sensors 156b and 156c. The imaging direction of the stereo camera adapter 116 is controlled so as to obtain a desired state.
[0089]
It should be noted that the vehicle attitude sensor 156 described above may be configured to include the inclination sensor 156a, the suspension stroke sensors 156b, 156c, and the like as converters at a plurality of detection ends.
[0090]
The control operation of the above-described stereo camera support device 150 will be described with reference to FIG.
[0091]
The support control device 160 reads the detection outputs of the suspension stroke sensors 156b and 156c attached to the front and rear wheels of the vehicle 300 (B01). By calculating the difference between the stroke sensors, the front and rear inclination of the vehicle 300 is calculated (B02). Then, it is checked whether the vehicle is leaning forward compared to the reference state (B03).
[0092]
When the vehicle is tilted backward as compared to the reference state (B03 No), the stereo camera 116 captures an image of an area above the desired posture position. Therefore, the support control device 160 takes in the camera tilt from the detection output of the camera attitude sensor 155, and controls the stereo camera coupling device 159 to adjust the camera attitude so that the viewing direction of the stereo camera 116 is downward. A signal is output (B04).
[0093]
When the vehicle is leaning forward compared to the reference state (B03 Yes), the stereo camera 116 captures an image of a position lower than the desired posture position. Therefore, the support control device 160 takes in the camera tilt from the detection output of the camera attitude sensor 155 and controls the stereo camera combining device 159 to adjust the camera attitude so that the viewing direction of the stereo camera 116 is upward. A signal is output (B05).
[0094]
Upon receiving the control signal, the stereo camera combining device 159 drives a mechanism provided therein to adjust the attitude of the camera, and adjusts the visual field 305 of the stereo camera 116 to a desired position (B20).
[0095]
Note that the inclination of the vehicle 300 may be detected using the detection output of the inclination sensor 156a, and the inclination angle may be determined by combining the detection output of the suspension stroke sensors 156b and 156c and the detection output of the inclination sensor 156a. You may make it calculate.
[0096]
Incidentally, the control operation for moving the camera may be feedback control or feedforward control or a system that compromises between them, irrespective of the so-called modern control theory or classical control theory, such as PID control and H-infinity control. Various known control methods such as adaptive model control, fuzzy control, and neural network can be applied. For example, when feedback control such as general PID is used, the support control device 160 generates a control signal corresponding to a deviation amount between a target value and an actual value of the camera attitude sensor 155 in the control loop. The output is output to the stereo camera combining device 159, and the operation is repeated until the deviation amount becomes zero, whereby the camera can be controlled to a desired posture.
[0097]
The control operation of the stereo camera support device 150 according to the second embodiment may be operated in combination with the control operation of the stereo camera support device 150 according to the first embodiment, or may be performed independently. It may be operated.
[0098]
[Third Embodiment]
Next, a stereo camera support device 150 according to a third embodiment of the present invention will be described.
[0099]
The stereo camera support device 150 according to the third embodiment is incorporated in the stereo camera system shown in FIG. 1 and applied similarly to the stereo camera support device 150 according to the first embodiment. The configuration of the stereo camera combining device 159 of the third embodiment is the same as the configuration of the stereo camera combining device 159 of the first embodiment shown in FIG. Therefore, the same portions as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0100]
Next, the operation of the stereo camera support device 150 according to the third embodiment of the present invention will be described. In the present embodiment, stereo camera support device 150 corrects a change in the field of view due to the lateral inclination of the vehicle.
[0101]
FIG. 11 is a diagram illustrating a posture of the stereo camera when the vehicle 300 is tilted in the left-right direction. FIG. 12 is a flowchart illustrating a schematic procedure of a control operation in the stereo camera support device 150.
[0102]
As shown in FIG. 11A, the stereo camera 116 is suspended on the vehicle 300 in parallel with the road surface 210 via the stereo camera coupling device 159. The vehicle 300 is provided with an inclination sensor 156d for detecting the left and right inclination of the vehicle body, or suspension stroke sensors 156e and 156f for measuring the distance between the suspensions of the left and right wheels.
[0103]
By the way, when the number of people riding in the vehicle 300 and the riding position change, or when the weight of the luggage loaded on the bed of the vehicle changes, the left and right inclination angles of the vehicle 300 also change. Further, the left and right inclination angles of the vehicle 300 also change when turning right or left. As a result, the field of view of the stereo camera (the direction in which it is viewed) also deviates from an appropriate state.
[0104]
Therefore, as shown in FIG. 11B, based on the inclination angle of the vehicle body detected by the inclination sensor 156d or the inclination angle of the vehicle body calculated from the strokes detected by the suspension stroke sensors 156e and 156f, the field of view of the camera is determined. The imaging direction of the stereo camera 116 is controlled so as to obtain a desired state.
[0105]
The control operation of the stereo camera support device 150 will be described with reference to FIG.
[0106]
The support control device 160 reads the detection outputs of the suspension stroke sensors 156e and 156f attached to the left and right of the vehicle 300 (B06). Then, by calculating the difference between the output values of the stroke sensors, the left and right inclination of the vehicle 300 is calculated (B07), and it is checked whether the vehicle is inclined to the right as compared with the reference state (B08).
[0107]
When the vehicle is tilted left compared to the reference state (B08 No), the stereo camera 116 captures an image while tilting left with respect to the desired posture position. Therefore, the support control device 160 takes in the camera inclination from the detection value of the camera attitude sensor 155, and outputs a control signal to the stereo camera combining device 159 to adjust the direction of the stereo camera 116 to the right (B09). .
[0108]
When the vehicle is tilted to the right as compared with the reference state (B08 Yes), the stereo camera 116 captures an image while tilting to the right with respect to the desired posture position. Therefore, the support control device 160 captures the camera tilt from the detection output of the camera attitude sensor 155, and outputs a control signal to the stereo camera coupling device 159 to adjust the direction of the camera adapter 116 to the left (B10). .
[0109]
Upon receiving the control signal, the stereo camera combining device 159 drives a mechanism for adjusting the attitude of the camera provided therein, and adjusts the visual field 305 of the stereo camera 116 to a desired position (B20).
[0110]
The detection output of the inclination sensor 156d may be used for the inclination of the vehicle 300, and the inclination angle is calculated by combining the detection output of the suspension stroke sensors 156e and 156f and the detection output of the inclination sensor 156d. Is also good.
[0111]
The control operation for moving the camera may be feedback control or feedforward control, or a system that compromises between them, irrespective of the so-called modern control theory or classical control theory, such as PID control and H-infinity control. Various known control methods such as adaptive model control, fuzzy control, and neural network can be applied. For example, when feedback control such as general PID is used, the support control device 160 generates a control signal corresponding to a deviation amount between a target value and an actual value of the camera attitude sensor 155 in the control loop. The output is output to the stereo camera combining device 159, and the operation is repeated until the deviation amount becomes zero, whereby the camera can be controlled to a desired posture.
[0112]
The control operation of the stereo camera support device 150 according to the third embodiment may be operated in combination with the control operation of the stereo camera support device 150 according to the first embodiment, or may be performed independently. It may be operated.
[0113]
[Fourth Embodiment]
Next, a stereo camera support device 150 according to a fourth embodiment of the present invention will be described.
[0114]
The stereo camera support device 150 according to the fourth embodiment is incorporated in the stereo camera system shown in FIG. 1 and applied similarly to the stereo camera support device 150 according to the first embodiment. The configuration of the stereo camera combining device 159 of the fourth embodiment is the same as the configuration of the stereo camera combining device 159 of the first embodiment shown in FIG. Therefore, the same portions as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0115]
Next, the operation of the stereo camera support device 150 according to the fourth embodiment of the present invention will be described. In the present embodiment, stereo camera support device 150 detects the inclination of road surface 210 and corrects a change in the visual field.
[0116]
FIG. 13 is a diagram showing the inclination of the road surface and the imaging direction of the stereo camera, and FIG. 14 is a flowchart showing a schematic procedure of the control operation of the stereo camera support device 150.
[0117]
As shown in FIGS. 13A and 13B, if the road surface 210 in front of the vehicle 300 in the traveling direction is inclined, the field of view of the stereo camera will deviate from an appropriate state. For example, as shown in FIG. 13A, when the road surface 210 is climbing, the area of the road surface increases during the imaging frame, but the information on the subject 310 (see FIG. 7) decreases. In addition, as shown in FIG. 13B, when the road surface 210 is down, the information on the subject 310 (see FIG. 7) increases in the imaging frame, but the area of the road surface decreases.
[0118]
Therefore, the inclination of the road surface 210 in front of the traveling direction is detected, and the imaging direction of the stereo camera 116 is adjusted based on the inclination based on the detected inclination.
[0119]
The control operation of the above-described stereo camera support device 150 will be described with reference to FIG.
[0120]
The support control device 160 receives the result of the road surface recognition processing executed by the processing device 103 (B11). That is, the processing device 103 discriminates a road area and a non-road area in the traveling direction based on the three-dimensional distance image (including information indicating the corresponding pixel and information indicating the distance) and recognizes and extracts the road surface. I do.
[0121]
The support control device 160 obtains a specific position based on the extracted road surface information (B12). The specific position may be, for example, a so-called burnishing point where the extension lines of both sides of the road intersect on the image frame. Then, it is checked whether or not the obtained specific position is located below a predetermined position in the image frame (B13). That is, it is checked whether or not the elevation angle at which a specific position is expected is smaller than a predetermined elevation angle.
[0122]
When the elevation angle for the specific position is larger than the predetermined elevation angle (B14 No), the stereo camera 116 is directed upward with respect to the desired posture position. Therefore, the support control device 160 captures the inclination of the camera from the detection output of the camera posture sensor 155, and captures the image of the stereo camera 116 with the stereo camera combining device 159 so that the angle at which a specific position is viewed becomes a predetermined angle. A control signal for adjusting the direction is output (B14).
[0123]
When the elevation angle at which the specific position is estimated is smaller than the predetermined elevation angle (B14 Yes), the stereo camera 116 is directed downward with respect to the desired posture position. Accordingly, the support control device 160 captures the inclination of the camera from the detection value of the camera attitude sensor 155, and captures the image of the stereo camera 116 with the stereo camera combining device 159 so that the angle for looking into a specific position becomes a desired angle. A control signal for moving the direction is output (B15).
[0124]
Upon receiving the control signal, the stereo camera combining device 159 drives a mechanism for adjusting the attitude of the camera provided therein to adjust the field of view of the stereo camera 116 to a desired position (B20).
[0125]
Incidentally, the control operation for moving the camera may be feedback control or feedforward control or a system that compromises between them, irrespective of the so-called modern control theory or classical control theory, such as PID control and H-infinity control. Various known control methods such as adaptive model control, fuzzy control, and neural network can be applied.
[0126]
For example, the instruction control device 160 generates a control signal of an operation amount according to a control deviation between a target value of the camera attitude sensor 155 and a control amount on the road surface 210 ahead in the traveling direction in the control loop, and further generates a control signal. Then, based on a vehicle motion model prepared in advance, a compensation operation signal for eliminating a control deviation that cannot be compensated by feedback control alone is generated in accordance with a current value of acceleration / deceleration, an operation angle of a steering wheel, and the like. By adding compensation by feedforward control, robust control without offset can be realized.
[0127]
That is, by applying such a control based on a compromise between the feedback control and the feedforward control, it is predicted that it is difficult to sufficiently reduce the control deviation by the feedback control alone because the attitude of the vehicle greatly fluctuates. In such a situation, it is possible to realize an ideal camera posture control with high followability.
[0128]
The control operation of the stereo camera support device 150 according to the fourth embodiment may be operated in combination with the control operation of the stereo camera support device 150 according to the first embodiment, or may be performed independently. It may be operated.
[0129]
[Fifth Embodiment]
Next, a stereo camera supporting device 150 according to a fifth embodiment of the present invention will be described.
[0130]
The stereo camera support device 150 according to the fifth embodiment is incorporated in the stereo camera system shown in FIG. 1 and applied similarly to the stereo camera support device 150 according to the first embodiment. The configuration of the stereo camera combining device 159 of the fifth embodiment is the same as the configuration of the stereo camera combining device 159 of the first embodiment shown in FIG. Therefore, the same portions as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0131]
Next, the operation of the stereo camera support device 150 according to the fifth embodiment of the present invention will be described. In the present embodiment, the stereo camera support device 150 detects the inclination of the road surface 210 and corrects the change in the visual field as shown in FIG. 13 of the fourth embodiment. However, the fifth embodiment differs from the fourth embodiment in that the inclination of the road surface is grasped based on information from the GPS 113.
[0132]
FIG. 15 is a flowchart showing a schematic procedure of the control operation of the stereo camera supporting device 150.
[0133]
The support control device 160 receives the current position of the vehicle 300 and the terrain information of the road ahead in the traveling direction based on the map information from the GPS 113 (FIG. 1) (B15). Then, the support control device 160 predicts the slope of the road surface 210 ahead (B16), and checks whether the predicted slope is climbing (B17).
[0134]
When the slope of the road ahead is down (No in B17), it is determined that the imaging direction of the stereo camera 116 is upward with respect to the appropriate posture position. Accordingly, the support control device 160 captures the data of the tilt of the camera from the detection output of the camera attitude sensor 155, calculates a downward correction amount corresponding to the angle, and controls the stereo camera coupling device 159 to move the camera. Is output (B18).
[0135]
If the inclination of the road ahead is up (B17 Yes), it is determined that the imaging direction of the stereo camera 116 is downward with respect to the appropriate posture position. Therefore, the support control device 160 takes in the data of the tilt of the camera from the detection output of the camera posture sensor 155, calculates an upward correction amount corresponding to the angle, and causes the stereo camera combining device 159 to adjust the posture of the camera. A control signal is output (B19).
[0136]
Receiving the control signal, the stereo camera combining device 159 drives a mechanism for adjusting the attitude of the camera provided therein, and adjusts the field of view of the stereo camera 116 to match the desired position (B20).
[0137]
Incidentally, the control operation for moving the camera may be feedback control or feedforward control or a system that compromises between them, irrespective of the so-called modern control theory or classical control theory, such as PID control and H-infinity control. Various known control methods such as adaptive model control, fuzzy control, and neural network can be applied.
[0138]
For example, the instruction control device 160 generates a control signal of an operation amount according to a control deviation between a target value of the camera attitude sensor 155 and a control amount on the road surface 210 ahead in the traveling direction in the control loop, and further generates a control signal. Then, based on a vehicle motion model prepared in advance, a compensation operation signal for eliminating a control deviation that cannot be compensated by feedback control alone is generated in accordance with a current value of acceleration / deceleration, an operation angle of a steering wheel, and the like. By adding compensation by feedforward control, robust control without offset can be realized.
[0139]
That is, by applying such a control based on a compromise between the feedback control and the feedforward control, it is predicted that it is difficult to sufficiently reduce the control deviation by the feedback control alone because the attitude of the vehicle greatly fluctuates. In such a situation, it is possible to realize an ideal camera posture control with high followability.
[0140]
The control operation of the stereo camera support device 150 according to the fifth embodiment may be operated in combination with the control operation of the stereo camera support device 150 according to the first embodiment, or may be performed independently. It may be operated.
[0141]
As described above, if the stereo camera support device 150 of each embodiment according to the present invention is used, the shape of the preceding vehicle traveling on the road, the inter-vehicle distance to the preceding vehicle, the traveling state of the vehicle equipped with the stereo camera, or the road state It is possible to secure an appropriate imaging field of view that is not affected by the inclination of the front, rear, left and right vehicle bodies, the inclination of the road surface in front, and the like.
[0142]
[Example of image display method]
Next, a method of displaying an image to a driver using a stereo camera system to which the stereo camera support device 150 according to the present invention is applied will be described with reference to FIG. The stereo camera 116 can be generally configured to have a plurality of viewpoints. However, in FIG. 16, the stereo camera 116 is illustrated as a configuration having two viewpoints for simplicity.
[0143]
From the stereo camera 116, an image 201a with a right visual field 305a and an image 201b with a right visual field 305b are obtained. Therefore, the control device 104 switches and displays the images 201a and 201b on the display device 108 according to the driving position of the driver.
[0144]
For example, when the driver's seat is on the right side, the right image 201a is displayed on the display device 108, and when the driver's seat is on the left side, the left image 201b is displayed on the display device 108. As a result, the difference between the driver's viewpoint and the viewpoint of the image can be reduced as much as possible, and the effect that the image can be seen more naturally is produced.
[0145]
In the above-described embodiment, the stereo camera supporting device is mounted on a car, but the present invention is not limited to this embodiment. That is, the present invention can be applied to a stereo camera generally mounted as an eye for distance measurement in a moving object. Therefore, the present invention can be mounted on a moving object such as a car, a ship, an aircraft, and a robot.
[0146]
Further, the system embodiment of the present invention is not necessarily limited to a case where the camera is mounted on a moving object such as a vehicle or a robot as a distance measuring eye. For example, the camera itself is placed on a horizontal plane like a surveillance camera. It is extremely effective if implemented in a form in which the distance is set to measure the distance to an object moving toward or away from the self while fixing the position of the object.
[0147]
It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements in an implementation stage without departing from the spirit of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. The control means (such as the control calculation function section of the support control device 160) uses the detection output of the detection means for detecting the attitude or position of the vehicle as a state variable in the control thereof, and does not rely on the image from the stereo camera. , And so on. Further, components of different embodiments may be appropriately combined.
[0148]
【The invention's effect】
As described above, according to the stereo camera support device of the present invention, it is possible to efficiently obtain information focusing on the subject such as the distance of the subject itself without depending on the background or other surrounding parts. .
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a stereo camera system to which a stereo camera support device is applied.
FIG. 2 is a diagram showing a configuration of a stereo adapter.
FIG. 3 is a diagram showing a stereo camera mounted on a vehicle.
FIG. 4 is a diagram showing a three-dimensional distance image obtained by a processing device.
FIG. 5 is a diagram showing a display of an image extracted by performing processing such as three-dimensional reconstruction.
FIG. 6 is a diagram showing a configuration of a stereo camera coupling device of the stereo camera support device.
FIG. 7 is a diagram showing an imaging direction of a stereo camera mounted on a vehicle.
FIG. 8 is a flowchart showing a schematic procedure of a control operation in the stereo camera supporting device.
FIG. 9 is a diagram showing an imaging direction of a stereo camera according to a tilt of the vehicle in the front-rear direction.
FIG. 10 is a flowchart showing a schematic procedure of a control operation in the stereo camera supporting device.
FIG. 11 is a diagram illustrating a posture of a stereo camera due to a lateral inclination of the vehicle.
FIG. 12 is a flowchart showing a schematic procedure of a control operation in the stereo camera support device.
FIG. 13 is a diagram showing the inclination of a road surface and the imaging direction of a stereo camera.
FIG. 14 is a flowchart showing a schematic procedure of a control operation in the stereo camera support device.
FIG. 15 is a flowchart showing a schematic procedure of a control operation in the stereo camera support device.
FIG. 16 is a diagram illustrating a method of displaying an image for a driver.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Stereo adapter, 102 ... Imaging device, 103 ... Processing device, 104 ... Control device, 105 ... Input device, 108 ... Display device, 113 ... GPS, 116 ... Stereo camera, 150 ... Stereo camera support device, 155 ... Camera attitude Sensor, 156: vehicle attitude sensor, 159: stereo camera coupling device, 160: support control device, 210: road surface, 300: vehicle, 305: field of view, 310: subject.

Claims (24)

相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、
上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、
上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラによって得られる映像に関して、当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラ支持装置。A stereo camera support device that supports a stereo camera that is configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other,
A supporting member provided on the vehicle side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera are coupled such that a relative relationship between the two members is variable within a predetermined range. A coupling member configured to support the stereo camera on the vehicle by
Control means for controlling the attitude or position of the stereo camera supported by the vehicle by the coupling member,
The control means is configured such that, with respect to the image obtained by the stereo camera, the contour portion at the highest level among the contours of the subject of interest in the image is determined by changing the posture or position of the vehicle, regardless of the change in the attitude or position of the vehicle. A stereo camera supporting device configured to control the attitude or position of the stereo camera so as to be located near the stereo camera. 上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力に基づいて制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。2. The stereo camera supporting device according to claim 1, wherein the control means is configured to perform a control operation based on a detection output of a detection means for detecting a posture or a position of the vehicle. 上記制御手段は、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力に依拠して制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。2. The control device according to claim 1, wherein the control unit is configured to perform a control operation based on an output of a video recognition unit that evaluates and recognizes a feature of a video obtained by the stereo camera. A stereo camera support as described. 上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力と、上記ステレオカメラによって得られる映像の特徴を評価して認識する映像認識手段の出力と、に依拠して制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。The control means controls the control operation based on a detection output of a detection means for detecting a posture or a position of the vehicle and an output of a video recognition means for evaluating and recognizing a feature of a video obtained by the stereo camera. The stereo camera support device according to claim 1, wherein the stereo camera support device is configured to perform the operation. 上記検出手段は、当該車両の傾きを検出する傾斜検出手段、当該車両の所定部の水準位置を検出する高さ検出手段の内少なくとも１つを含むことを特徴とする請求項２または４に記載のステレオカメラ支持装置。5. The vehicle according to claim 2, wherein the detecting unit includes at least one of a tilt detecting unit that detects a tilt of the vehicle and a height detecting unit that detects a standard position of a predetermined portion of the vehicle. Stereo camera support device. 上記傾斜検出手段は鉛直方向又は水平方向に対する相対的な角度を検出するものであることを特徴とする請求項５に記載のステレオカメラ支持装置。6. The stereo camera supporting device according to claim 5, wherein said inclination detecting means detects a relative angle with respect to a vertical direction or a horizontal direction. 上記高さ検出手段は当該車両の接地面に対する相対的な位置を検出するものであることを特徴とする請求項５に記載のステレオカメラ支持装置。The stereo camera supporting device according to claim 5, wherein the height detecting means detects a relative position of the vehicle with respect to a ground contact surface. 上記制御手段は、フィードバック制御を行なうことを特徴とする請求項１乃至３の内いずれか１項に記載のステレオカメラ支持装置。4. The stereo camera supporting device according to claim 1, wherein said control means performs feedback control. 上記制御手段は、フィードフォワード制御を行なうことを特徴とする請求項１乃至３の内いずれか１項に記載のステレオカメラ支持装置。4. The stereo camera supporting device according to claim 1, wherein said control means performs feedforward control. 相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持装置であって、
上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対関係が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記物体上に支持するように構成された結合部材と、
上記結合部材によって上記物体上に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラ支持装置。A stereo camera support device that supports a stereo camera that is configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other,
A supporting member provided on the object side on which the stereo camera is installed and a supported member provided on a predetermined portion of the stereo camera are coupled such that a relative relationship between the two members is variable within a predetermined range. A coupling member configured to support the stereo camera on the object by
Control means for controlling the attitude or position of the stereo camera supported on the object by the coupling member,
The control means may determine that the contour portion at the highest level among the contours of the object of interest in the image obtained by the stereo camera is based on a change in the relative posture or position between the object and the object of interest in the imaging field of view. A stereo camera support device configured to control the attitude or position of the stereo camera so as to be positioned at or near the upper end of a video frame. 相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、
上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、
上記結合によって上記車両に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御することを特徴とするステレオカメラ支持方法。A stereo camera supporting method for supporting a stereo camera that is configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other,
A supporting member provided on the vehicle side on which the stereo camera is installed and a supported member provided at a predetermined portion of the stereo camera are coupled such that a relative relationship between the two members is variable within a predetermined range,
The posture or position of the stereo camera supported by the vehicle by the connection is changed by changing the posture or position of the vehicle at the highest level among the contours of the subject of interest in the image obtained by the stereo camera. A stereo camera supporting method characterized by controlling the attitude or position of the stereo camera so that the stereo camera is positioned at or near the upper end of the video frame. 相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを支持するステレオカメラ支持方法であって、
上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとを上記両メンバー間の相対関係が所定範囲内で可変であるように結合し、
上記結合によって上記物体上に支持されたステレオカメラの姿勢乃至位置を、上記ステレオカメラによって得られる映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御することを特徴とするステレオカメラ支持方法。A stereo camera supporting method for supporting a stereo camera that is configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other,
The supporting member provided on the object side on which the stereo camera is installed and the supported member provided at a predetermined portion of the stereo camera are coupled such that the relative relationship between the two members is variable within a predetermined range,
The posture or position of the stereo camera supported on the object by the connection, the contour portion at the highest level among the contours of the subject of interest in the image obtained by the stereo camera, A method of supporting a stereo camera, characterized by controlling the attitude or position of the stereo camera so that the stereo camera is positioned at or near the upper end of a frame of an image regardless of a change in relative attitude or position with respect to a target subject. 上記制御手段は、当該車両の姿勢乃至位置を検出する検出手段の検出出力を状態変数とし、且つ、上記ステレオカメラによる映像に依拠することなく制御動作を行なうように構成されたものであることを特徴とする請求項１に記載のステレオカメラ支持装置。The control means uses the detection output of the detection means for detecting the attitude or position of the vehicle as a state variable, and performs a control operation without relying on an image from the stereo camera. The stereo camera support device according to claim 1, wherein 相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する車両側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、
上記結合部材によって上記車両に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記車両の姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように、当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラシステム。A stereo camera system including a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other, comprising: a support member provided on a vehicle side on which the stereo camera is installed; A connecting member configured to support the stereo camera on the vehicle by connecting to a supported member provided at a predetermined portion of the camera such that a relative position between the two members is variable within a predetermined range. When,
Control means for controlling the attitude or position of the stereo camera supported by the vehicle by the coupling member,
The control means controls the highest level position among the contours of the subject of interest in the image with respect to an image obtained by taking an image from the imaging optical system of the stereo camera or from a viewpoint set in the vicinity thereof and taking an image of the field of view of the stereo camera. Is controlled so that the position or position of the stereo camera can be controlled so that the contour portion located at or above the upper end of the image frame or in the vicinity thereof regardless of the change in the position or position of the vehicle. A stereo camera system, characterized in that: 上記ステレオカメラによる撮影によって得られる映像情報に基づいて上記注目被写体の距離を算出する情報処理手段を更に備えたことを特徴とする請求項１４に記載のステレオカメラシステム。15. The stereo camera system according to claim 14, further comprising information processing means for calculating a distance to the subject of interest based on video information obtained by shooting with the stereo camera. 上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像を映出するためのデータを生成するように構成されたものであることを特徴とする請求項１５に記載のステレオカメラシステム。The information processing means is configured to generate data for projecting an image representing a road condition on a display means applied to the vehicle based on image information obtained by shooting by the stereo camera. The stereo camera system according to claim 15, wherein 上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された表示手段に道路の状況を表わす映像に該車両から等距離にある道路上の点群を表わす指標をスーパーインポーズ表示して映出するためのデータを生成するように構成されたものであることを特徴とする請求項１５に記載のステレオカメラシステム。The information processing means includes, on a display means applied to the vehicle based on video information obtained by photographing with the stereo camera, an image representing a road condition on an image representing a point group on a road equidistant from the vehicle. The stereo camera system according to claim 15, wherein the stereo camera system is configured to generate data for superimposing and projecting the image. 上記情報処理手段は、上記ステレオカメラによる撮影によって得られる映像情報に基づいて当該車両に適用された警告手段に警告を発報させるためのデータを生成するように構成されたものであることを特徴とする請求項１５に記載のステレオカメラシステム。The information processing means is configured to generate data for causing a warning means applied to the vehicle to issue a warning based on video information obtained by shooting with the stereo camera. The stereo camera system according to claim 15, wherein 相互に離隔した複数の視点による視差を持った複数の映像を得るようになされたステレオカメラを備えたステレオカメラシステムであって、上記ステレオカメラを設置する物体側に設けられた支持メンバーと該ステレオカメラの所定部位に設けられた被支持メンバーとが上記両メンバー間の相対位置が所定範囲内で可変であるように結合することによって当該ステレオカメラを上記車両に支持するように構成された結合部材と、
上記結合部材によって上記物体に支持されたステレオカメラの姿勢乃至位置を制御する制御手段と、を備え、
上記制御手段は、上記ステレオカメラの撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影することによって得られる映像に関して
当該映像中の注目被写体の輪郭のうち最高水準位置にある輪郭部分が、上記物体と上記撮像視野内の注目被写体との相対的姿勢乃至位置の変化によらず、映像のフレーム上端乃至その近傍に位置するように当該ステレオカメラの姿勢乃至位置を制御し得るように構成されたものであることを特徴とするステレオカメラシステム。What is claimed is: 1. A stereo camera system comprising a stereo camera configured to obtain a plurality of images having parallax from a plurality of viewpoints separated from each other, comprising: a support member provided on an object side on which the stereo camera is installed; A connecting member configured to support the stereo camera on the vehicle by connecting to a supported member provided at a predetermined portion of the camera such that a relative position between the two members is variable within a predetermined range. When,
Control means for controlling the posture or position of the stereo camera supported by the object by the coupling member,
The control means controls the highest level position among the contours of the subject of interest in the image with respect to an image obtained by taking an image from the imaging optical system of the stereo camera or from a viewpoint set in the vicinity thereof and taking an image of the field of view of the stereo camera. , The attitude or position of the stereo camera is controlled so that the contour portion located at or above the upper end of the video frame or in the vicinity thereof regardless of the change in the relative attitude or position between the object and the object of interest in the imaging field of view. A stereo camera system characterized in that the stereo camera system is configured to perform 上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向となる姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。At the time of initial movement, the control means is configured such that the center line of the field of view when the stereo camera is taken in view of the imaging field of view of the stereo camera from the imaging optical system or a viewpoint set near the imaging optical system is substantially horizontal. The stereo camera system according to claim 14, wherein the stereo camera system is configured to be controlled to a posture. 上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に前回の制御で設定された最後の状態を維持するような姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。At the time of initial movement, the control means sets the center line of the field of view when the stereo camera is taken in view of the imaging field of view of the stereo camera from the imaging optical system or a viewpoint set in the vicinity thereof, substantially in the previous control. 15. The stereo camera system according to claim 14, wherein the stereo camera system is configured to control the posture so as to maintain the set final state. 上記制御手段は、初動時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が実質的に水平方向よりも下向きになる姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。At the time of the initial movement, the control means sets the center line of the field of view of the stereo camera when taking the field of view of the stereo camera from the viewpoint set in the imaging optical system or in the vicinity thereof, substantially in the horizontal direction. The stereo camera system according to claim 14, wherein the stereo camera system is configured to control the camera to face down. 上記制御手段は、当該車両の高速走行時には、上記ステレオカメラを、その撮像光学系乃至その近傍に設定した視点から該ステレオカメラの撮像視野を見込んで撮影するときの視野の中心線が相対的に下向きになる姿勢に制御し、低速走行時には上記中心線が相対的に上向きになる姿勢に制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。When the vehicle is running at high speed, the center line of the field of view of the stereo camera is relatively small when taking a picture of the stereo camera from the viewpoint set in or near the imaging optical system. 15. The stereo camera system according to claim 14, wherein the stereo camera system is configured so as to control the posture to be downward, and to control the center line to be relatively upward when traveling at low speed. 上記制御手段は、注目すべき被写体の輪郭の最高水準部分が映像のフレームの上端を更に上方に逸脱してしまうような高い被写体に遭遇したことが認識されたときには上記ステレオカメラの姿勢を上向きに制御するよう構成されたものであることを特徴とする請求項１４に記載のステレオカメラシステム。The control means raises the attitude of the stereo camera upward when it is recognized that the highest level of the contour of the subject to be noticed has encountered a high subject that deviates further upward from the upper end of the video frame. The stereo camera system according to claim 14, wherein the stereo camera system is configured to control.
JP2003152977A 2003-05-29 2003-05-29 Device and method for stereoscopic camera supporting and stereoscopic camera system Pending JP2004354236A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003152977A JP2004354236A (en) 2003-05-29 2003-05-29 Device and method for stereoscopic camera supporting and stereoscopic camera system
PCT/JP2004/007557 WO2004106856A1 (en) 2003-05-29 2004-05-26 Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
EP04734940A EP1637836A1 (en) 2003-05-29 2004-05-26 Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
CNA2004800009551A CN1701213A (en) 2003-05-29 2004-05-26 Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
US11/169,098 US20050237385A1 (en) 2003-05-29 2005-06-28 Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003152977A JP2004354236A (en) 2003-05-29 2003-05-29 Device and method for stereoscopic camera supporting and stereoscopic camera system

Publications (1)

Publication Number Publication Date
JP2004354236A true JP2004354236A (en) 2004-12-16

Family

ID=34048065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003152977A Pending JP2004354236A (en) 2003-05-29 2003-05-29 Device and method for stereoscopic camera supporting and stereoscopic camera system

Country Status (2)

Country Link
JP (1) JP2004354236A (en)
CN (1) CN1701213A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160012023A (en) * 2014-07-23 2016-02-02 한화테크윈 주식회사 Recognition system
EP3009302A3 (en) * 2014-10-13 2016-07-13 LG Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
JP2016521473A (en) * 2013-03-13 2016-07-21 フォックス スポーツ プロダクションズ，インコーポレイティッド System and method for adjusting images for in-vehicle cameras
US10171796B2 (en) 2015-01-09 2019-01-01 Ricoh Company, Ltd. Moving body system
JP2019028633A (en) * 2017-07-28 2019-02-21 日立オートモティブシステムズ株式会社 In-vehicle environment recognition device
JP2019526101A (en) * 2016-06-29 2019-09-12 シーイング マシーンズ リミテッド System and method for identifying camera posture in a scene
US10939140B2 (en) 2011-08-05 2021-03-02 Fox Sports Productions, Llc Selective capture and presentation of native image portions
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008044911A1 (en) 2006-10-09 2008-04-17 Tele Atlas B.V. Method and apparatus for generating an orthorectified tile
JP4831374B2 (en) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 Driving support device, driving support method, and driving support program
CN101872196B (en) * 2010-05-10 2011-08-10 北京航天控制仪器研究所 Control system of vehicle-mounted pick-up stable platform
CN101872198B (en) * 2010-05-10 2012-05-23 北京航天控制仪器研究所 Vehicle-mounted pick-up stable platform
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
CN102325262B (en) * 2011-09-26 2015-10-21 比比威株式会社 Control system for stereo video camera
CN103185543B (en) * 2011-12-31 2015-11-25 上海汽车集团股份有限公司 Vehicle-mounted camera scaling method and system
JP6648411B2 (en) * 2014-05-19 2020-02-14 株式会社リコー Processing device, processing system, processing program and processing method
JP6322812B2 (en) * 2014-08-21 2018-05-16 パナソニックＩｐマネジメント株式会社 Information management apparatus, vehicle, and information management method
GB2532077B (en) * 2014-11-10 2017-11-22 Vision Rt Ltd Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
KR101629577B1 (en) * 2014-12-10 2016-06-13 현대오트론 주식회사 Monitoring method and apparatus using a camera
CN105105709B (en) * 2015-07-22 2017-10-03 南京医科大学附属口腔医院 A kind of medical three dimension surface scan system accuracy detection body die device and evaluation method
CN105654083B (en) * 2015-12-23 2019-05-03 天津天地伟业物联网技术有限公司 A kind of license plate sloped angle quick calculation method of fixed range
TWI550556B (en) * 2015-12-28 2016-09-21 A Method of Establishing Stereo Image Model by Kalman Filtering
US11074719B2 (en) 2016-05-12 2021-07-27 Cognex Corporation Calibration for vision system
WO2019038901A1 (en) * 2017-08-25 2019-02-28 株式会社ソシオネクスト Correction device, correction program, and recording medium
KR20200028485A (en) * 2017-09-08 2020-03-16 미쓰비시덴키 가부시키가이샤 Measuring device and measuring method
US11402730B2 (en) 2018-06-19 2022-08-02 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device holder with stablization
CN109238241B (en) * 2018-09-30 2021-04-20 国网智能科技股份有限公司 Vehicle-mounted automatic inspection system and inspection method for distribution line
CN109089103A (en) * 2018-10-24 2018-12-25 长沙智能驾驶研究院有限公司 Binocular camera attitude adjusting method and device, computer equipment and storage medium
CN109597407A (en) * 2018-11-12 2019-04-09 初速度（苏州）科技有限公司 Adjusting method and device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939140B2 (en) 2011-08-05 2021-03-02 Fox Sports Productions, Llc Selective capture and presentation of native image portions
US11490054B2 (en) 2011-08-05 2022-11-01 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US11039109B2 (en) 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
JP2016521473A (en) * 2013-03-13 2016-07-21 フォックス スポーツ プロダクションズ，インコーポレイティッド System and method for adjusting images for in-vehicle cameras
KR101985405B1 (en) * 2014-07-23 2019-06-03 한화디펜스 주식회사 Recognition system
KR20160012023A (en) * 2014-07-23 2016-02-02 한화테크윈 주식회사 Recognition system
US10202076B2 (en) 2014-10-13 2019-02-12 Lg Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
EP3009302A3 (en) * 2014-10-13 2016-07-13 LG Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US10171796B2 (en) 2015-01-09 2019-01-01 Ricoh Company, Ltd. Moving body system
JP2019526101A (en) * 2016-06-29 2019-09-12 シーイング マシーンズ リミテッド System and method for identifying camera posture in a scene
JP7161410B2 (en) 2016-06-29 2022-10-26 シーイング マシーンズ リミテッド System and method for identifying camera pose in scene
JP2019028633A (en) * 2017-07-28 2019-02-21 日立オートモティブシステムズ株式会社 In-vehicle environment recognition device
JP6997551B2 (en) 2017-07-28 2022-01-17 日立Astemo株式会社 In-vehicle environment recognition device

Also Published As

Publication number Publication date
CN1701213A (en) 2005-11-23

Similar Documents

Publication Publication Date Title
JP2004354236A (en) Device and method for stereoscopic camera supporting and stereoscopic camera system
CN107444263B (en) Display device for vehicle
JP6801787B2 (en) Parking support method and parking support device
KR101579100B1 (en) Apparatus for providing around view and Vehicle including the same
EP2950521B1 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
US20180217255A1 (en) Radar for vehicle and vehicle provided therewith
JP6930383B2 (en) Vehicle control device
US20190100156A1 (en) System and method for controlling a display
JP2009113621A (en) Occupant picture photographing device, and driving assisting device
US20070263301A1 (en) System and Method for Automatic Adjustment of Mirrors for a Vehicle
JPWO2017212927A1 (en) Imaging control apparatus and method, and vehicle
CN110877572A (en) Periphery monitoring device
WO2013060830A2 (en) Wading apparatus and method
JP6683185B2 (en) Information processing device, driver monitoring system, information processing method, and information processing program
WO2004110817A1 (en) System and method for automatic adjustment of mirrors for a vehicle
JP6236950B2 (en) Vehicle display device
JP7000383B2 (en) Image processing device and image processing method
JP5811623B2 (en) Vehicle monitoring device
JP2006178652A (en) Vehicle environment recognition system and image processor
JP2009100261A (en) Vehicle surrounding image supplying device, and method of correcting wide-angle image
JP2004082918A (en) Vehicular noctovision and rearview mirror
JPH06219211A (en) Image pick up device for vehicle
WO2021131481A1 (en) Display device, display method, and display program
JP2015106777A (en) Image processing system, operation support device, navigation device, and camera device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090804