JP2002056377A - 画像認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 カメラから物体までの距離を認識し、複数の
物体が撮影されている画像から用途に応じた所望の物体
の画像を抽出する画像認識装置を提供することである。 【解決手段】 物体分割部１２は、ＣＣＤカメラ１１で
撮影した画像から対象物体（同系色の集合部分）毎に画
像データを分割してオブジェクトデータ記憶部１３に記
憶する。遠近判断部１４は、対象物体毎に遠近を判断
し、その判断結果を対象物体毎の画像データに付加す
る。フレーム構成部１５は、カメラ１１の近くに位置す
る物体の画像データから近景フレームを構成し、カメラ
１１から遠くに位置する物体の画像データから遠景フレ
ームを構成する。フレーム合成部１６は、使用目的設定
部１７に設定された使用目的に応じて、これらのフレー
ムの表示優先度を変更し、１つのフレームに合成して出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数台のカメラで
撮影した画像を基に対象物体を認識する画像認識装置に
関し、特に車両に搭載して危険物などを検知するセンサ
として利用可能な画像認識装置に関する。

【０００２】

【従来の技術】近年、デジタル技術の急速な進歩に伴っ
て、デジタルカメラ等の撮像装置が小型化及び高性能化
されている。また、撮像装置によって取り込んだ画像を
認識する画像認識装置が種々の分野で使用されるように
なった。自動車分野でも、画像認識装置を使用して車両
走行時の安全性をより一層向上しようとする試みがなさ
れている。例えば、車両にＣＣＤカメラを搭載し、危険
物などを検知するセンサ（以下、危険検知センサとい
う）として利用することが提案されている。

【０００３】ところで、ＣＣＤカメラで対象物体を撮影
しようとすると、対象物体よりも手前にある障害物によ
り対象物体の情報が欠落してしまうことがある。例え
ば、図１に示すようにカメラ１で家２を撮影する場合
に、家２の手前にある木３も同時に撮影される。当然な
がら、木３によって隠された家２の部分は撮影されず、
その部分の家のデータが欠落することとなる。

【０００４】障害物によるデータの欠落を回避する方法
として、従来から、複数台のカメラを使用し、それらの
カメラで撮影した画像を合成することによって欠落部分
を補う方法が知られている。特開平１１−２７２８５５
号には、障害物を画像から除去する方法として、撮影条
件をかえて撮影することが提案されている。この方法で
は、例えば２台のカメラを相互に離隔して配置し、それ
らのカメラで撮影した２つの画像の差分をとって、一方
の画像から差分の画像を削除し、その部分に他方の画像
の対応部分を合成している。

【０００５】

【発明が解決しようとする課題】特開平１１−２７２８
５５号に開示された方法では、障害物がカメラの近傍に
ある場合には障害物を画像から削除することができる。
このため、この方法は風景の撮影には有効であるもの
の、上記したような車両の危険検知センサとしては使用
することはできない。

【０００６】危険検知センサでは、例えば車両の前に飛
び出した歩行者など、カメラの近くの物体を認識するこ
とが重要であるとともに、遠くの道路標識等を認識する
必要もあるので、車両の近くの物体の画像及び遠くの物
体の画像を必要に応じて適宜に抽出することが要求され
る。以上から本発明の目的は、カメラから物体までの距
離を認識し、複数の物体が撮影されている画像から用途
に応じた所望の物体の画像を抽出する画像認識装置を提
供することである。

【０００７】また、本発明の他の目的は、車両用の危険
検知センサとして使用可能な画像認識装置を提供するこ
とである。

【０００８】

【課題を解決するための手段】上記した課題は、複数台
のカメラと、各カメラにより撮影された画像から対象物
体毎に画像データを分割する対象物体分割部と、各対象
物体までの距離を判断する距離判断部と、前記対象物体
の画像データ毎に前記距離判断部の判断結果を付加して
記憶するオブジェクトデータ記憶部とを有することを特
徴とする画像認識装置により解決する。

【０００９】本発明においては、複数台のカメラにより
撮影された映像から対象物体毎に画像データを分離す
る。このとき、例えば色の違いによって各対象物体毎に
画像データを分離する。また、距離判断部によって、対
象物体毎に距離を判断し、その結果を対象物体毎の画像
データに付加して、オブジェクトデータ記憶部に記憶し
ておく。

【００１０】このように、本発明においては、対象物体
毎に画像データを分割し、各画像データに距離判断結果
を付加しておくので、用途に応じてこれらの画像データ
から必要な画像データのみを抽出して出力することがで
きる。本発明においては、更にフレーム構成部及びフレ
ーム合成部を設けておいてもよい。フレーム構成部で
は、距離判断部の判断結果に基づき対象物体の画像デー
タを複数のグループに分けて、各グループ毎にフレーム
を構成する。例えば、カメラの近くに位置する対象物体
の画像データにより近景フレームを構成し、遠くに位置
する対象物体の画像データにより遠景フレームを構成す
る。フレーム合成部では、用途に応じてこれらのフレー
ムの表示優先度を変更し、１つのフレームに合成する。
これにより、使用目的に応じて近くに位置する物体のみ
の画像、遠くに位置する物体のみの画像、及び一方のフ
レームを優先し他方のフレームと合成した画像をディス
プレイに適宜表示することができる。

【００１１】

【実施の形態】以下、本発明の実施の形態について、添
付の図面を参照して説明する。図２は本発明の実施の形
態の画像認識装置の構成を示すブロック図である。本実
施の形態の画像認識装置は、複数台のカメラ１１と、物
体分割部１２と、オブジェクトデータ記憶部１３と、遠
近判断部（距離判断部）１４と、フレーム構成部１５
と、フレーム合成部１６と、使用目的設定部１７とによ
り構成され、使用目的に応じた画像データ１８がフレー
ム合成部１６から出力される。

【００１２】カメラ１１は、例えば車両の前部に車幅方
向に相互に離隔して配置されている。従って、これらの
カメラ１１から物体までの視角は相互に異なり、一方の
カメラでは手前の物体に隠れて撮影されない部分が、他
方のカメラでは撮影できる場合がある。これらのカメラ
１１から出力された画像信号は物体分割部１２に入力さ
れる。物体分割部１２では、例えば２台のカメラにより
撮影された画像の差分をとり、一方のカメラの画像から
差分部分の画像を削除し、他方のカメラの画像の対応部
分を合成することにより、手前の物体で隠された部分の
画像データを補う。

【００１３】また、物体分割部１２では、撮影された画
像を対象物体毎の画像データに分割する。ここで、対象
物体とは、同系色の集合部分をいう。対象物体毎の画像
の分割は、次の２つのステップを経てなされる。（１）
減色カメラ１１で撮影した画像を減色処理する。例え
ば、カメラ１１から出力されるＲ（赤色）、Ｇ（緑色）
及びＢ（青色）の各８ビットのフルカラー画像を２５６
色の画像に減色処理する。

【００１４】（２）対象物体毎の画像データの切り出し 減色処理された画像から対象物体毎の画像データを切り
出す。画像データの切り出し方法を以下に説明する。減
色処理された画像から同系色の画素の集合を抽出してグ
ループ化する。例えば、図３に示す道路標識（車両進入
禁止）の例では、中央の白い矩形の部分（以下、白色グ
ループ２１）と、その周囲の赤色の部分（以下、赤色グ
ループ２２）と、外側縁部の白色の部分（以下、白色グ
ループ２３）とにグループ化される。これらの色によっ
て分けられた各グループをそれぞれ対象物体の画像デー
タとしてオブジェクトデータ記憶部１３に記憶する。

【００１５】但し、本実施の形態では、物体分離部１２
に交通標識のデータが記憶されており、これらの交通標
識のデータとのマッチングをとって、カメラによって撮
影された画像から交通標識を認識することができる。そ
の方法については、本願発明者が先に出願した画像一致
判定装置（特願２０００−８２４８４号）の明細書内に
て詳述しているが、以下に簡単に説明する。

【００１６】図３に示す例では、グループ２１，２２，
２３の３つの色グループに分けられる。画像一致判定装
置では、各色グループ毎の面積（画素数）が計算され、
各色グループ毎の輪郭（他の色グループとの境界部分の
画素）及び形状が抽出される。次に、各色グループの隣
接状態を求める。ここでは、白色グループ２１は赤色グ
ループ２２のみに隣接し、赤色グループ２２は白色グル
ープ２１，２３に隣接し、白色グループ２３は赤色グル
ープ２２のみに隣接している。これらの隣接状態を数値
化して記憶する。

【００１７】次に、各色グループの面積を正規化する。
例えば赤色グループ２２の面積を１とし、他の色グルー
プ２１，２２の面積を面積比で表す。一方、物体分割部
１２には、交通標識のデータベースとして、各交通標識
毎に、色グループ、各色グループの形状、隣接状態及び
正規化面積が記録されている。このデータベース内のデ
ータと、カメラ１１で撮影した画像から抽出した色グル
ープ毎の形状、隣接状態及び正規化面積のデータとを比
較して一致又は不一致を判定する。一致したものについ
ては交通標識として認識し、ナビゲーション装置等にそ
の交通標識のもつ意味に応じた信号が出力される。

【００１８】なお、上記の例は交通標識の認識方法の一
例であるが、他の方法で交通標識又はその他の物体を認
識をしてもよい。このようにして、オブジェクトデータ
記憶部１３には、対象物体（認識された交通標識等の物
体及びその他の色グループ）毎の画像データが記憶され
る。遠近判断部１４では、対象物体毎に遠近を判断し
て、その判断結果を対象物体毎の画像データに付加す
る。例えば、道路標識のような既知の物体については、
データの大きさ（各色グループの面積）から距離を算出
することができる。それ以外の対象物体については、公
知のステレオ法（例えば、新技術コミュニケーションズ
出版社のコンピュータビジョン（技術評論と将来展
望）、第123 頁第８章「ステレオ視」を参照）や、カメ
ラの自動焦点設定機構を利用して、対象物体までの距離
を検出することができる。なお、本実施の形態では、各
対象物体までの距離を正確に検出する必要はなく、少な
くとも２つのグループ（近くに位置する物体と遠くに位
置する物体）に分ければよい。

【００１９】オブジェクトデータ記憶部１３には、この
ようにして対象物体毎に、距離判断部１４による判断結
果が付加された画像データが記憶される。フレーム構成
部１５では、遠近判断部１４の判断結果に基づいて複数
のフレームを構成する。この例では、近くに位置する物
体の画像データにより近景フレームを構成し、遠くに位
置する物体の画像データにより遠景フレームを構成す
る。フレーム合成部１６は、使用目的設定部１７に設定
された使用目的に応じて、これらのフレームの優先度を
変えてフレームを合成する。すなわち、遠景フレームの
み、近景フレームのみ、又は遠景フレームと近景フレー
ムとを合成したフレームのいずれかを出力する。

【００２０】例えば、図４に示すように、２台のカメラ
１１ａ，１１ｂで物体３１〜３５を撮影したとする。こ
の例では、カメラ１１ａにより物体３１，３３，３５が
撮影され、カメラ１１ｂにより物体３１，３２，３４が
撮影されたとする。物体分割部１２では、これらのカメ
ラ１１ａ，１１ｂにより撮影された画像から、物体３１
〜３５のそれぞれの画像データを分離する。遠近判断部
１４では、これらの物体３１〜３５の遠近を判断する。
ここでは、物体３２，３３が車両の近傍に位置し、物体
３１，３４，３５が車両から遠くに位置していると判断
されたものとする。フレーム構成部１５は、物体３２，
３３の画像データにより近景フレームを構成し、物体３
１，３４，３５の画像データにより遠景フレームを構成
する。

【００２１】また、例えば、図５（ａ）に示すような画
像が撮影されたとする。この画像では、手前の木４１、
車両４２、遠方の木４３、交通標識４４が撮影されてい
る。カメラからこれらの対象物までの距離が、手前の木
４１、車両４２、遠方の木４３、交通標識４４の順番で
遠くなっている。遠近判断部１４により、これらの対象
物までの距離が各画像データにそれぞれ付加されてオブ
ジェクトデータ記憶部１３に記憶される。フレーム合成
部１６では、手前優先の画像を得る場合は図５（ｂ）に
示すように手前の物体の画像を優先してフレームを合成
し、奥優先の画像を得る場合には図５（ｃ）に示すよう
に遠方の物体の画像を優先してフレームを合成する。

【００２２】このように、本実施の形態では、複数台の
カメラで撮影した画像から対象物体毎の画像データを分
離し、対象物体毎の画像データに遠近判断部１４による
遠近判断結果を付加してオブジェクトデータ記憶部１３
に記憶しておくので、用途に応じた画像を表示すること
ができる。また、２台のカメラで物体を異なる角度から
撮影しているので、手前の物体により隠された部分のデ
ータを補うことが可能である。

【００２３】これにより，本実施の形態の画像認識装置
を車両の危険検知センサとして使用することが可能にな
る。以下、本実施の形態の画像認識装置を危険検知セン
サに適用した例について説明する。ここでは、画像認識
装置と車載用ナビゲーション装置とが接続されているも
のとする。

【００２４】例えば、図６に示すように、本実施の形態
の画像認識装置を搭載した車両５１が、片側２車線の道
路の第２レーン（道路中央側）を走行しているとする。
第１のカメラ１１ａには第１レーンの歩行者５２や道路
標識５３が撮影され、第２のカメラ１１ｂでは街路樹５
４などが撮影される。画像認識装置には、手前のオブジ
ェクトとして第１レーンの歩行者５２及び街路樹５４が
認識され、これにより近景フレームが構成される。ま
た、遠方のオブジェクトとして道路標識等５３が認識さ
れ、これにより遠景フレームが構成される。

【００２５】ユーザが例えば使用目的設定部１７に設け
られた「手前」ボタンを押すと、画面に近景フレーム、
すなわち第１レーンの歩行者５２及び街路樹５４が表示
される。また、ユーザが使用目的設定部１７に設けられ
た「遠方」ボタンを押すと、画面に遠景フレーム、すな
わち道路標識５３等が表示される。画像認識装置に接続
されたナビゲーション装置は、使用目的設定部１７を制
御して一定時間毎に遠方フレームと近景フレームとを切
替えている。そして、車両が第１レーンに近づいたとき
は、車両左側の物体（歩行者５２）を検知して、危険物
近接の警報をだす。また、速度制限の道路標識５３を認
識し、車両がその速度以上で走行しているときは速度オ
ーバーの警報をだす。

【００２６】このように、本実施の形態の画像認識装置
では、複数台のカメラにより撮影した画像から対象物体
毎に遠近を判断して、判断結果を対象物体毎の画像デー
タに付加する。これにより、目的に応じて遠景のみ又は
近景のみの画像データを出力したり、危険を察知してア
ラームを鳴らすなど、危険検知センサとして使用するこ
とができる。従って、本実施の形態の画像認識装置によ
れば、交通事故をより一層確実に予防することができ
る。

【００２７】

【発明の効果】以上説明したように、本発明によれば、
複数台のカメラにより撮影された画像から対象物体毎に
画像データを分割する対象物体分割部と、各対象物体ま
での距離を判断する距離判断部と、対象物体の画像デー
タごとに距離判断結果を付加して記憶するオブジェクト
データ記憶部とを有しているので、目的に応じた対象物
体のみの画像データを抽出することができる。これによ
り、車両に搭載し危険を検知する危険検知センサが実現
され、交通事故の予防に多大の貢献をなす。

【図面の簡単な説明】

【図１】図１は従来の問題点を示す図である。

【図２】図２は本発明の実施の形態の画像認識装置の構
成を示すブロック図である。

【図３】図３は対象物体毎の画像データの切り出し方法
の説明に使用した交通標識の一例を示す図である。

【図４】図４は遠景フレーム及び近景フレームの構成方
法を示す模式図である。

【図５】図５は使用目的に応じた画像の出力例を示す図
である。

【図６】図６は本発明の画像認識装置を危険検知センサ
として使用した例を示す模式図である。

【符号の説明】

１１，１１ａ，１１ｂ…カメラ、 １２…物体分割部、 １３…オブジェクトデータ記憶部、 １４…遠近判断部、 １５…フレーム構成部、 １６…フレーム合成部、 １７…使用目的設定部、 １８…画像データ。

フロントページの続き Ｆターム(参考） 5B057 AA06 AA16 BA02 CA13 CB13 CE08 CE09 CE16 DA06 DA08 DC25 5C054 AA01 CA04 CC02 CD03 CH01 EA01 EH00 FA00 FC01 FC12 FE09 FF03 GA00 GB02 HA30 5H180 CC04 LL01 LL06

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数台のカメラと、 各カメラにより撮影された画像から対象物体毎に画像デ
   ータを分割する対象物体分割部と、 各対象物体までの距離を判断する距離判断部と、 前記対象物体の画像データ毎に前記距離判断部の判断結
   果を付加して記憶するオブジェクトデータ記憶部とを有
   することを特徴とする画像認識装置。
2. 【請求項２】 更に、前記オブジェクトデータ記憶部に
   記憶された前記対象物体毎の画像データを前記距離判断
   部の判断結果に応じて複数のグループに分け、各グルー
   プ毎の画像データを合成してフレームを構成するフレー
   ム構成部と、前記フレーム構成部で構成された複数のフ
   レームを、用途に応じて優先順位を変えて合成するフレ
   ーム合成部とを有することを特徴とする請求項１に記載
   の画像認識装置。
3. 【請求項３】 前記対象物体分割部は、色に基づいて前
   記対象物体毎に画像データを分割することを特徴とする
   請求項１に記載の画像認識装置。
4. 【請求項４】 前記対象物体分割部は、予め記憶されて
   いるデータとのマッチングにより対象物体を認識するこ
   とを特徴とする請求項１に記載の画像認識装置。