JP2008046761A - 移動体画像処理システム、装置及び方法 - Google Patents

移動体画像処理システム、装置及び方法 Download PDF

Info

Publication number
JP2008046761A
JP2008046761A JP2006220047A JP2006220047A JP2008046761A JP 2008046761 A JP2008046761 A JP 2008046761A JP 2006220047 A JP2006220047 A JP 2006220047A JP 2006220047 A JP2006220047 A JP 2006220047A JP 2008046761 A JP2008046761 A JP 2008046761A
Authority
JP
Japan
Prior art keywords
image
moving body
vehicle
camera
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006220047A
Other languages
English (en)
Inventor
Hiroshi Shimoura
弘 下浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2006220047A priority Critical patent/JP2008046761A/ja
Publication of JP2008046761A publication Critical patent/JP2008046761A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

【課題】移動体を検知してドライバに情報提供する場合に、車載装置に処理負荷がかからず、容量の小さな通信回線が使用でき、ドライバが移動体を簡単に見分けることのできる移動体画像処理システムを提供する。
【解決手段】道路の近くに設置されたカメラで、道路の交通状況を撮像し、撮像された各画像(a)をエッジ抽出処理して前処理画像として路上装置から送信する。車載装置は、受信された前処理画像(b),(c)を当該車両内の画面に、点滅又は色分け表示する。原画像(a)の上に重ね合わせて表示してもよい(d)。
【選択図】図14

Description

本発明は、交差点などの見通しの悪い場所に設置したカメラで道路上の移動体(車両、二輪車、人等)を撮像し、画像を前処理して、路車間通信を通じて交差点に別の道路から進入する車両に送信し、当該車両で死角となる移動体の情報として表示することができる移動体画像処理システム、装置及び方法に関するものである。
車両の出合い頭衝突防止表示装置として、優先道路に車両感知器を設置し、当該優先道路の交差点に警告表示板を設置し、車両感知器で優先道路を走行する車両を検知したときに、前記警告表示板に警報を表示する装置がある(特許文献1参照)。これにより、交差点における出合い頭事故の可能性を予告することができる。
また、交差点にカメラを設置し、このカメラにより、死角となる直角道路から交差点に接近してくる他車両の画像を撮像し、この画像を車両に送信する装置がある(特許文献2参照)。この装置によれば、カメラから見た画像を車両内で観察することができる。
特開平5−28400号公報 特開2003−109199号公報
前記特許文献1の技術では、交差点に近づいた自車両は、警告表示板を見て優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか、などの詳しい情報はわからない。したがって、警告表示板の警報を軽視して、一旦停止をしないで進んでしまう可能性もあり、事故の防止に万全とはいえない。
前記特許文献2の技術では、交差点に近づいた自車両は、優先道路から近づいてくる他車両を画面上で認識することはできる。しかし、あくまでもカメラで撮影したそのままの画像であるので、車両の見分けが付きにくい場合がある。したがって、誤認識、錯覚の原因となる可能性がある。また、画像データをそのままリアルタイムで車両に送信するため、車載装置に処理負荷がかかり、容量の大きな通信回線も必要になる。
そこで、本発明は、車両から死角となる移動体を検知してドライバに情報提供する場合に、車載装置に処理負荷がかからず、容量の小さな通信回線が使用でき、ドライバが移動体を簡単に見分けることのできる移動体画像処理システム、装置及び方法を提供することを目的とする。
本発明の移動体画像処理システムは、道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像を当該車両内の画面に表示する表示部とを有するものである。
このシステムでは、車載装置は、前処理画像に基づいて、交差点等に進入しようとする移動体を、当該車両内の画面上に表示することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる交差点の流入道路等の移動体の走行状況を、自車両との関係で、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。画像処理装置は、カメラで撮像された各画像を前処理して送信するので、車載装置にかかる処理負荷が軽減され、通信回線の容量も小さくて済む。
前記前処理として、「背景差分」、「エッジ抽出」、「時間差分」、「オプティカルフロー」を例示することができる。いずれも、当該画像に写った移動体を抽出し、画像データの情報量を減らし、移動体のみ強調して表示することを可能とする処理である。
前記画像処理装置の送信部は、(1)移動体の写っていない背景画像データ、又は(2)前処理の基となった、移動体の写っている原画像のデータを送信するものであれば、車載装置の表示部は、前処理画像を、背景画像又は原画像に重ねて表示することができる。したがって、車両ドライバは、背景画像又は原画像に重なった前処理画像を見ることができ、現実感が増す。
前記表示部は、前処理画像を強調して表示するのが好ましい。例えば点滅、色づけなどである。
本発明の他の移動体画像処理システムは、道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有するものである。
このシステムでは、画像処理装置は、カメラで撮像された各画像情報を前処理して送信するだけでよく、前記画像処理装置から送信された前処理画像情報に基づいて当該道路を移動する移動体を認識する処理、前記認識された移動体の位置や速度を算出する処理は、前記車載装置で行うことができる。したがって、路上側の処理機能が軽減され、路上側の管理者の責任が軽減し、かつ車載装置のメーカの独自性が発揮できるため、システムの高度化が促進できるメリットがある。
前記車載装置は、前記認識された移動体が前記カメラに接近しているか遠ざかっているかを判定する判定部を有し、前記表示部は、前記判定部が接近していると判定した場合に前記移動体の位置を表示することが好ましい。このような表示をすれば、車両ドライバは、接近する移動体のみに注意を集中できる。
前記車載装置は、移動体を認識するのに最適な前処理の条件データを画像処理装置にあらかじめ送信することとしてもよい。画像処理装置は、車両から要求のあるごとに、当該車両に最適に前処理された画像データを送信することができるようになる。したがって車載装置は、移動体を認識するのに最適な条件で前処理された画像を得ることができる。
本発明の移動体画像処理装置は、道路の近くに設置され、道路の交通状況を撮像するカメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを車載装置に送信する送信部とを有するものである。
本発明の移動体画像処理方法は、カメラで道路の交通状況を撮像し、画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、前処理された画像データを送信し、車載装置は、受信された前処理画像を当該車両内の画面に表示する方法である。
本発明の他の移動体画像処理方法は、カメラで道路の交通状況を撮像し、画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、前処理された画像データを送信し、前記車載装置は、受信された前処理画像に基づいて当該道路を移動する移動体を認識する方法である。
これらの移動体画像処理装置又は方法によって、交差点等見通しの悪い場所を移動する移動体を、当該場所に進入しようとする当該車両内の画面上に表示すること、又は当該移動体を認識することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、死角となる場所の移動体の移動状況を、時々刻々と連続的に把握することができる。従って、出会い頭衝突の事故を未然に防止することができ、交差点での安全運転を支援することができる。また、前記カメラで撮像された各画像を前処理して送信するので、車載装置にかかる処理負荷が軽減され、通信回線の容量も小さくて済む。
以上のように本発明によれば、自車両から死角となる移動体をカメラで認識し、ドライバが把握しやすい情報に変換して情報提供するため、ドライバは、違和感や錯覚無く移動体を認知することが可能となる。この結果、出会い頭衝突(交差側車両との衝突)や右直(右折時の死角となる直進バイク等との衝突)の事故などを未然に防止し、交差点での安全運転を支援することができる。
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−移動体画像表示方法−
図1及び図2は、移動体画像表示方法を実施するためのカメラの配置図である。
図1では、カメラ3を、建物が密集した交差点4に配置し、図2では、建物が密集したカーブ5に配置している。いずれも、通行車両にとって、見通しの悪い場所にカメラ3を配置している。カメラの設置場所は、電柱、陸橋、歩道橋、ビル等、地上設備上の任意の場所でよい。
カメラ3の撮像方向は、交差点4にカメラ3を設置した場合、当該交差点4への、監視対象とする1本の流入路の方向である。カーブ5にカメラ3を設置した場合は、当該カーブ5から見たいずれかの方向の道路である。
交差点4が4本の流入路を持つ場合、各流入路を監視対象とするためには、各流入路を向いた4台のカメラ3を設置するとよい。しかし、すべての流入路にカメラ3を設置できなくても、少なくとも1本の流入路にカメラ3を向けることができれば、当該流入路を監視できることになる。
カーブ5についても同様で、当該カーブ5から見た両方向にカメラ3を設置するとよいが、少なくとも1方向にカメラ3を向けることができれば、当該方向の道路を監視できることになる。
以下、交差点4の1本の流入路にカメラ3を配置した図1の構成を例にとって、移動体画像表示方法を説明する。
図3は、道路座標系とカメラ座標系との相対関係を示す座標図である。
道路(背景)の座標系を(X,Y,Z)、カメラ3の座標系を(X′,Y′,Z′)とし、原点はともにカメラ3のレンズ中心とする。
道路座標系は、監視対象である道路方向をY軸(前方向を正)、これと直角な道路面上の方向をX軸(右方向を正)、路面と垂直な方向をZ(上方を正)とする。
またカメラ座標系は、カメラ3の光軸をY′軸、これに垂直な平面上のカメラ3の右方向をX′軸、カメラ3の上方向をZ′軸とする。
さらに、カメラ3座標軸の道路座標軸に対する回転角(カメラ3の姿勢)を、それぞれθ(ピッチ角)、φ(ロール角)、ψ(ヨー角)とし、全て右ねじの進む方向を正(θ:水平面より上向きが正、φ:右回りが正、ψ:左回りが正)とする。θ、φ、ψはいずれも既知とする。
このとき道路座標系とカメラ座標系との変換式は、次の式で表現できる。
ここで、行列の各要素は、次のとおりである。
11=cos φcos ψ−sin θsin φsin ψ
12=cos φsin ψ+sin θsin φcos ψ
13=−cos θsin φ
21=−cos θsin ψ
22=cos θcos ψ
23=sin θ
31=sin φcos ψ+sin θcos φsin ψ
32=sin φsin ψ−sin θcos φcos ψ
33=cos θcos φ
図4は、カメラ3の画像面を示す図であり、右方向をx軸、上方向をy軸とする。x軸は前記X′軸と一致し、y軸は前記Z′軸と一致する。
このとき、カメラ座標系の点(X,Y,Z)は、カメラ3の画像面上の点(x,y)に次のように変換される。fはレンズの焦点距離である。Hを路面からカメラ3までの高さとする。
x=f・X′/Y′ (1)
y=f・Z′/Y′ (2)
前記カメラ3の角度θ、φ、ψ、焦点距離f、高さHを「カメラパラメータ」という。
いま、監視対象であるカメラ3の前方の道路に移動体Cが存在するとする。移動体Cは、歩行者、二輪車、自動車など動くものなら何でもよい。
移動体Cの特徴点に注目する。例えば、移動体Cが四輪自動車であるとすると、前輪の2つのタイヤに注目する。前輪の2つのタイヤの道路接地点同士を結んだ線分の中心を「移動体Cの特徴点」とする。
移動体Cが二輪車であれば、前輪のタイヤの道路接地点を「移動体Cの特徴点」とする。歩行者であれば、両足の道路接地点同士を結んだ線分の中心を「移動体Cの特徴点」とする。
移動体Cの特徴点は道路接地面に存在するので、その高さZは、−Hである。
移動体Cの特徴点を道路座標系で表せば、(X,Y,−H)となる。
これを前記行列式に代入すれば、X′,Z′,Y′をそれぞれX,Yで表すことができる。さらに、前記レンズ変換式(1)(2)を用いれば、カメラ3の画像面上の点x,yをX,Yで表すことができる。
言い換えれば、カメラパラメータが分かり、カメラ3の撮像画像から車両を認識して切り出すことにより、移動体Cの特徴点の撮像画像上の座標(x0,y0)が得られたとすれば、これに基づいて方程式(1)(2)を解いて、移動体Cのカメラ3からの相対位置X,Yを算出することができる。なお、移動体Cの位置を、経緯度表現による絶対位置で表すこともできる。
また、相対位置X,Y又は絶対位置の時間変化に基づいて、移動体の移動方向、速度を算出することもできる。
以上のように移動体Cの位置が特定できれば、移動体Cの位置を画面上に表示することができる。
図5は、前記移動体Cの位置を道路図形と重ねて表示した場合の画面図である。例えば車載テレビジョンや車載ナビゲーション装置の画面14を用いる。この画面14には、自車両Aの位置とともに、交差点4を含む実際の道路地図が表示されている。前記移動体Cの位置を、この道路上に表示する。なお、車両が道路上を走行することを前提としたマップマッチング技術を用いれば、移動体Cの位置を道路上に、より正確に表示することができる。このように、移動体Cの位置を道路図形と重ねて表示することにより、当該車両のドライバは、移動体の位置を道路に関連付けて正確に把握することができる。
前記移動体Cの特徴点を、車載テレビジョン画面や、車載ナビゲーション装置の画面14に3次元表示された道路図形の上に投影することもできる。この前提として、車載装置7は、3次元表示可能な道路図形のデータベースを持っているか、あるいは地上装置から取得可能な状態にある必要がある。
図6は、画面14に3次元表示された道路図形に、前記移動体の位置を重ねて投影した状態を示す画面図である。車両Aは、交差点4に向かって走行中である。画面14には、自車両Aの前方にある交差点4が写されていて、交差点4に近づく移動体Cが表示されている。ドライバは、画面14を見れば、交差点4に近づくこの移動体Cを認識することができる。実際、移動体CがビルディングBの陰になっている場合でも、移動体Cは表示可能である。移動体Cの位置を3次元表示された道路図形と重ねて表示するので、当該車両のドライバは、移動体の位置と、その動きを道路に関連づけてさらにリアルに把握することができる。
自車両Aのドライバは、この画面14を見て、前記移動体Cと自車両Aとの相対位置関係を把握することができる。この処理を繰り返して行い、表示を更新していけば、当該車両のドライバは、移動体Cの移動状況を、時々刻々と連続的に把握することができる。
実際の移動体Cが建物の陰に隠れていても、画面14には移動体Cが存在するかのように映るので、ドライバは、移動体Cが次の交差点4に現れることを予想できる。
従って、交差点4での出会い頭衝突事故が起こらないように減速などすることができる。
以上のように移動体Cの位置が特定できれば、次に、ドライバの視点Eから移動体Cを見た場合の、移動体Cが見える方向を算出することもできる。
以下、単純化するために、場所が直角交差点であるとし、移動体Cの位置座標X,Yの、X座標値を0とおく。自車両Aの位置X,Yの、Y座標値も0とおく。また自車両Aの走行方向は、−X方向であるとする。
図7は、自車両Aと移動体Cとの位置関係を表す平面図である。
自車両Aのドライバの視点Eとカメラ3との距離をXa、移動体Cの特徴点とカメラ3との距離をYbとしている。
距離Xaは、自車両Aにおいて後述するように検出可能であり、距離Ybは前述したように撮像画像から求めることができる。したがって、ドライバの視点Eから見た移動体Cの方向Tが決定でき、ドライバの視点Eから見た移動体Cが見える水平角度αが決定できる。ドライバの視点Eから移動体Cまでの距離Wも算出できる。このように、移動体Cの方向Tを特定し、前記特定された方向Tに基づいて、移動体の位置を当該車両内の画面に表示することができるので、車内のドライバは、移動体Cがどの位置にあり、どのような動きをしているかを、直感的に把握することができる。
なお、移動体Cの位置と自車両Aの位置とを、経緯度表現した場合であっても、ドライバの視点Eから見た移動体Cが見える水平角度α、ドライバの視点Eから移動体Cまでの距離Wは、算出できる。
図8は、方向Tを横軸、路面と垂直な方向Zを縦軸にとった場合の座標図である。ドライバの視点Eの地上からの高さをhとする。このhは、運転席の椅子の高さやドライバの座高に基づいて決まるが、ドライバにより変わるため、システムとしては平均的な数値を入れておき、使用時にマンマシン操作で容易に変更できるようにしておけばよい。
ドライバの視点Eから移動体Cまでの距離Wは前述したように算出できる。移動体Cの特徴点は、道路接地面に存在する。したがって、ドライバの視点Eから見た移動体Cを見下ろす角度βを算出することができる。
以上のようにして求められた角度α、βに基づいて、ドライバの視点Eから移動体Cがどのように見えるかを決定することができる。ドライバの視点を基準として、前記移動体の位置を表示することができるので、ドライバは、目の前で見ているかのようにして移動体の動きを把握できる。
以上の検討では、単純化するために、交差点4は、直角交差点であるとしたが、直角でなくともよい。移動体Cの位置X,Yの座標値は0でなくてもよく、自車両Aの位置X,Yの座標値も0でなくてもよい。このように一般化した場合の自車両A、カメラ3、移動体Cを含む平面図を、図9に示す。
図9では、自車両Aのドライバの視点Eの座標を(Xa,Ya)、移動体Cの特徴点の座標を(Xb,Yb)としている。また自車両Aの走行方向をPで表している。自車両Aの走行方向Pとドライバの視点Eの座標(Xa,Ya)は、後述するように検出可能である。ドライバの視点Eとカメラ3との距離は√(Xa2+Ya2)、移動体Cの特徴点とカメラ3との距離は√(Xb2+Yb2)となる。
このような一般的な場合であっても、図7、図8を用いて解説した前記幾何学的考察を当てはめて、ドライバの視点Eから見た移動体Cが見える水平角度α、ドライバの視点Eから見た移動体Cを見下ろす角度βを算出することができる。
次に、車両A内のヘッドアップディスプレイの画面で、移動体Cの画像を作り出すことを試みる。なお、ヘッドアップディスプレイ表示には、車両のフロントガラスとは別に用意した表示板に表示する場合や、フロントガラスに直接表示する場合が含まれる。以下、フロントガラスに直接表示する場合を想定して説明する。
図10は、フロントガラスの画面u,vを表す画面図である。横方向をu、縦方向をvにとっている。ドライバの視点Eとフロントガラスとの距離は既知であり、あらかじめ設定できる。ドライバの視点Eから移動体Cの特徴点までの方向α、βが分かっているので、移動体Cの特徴点をフロントガラスの画面上の点u0,v0に投影することができる。この投影点(u0,v0)が決まれば、その点を基準にして、一定の移動体C′を作画することができる。移動体C′をヘッドアップディスプレイに重ねて表示することにより、ドライバは、運転中視線を大きく動かさなくても、移動体を認識することができる。
また、移動体Cが建物や樹木のために隠れて見えないときでも、この作画された移動体C′がフロントガラスに写るので、ドライバの注意を引くことができ、衝突の危険性を避けることができる。
実際に移動体Cがフロントガラスから見えている場合は、移動体Cとこの作画された移動体C′とが重なって見えるが、ドライバの注意を引くためには、好ましいと考える。
−移動体画像処理システム−
次に、本発明の移動体画像処理システムの構成を説明する。
図11は、移動体画像処理システムの全体構成を示す概念図である。移動体画像処理システムは、カメラ3と、画像処理装置6aと、車載装置7とを含む。
カメラ3は、前述したように、交差点4、カーブ5など見通しの悪いところに配置されている。その高さ、姿勢、倍率(若しくは焦点距離)は、固定されているか、あるいは所望の値に設定可能となっている。
画像処理装置6aは、カメラ3で周期的に繰り返して撮像した画像データを前処理してその処理結果データ(前処理画像データという)を送信する装置である。なお「前処理」の内容は後述する。
画像処理装置6aは、カメラ3と同じ筐体に収納されていてもよく、別の筐体に収納されていてもよい。別の筐体に収納されている場合は、カメラ3と通信回線で結ばれている。前処理画像データの送信媒体は、車載装置7に送信することを考慮すれば、無線あるいは光が適当である。光ビーコン等によるスポットの路車間通信でもよいが、無線LAN等の路車間通信が、通信範囲が広くなるのでさらに望ましい。変調方式や符号化方式は、任意である。
画像処理装置6aから車載装置7に送られるデータは、前記前処理画像データの他に、時刻データ、カメラ3の位置データ、カメラパラメータのデータ、交差点形状のデータなどがある。
交差点形状のデータを送信すれば、車載装置は、この情報に基づいて車内の画面に当該場所の形状を表示することができるので、ドライバは移動体と出会うことが予想される交差点の様子を事前に把握できる。よって一層の危険防止を図ることができる。
カメラ3の位置は、例えば次のような方法(1)又は(2)によって設定する。
(1)カメラ3の取り付け前の調査で把握し、予め画像処理装置6aに記憶させておく。
(2)GPS(Global Positioning System)受信装置を利用して位置を検出する。カメラ3の設置位置は、一度設置されるとほぼ動くことがないので、GPSの検出位置精度を向上させるため、過去の検出データ平均値を用いたり、CEP(Circular Error Probable,確率誤差円、位置検出の信頼度、自乗平均誤差の約2倍)の良好な時点の検出データの平均値を用いたりしてもよい。
時刻データは、時刻タイマーを持っていても、長い年月の間には時刻ずれが発生し得る。このため、GPSや電波時計により正確な時刻を得て、定期的に補正してもよい。また他の装置との通信で正確な時刻を入手して補正してもよい。
図12は、画像処理装置6aの処理内容、及び画像処理装置6aから車載装置7に各種データを送信するスケジュールを示すフローチャートである。
画像処理装置6aは、一定の処理周期になれば(ステップU1)、カメラ3から撮像画像のデータを取得する(ステップU2)。
次に、車載装置7との通信が確立しているかどうかチェックし(ステップU3)、確立していれば、車載装置7から前処理をするのに必要な条件データを取得する(ステップU4)。これは、車載装置7が移動体を認識するのに最適な条件データを画像処理装置6aに送ってくる場合を考慮しているからである。例えば、エッジ抽出するのに必要な二値化しきい値のデータがある。この移動体の認識処理において、車載装置7からあらかじめ、車載装置7において移動体を認識するのに最適な条件データを画像処理装置6aに送っていれば、車載コンピュータ16は、画像処理装置6aからその条件データを用いて前処理された画像を取得し、その前処理画像に基づいて移動体を認識することができるので、移動体の認識精度が向上する。
画像処理装置6aは、取得した条件を使って、撮像画像に基づいて当該車両のための前処理を行う(ステップU5)。車載装置7が何も条件データを送ってこないときは、画像処理装置6aは、記憶しているデフォルトの条件データを使って、撮像画像に基づいて前処理を行う。
この前処理とは、画像に写った移動体を抽出するための処理であり、本発明の実施の形態では、「背景差分」「エッジ抽出」「時間差分」「オプティカルフロー」の各処理をいう。
「背景差分」は、原画像と移動体のない時(平常時)の道路の撮像画像(背景画像)との差分をとることにより行う。差分をとった後、二値化してもよい。これで移動体のみを抽出することができる。
「エッジ抽出」は、原画像又は背景差分画像を微分・二値化処理して輪郭を先鋭にする処理である。移動体の特徴・輪郭のみを抽出することができる。
「時間差分」は、時間前後の画像どうしを比較する処理であり、移動体の動きの情報を得るための処理である。移動する物体のみを抽出することができる。
「オプティカルフロー」は、移動体の移動方向を特定する処理である。
以下、前処理前と前処理後の画像の例を説明する。
図13(a)は、画像処理装置6aで得られる移動体の写っていない背景画像の例を示し、図13(b)は、画像処理装置6aで得られる移動体の写っている原画像の例を示す。図13(c)は、両画像を引き算することにより背景差分をとった画像を示す。この背景差分画像のデータが車載装置7に送られる。
図14(a)は、画像処理装置6aで得られる原画像の例を示し、図14(b)は、画像処理装置6aで得られるエッジ画像の例を示す。図13(c)は車線上のみのエッジ画像を選択した画像を示す。このエッジ画像又は車線上のエッジ画像が車載装置7に送られる。
図15(a)は、画像処理装置6aで得られる処理時刻tにおける原画像の例を示し、図15(b)は、画像処理装置6aで得られる次の処理時刻t+1における原画像の例を示す。図15(c)は時間差分をとった例を示す。この時間差分画像が車載装置7に送られる。
図16(a)は、画像処理装置6aで得られる遠ざかる移動体を撮影した原画像の例を示し、図16(b)は、移動体のオプティカルフローを示す。オプティカルフローはベクトルの形態となる。
図17(a)は、画像処理装置6aで得られる近づく移動体を撮影した原画像の例を示し、図17(b)は、移動体のオプティカルフロー(ベクトル)を示す。
画像処理装置6aは、前処理画像データ(「背景差分」「エッジ抽出」「時間差分」「オプティカルフロー」の各処理を行った画像のデータ)、に対して、必要ならば二値化処理を行う(ステップU6)。この二値化により車載装置7に送信するデータ量を削減することができる。そして、前処理画像データとともに、撮像時刻、カメラのパラメータ、交差点形状などのデータを車載装置7に送信する(ステップU7)。また、原画像データや背景画像データを同時に送信するようにしてもよい。
次に図11を参照して車載装置7の構成を説明する。車載装置7は、画像処理機能やマンマシン機能を持った車載コンピュータ16、電波時計11、位置方位検出装置12、通信装置13、ディスプレイ14、スピーカ15等で構成される。
前記通信装置13は、画像処理装置6aから送られてくるデータを受信するものであり、復調方式や復号化方式は、画像処理装置6aのものに対応している。
電波時計11は、現在時刻を知るものであるが、時計に限られない。画像処理装置6aから時刻データが送られてくるのであれば、この時刻データを参照してもよいし、この他GPS、放送媒体、公衆通信媒体などから時刻が分かるのであれば、これを参照してもよい。
位置方位検出装置12は、当該車両の位置と方位を検出するための装置である。なお、車載装置7の位置検出は、例えばGPSを利用する。GPSを利用する以外にも、車両が道路上を走行することを前提としたマップマッチング、車載搭載センサ等、車載ナビゲーションで使用される諸技術を利用してもよい。また、直前で交信した路側装置、例えば光ビーコンから絶対位置を取得し、これと自車両の距離計を利用して、現在位置を検出してもよい。なお位置の表現は、経緯度による絶対的表現と、交差点からの距離のような相対的表現があり、どちらを利用してもよい。
さらに、車両の位置とともに、車両の方位を検出する。この車両の方位は、地磁気方位センサ、ジャイロセンサなど車載ナビゲーションで使用される技術を利用可能である。また、現在の位置と直近に検出した位置との差分をとることにより、方位を検出してもよい。
ディスプレイ14には、図形表示可能なフロントディスプレイ、車載テレビジョン画面、車載ナビゲーション装置の画面を利用する。車載テレビジョン画面、車載ナビゲーション装置の画面を「モニター画面」という。
フロントディスプレイ14は、画像投影装置を用いて、運転席の近くのガラスに、図形等の画像を表示することができるものである。車両のフロントガラスに図形等の画像を表示する技術は公知である(特開平8-108773号公報参照)。
スピーカ15は、交差点4などでの出会い頭衝突事故を予知した場合に、ドライバにアナウンスするためのものである。
車載コンピュータ16は、画像処理装置6aから送られてくるデータに基づいて、移動体の存在を認識し、その位置・速度を算出し、自車両との出会い頭衝突の可能性を判定し、表示用、音声出力用のデータを作成する。
以下、車載コンピュータ16の機能を、フローチャート(図18)に基づいて詳細に説明する。
図18は、車載コンピュータ16が、移動体を認識し、移動体の位置、速度、方向等を算出して移動体を車内のディスプレイ14に表示する処理の流れを示すフローチャートである。
車載コンピュータ16は、一定の処理周期になれば(ステップV1)、画像処理装置6aとの通信が確立しているかどうかを確認し(ステップV2)、確立していれば、画像処理装置6aから、撮像時刻、前処理画像、カメラ3の位置、カメラパラメータ、交差点形状などのデータを受信する(ステップV3)。原画像、背景画像が送信されてくれば、これも一緒に受信する。
次に、前処理画像に基づいて移動体を認識する(ステップV4)。この移動体の認識は、画像処理装置6aから送られてくるエッジ抽出画像(図14(b),(c)参照)に現れる輪郭、又は画像処理装置6aから送られてくる背景差分画像(図13(c)参照)に現れる差分画像等に基づいて移動体の部分を切り出し、その特徴点を特定する。以上の移動体認識処理の詳細は、例えば特開昭62-126499号公報参照。
そして、前記移動体画像表示方法で説明したように、カメラ3の撮像画像内の移動体Cの特徴点の座標(x0,y0)に基づいて、移動体の位置を算出する。
また、時間差分画像(図15(c)参照)に基づいて、若しくは複数の移動体の位置が分かる場合これらの位置の軌跡に基づいて移動体の速度・移動方向を算出する(ステップV5)。例えば一処理周期あたりの移動体の移動距離を処理周期で割れば速度が求まる。
なお、この算出された移動体の位置は、カメラ撮像時の位置であるため、厳密に言えば、ディスプレイ14で移動体を表示する時点の位置とずれが生じる。そのため、移動体表示時刻の位置を、カメラ撮像時の位置に基づいて推定する必要があるので、その推定処理を説明する。
移動体の位置のX座標を、簡単のため0とおき、Y座標だけで議論する。移動体表示時刻をtとする。
移動体表示時刻tの位置Yは、過去に得られた複数の位置データ(ti,Yi)(tは時刻、iは整数を表す)を用いて、以下の方法で推定する。
(a)1次式を利用した例
Y=at+b
で推定する。係数a,bは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数aに基づいて当該移動体の速度Vを算出し、直前のデータ(t0,Y0)と時間遅れ(t−t0)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t−t0) で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
(b)2次式を利用した例
Y=at2+bt+c
で推定する。係数a,b,cは、過去のデータから線形回帰や最小自乗法で算出可能である。前記係数a,bに基づいて、移動体の速度Vと加速度Aを算出し、直前のデータ(t0,Y0)と時間遅れ(t−t0)とから、移動体表示時刻tの位置Yを、Y=Y0+V(t−t0)+A(t−t0)2/2 で算出する。なお直前のデータの変わりに、過去のデータの平均値等を基準としてもよい。
このようにして、移動体表示時刻における移動体の位置を推定することができる。
以上の推定処理を用いれば、画像処理装置の処理時間、通信時間、車載装置7への提供タイミング等の遅れを補償するために、入手した移動体の複数の位置データから、遅れ時間分を考慮して表示時点での移動体の位置を推定できるため、より正確な位置情報取得が可能となる。
次に、オプティカルフローに基づいて、当該切り出された移動体がカメラ3に向かって接近しているのか遠ざかっているのかを判定する(ステップV6)。近づく移動体であれば、近づく方向の表示用矢印(図17(b)参照)を作成し、遠ざかる移動体であれば、遠ざかる方向の表示用矢印(図16(b)参照)を作成する。
なお、遠ざかる移動体であれば、以後の処理を中断してもよい。交差点から遠ざかっている移動体は無視すれば、処理するデータ量が半減する。よって処理の迅速化につながる。
次に、移動体の種類を判別する(ステップV7)。移動体の種類判別は、例えばテンプレートを適用して行う。なお、前記移動体の種類としては、車両、二輪車、人の別があり、車両の場合はバス、トラック、セダン型乗用車、ワゴン型乗用車などがある。
次に、移動体表示時刻における移動体の位置に基づいて、移動体の、自車両Aのフロントガラスへの表示、又はモニター画面への表示を行う。
フロントガラスへの表示を行う場合は(ステップV8でYES)、前述したように、ドライバの視点Eから移動体までの方向α、βが分かるので、その方向をフロントガラスへ投影することによって表示することができる(ステップV10)。表示図形の形は、前記車種を判別するのに用いたテンプレートを参考にして行う。例えばテンプレートがバスであれば、バスの形をした図形を表示する。図形の大きさも、自車両から移動体までの距離Wと、標準的なバスの大きさを参考にして、実際に見たような大きさとなるように設定する。
モニター画面への表示を行う場合は(ステップV11でYES)、図5に示したように、交差点4を含むナビゲーション用の平面道路地図の上に表示することができる。この場合、移動体Cの位置は、交差点形状とともに、そのまま道路地図上に表示される(ステップV12,V13)。また、図6に示したように、立体道路地図と重ねてもよい。
このようなフロントガラスあるいはモニター画面への表示をすれば、移動体の算出位置と自車両位置が、時々刻々変化するため、ドライバは、出会い頭衝突の危険度が分かり易い。
次に、オプションとして、移動体が車両や二輪車の場合、現在の走行速度を続けた場合に交差点4に到着する時間tsと、安全余裕度dtとを基にして、自車両が、時間ts−dtからts+dtの範囲に交差点4に到達してしまう走行速度の範囲(「走行速度の危険範囲」という)を求め、自車速度と共に表示することが好ましい。
移動体の速度をv1,移動体から交差点4までの距離をs1、交差点4への到達時間tsとすると、
ts=s1/v1
となる。また自車両の危険速度をv2,交差点4までの距離をs2とすると、
ts−dt≦s2/v2≦ts+dt
を満たすv2の範囲が、走行速度の危険範囲となる(ステップV14)。
本表示は、図19に示すように、自車両の速度表示用のパネル上で行ってもよい(ステップV15)。図19で、"K"で示した範囲が走行速度の危険範囲に相当する。ドライバは、自車両の速度が危険範囲に入っていれば、速度を変更するなどして、衝突を回避することができる。
なお上式では、安全余裕度を時間dtで定義したが、距離で定義してもよい。また速度のみを用いて定式化したが、加速度も考量して定式化してもよい。
また、自車両が走行速度危険範囲内に入っている場合には、スピーカ15から音声で警告してもよい(ステップV16)。
移動体が自転車や人の場合には、走行速度危険範囲を求めなくても、移動体の交差点4までの距離に応じて警告をしてもよい。
次に、車載装置7において、画像処理装置6aから送信され受信された前処理画像をそのまま表示する他の実施形態に係る処理を説明する。
この処理では、図11に示した車載装置7の移動体の認識、位置算出処理は必ずしも必要でない。また、画像処理装置6aから送信された時刻データ、カメラ3の位置データ、カメラパラメータのデータ、交差点形状のデータなどの受信も必ずしも必要でない。
図20は、車載コンピュータ16が、受信した前処理画像を表示する処理の流れを示すフローチャートである。
車載コンピュータ16は、一定の処理周期になれば(ステップW1)、画像処理装置6aとの通信が確立しているかどうかを確認し(ステップW2)、確立していれば、画像処理装置6aから、前処理画像のデータを受信する(ステップW3)。
前処理画像のデータを受信した場合に、この前処理画像をディスプレイ14に表示する(ステップW4)。
この場合、移動体の表示態様は、図13(c)のような背景差分画像のみの表示、図14(b)若しくは図14(c)のようなエッジ画像のみの表示、又は図15(c)のような時間差分画像のみの表示となる。また、これらの画像に、図16,図17のようなオプティカルフローを重ねた表示となる。このような最小限の情報を表示しても、ドライバは接近する移動体を認識できるので、出会い頭衝突防止の目的を十分に達することができる。
なお、画像処理装置6aから車載装置7に送られるデータとして、背景差分をとる時に使う平常時の撮像画像(背景画像という)のデータや、前処理の基となった移動体の写っている画像(原画像という)のデータを含めてもよい。
背景画像や原画像が車載装置7に送られる場合、車載装置7において、前記前処理画像を背景画像や原画像に重ね合わせ表示することが可能である。
図13(d)は背景差分画像を背景画像に重ね合わせた表示例を示す。さらに図14(d)はエッジ画像を原画像に重ね合わせた表示例を示す。図15(d)は時間差分画像を原画像に重ね合わせた表示例を示す。図16(c)、図17(c)はオプティカルフローを原画像に重ね合わせた表示例を示す。
重ねて表示する場合、前処理画像を点滅させてもよく、前処理画像に特定の色づけを行ってもよい。これにより、ドライバの注意をさらに強く引きつけることができる。
このように、前処理画像を背景画像や原画像に重ね合わせ表示することにより、データ量は重くなり、データ通信回線の通信容量を増やさなければならなくなるが、車載装置7で移動体の表示を行うときに実際に近いリアルな表示を行うことができる。背景画像や原画像のデータを送らない場合は、車載装置7で移動体の表示を行うときに簡略化された表示になるが、データ通信回線に負担をかけることは少なくなる。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、カメラ3の設置位置として、図1では交差点4、図2ではカーブ5上の位置を例示した。これらは終日見通しの悪い場所である。しかし、普段見通しがよい場所でも、他車両の陰になってしまうと見通しが悪くなり、事故が起こりやすくなる場所がある。例えば、図21に示したような、右折待ち車両Fの陰になる対向車線17がある。このような場合、図21に示すように対向車線17を見渡すことができる位置にカメラ3aを設置するとよい。本発明の方法により、カメラ3aの撮像画像に基づいて、右折待ち車両Fの陰になった移動体Gの映像を、自車両の画面に表示することとすれば、出会い頭の事故を防ぐことができる。
なお以上の実施形態では、単眼カメラ3の場合であるが、勿論ステレオカメラ3でもよい。
また、対象とする画像処理装置6aは、必ずしも1台ではなく、複数存在してもよい。また同じ道路にカメラ3を複数設置し、複数の撮像データを利用することにより、移動体の位置算出の精度を高めてもよい。
また移動体が、同一道路に複数存在する場合には、全てを情報提供の対象としてもよいし、先頭の移動体に限定してもよい。
その他、本発明の範囲内で種々の変更を施すことが可能である。
移動体画像表示方法を実施するためのカメラの道路配置図である。 移動体画像表示方法を実施するためのカメラの道路配置図である。 道路座標系及びカメラ座標系の座標図である。 カメラ3の画像面を示す図である。 移動体Cの位置を平面的な道路図形と重ねて表示した場合の画面図である。 3次元表示された道路図形に、前記移動体の位置を重ねて表示した状態を示す画面図である。 自車両Aと、検出された移動体Cとの位置関係を表す平面図である。 移動体の見える方向Tを横軸、路面と垂直な方向Zを縦軸にとった場合の座標図である。 自車両A、カメラ、移動体Cを含む平面図である。 フロントガラスの画面u,vを表す画面図である。 移動体画像処理システムの全体構成を示す概念図である。 画像処理装置6aから車載装置7に各種データを送信するスケジュールを表したフローチャートである。 本発明の移動体画像処理システムの背景差分に基づく画像例を示す図である。 本発明の移動体画像処理システムのエッジ抽出に基づく画像例を示す図である。 本発明の移動体画像処理システムの時間差分に基づく画像例を示す図である。 遠ざかる移動体を撮影した画像例を示す図である。 接近する移動体を撮影した画像例を示す図である。 車載コンピュータ16の行う、移動体を認識し、移動体の位置、速度、方向等を算出して移動体を車内のディスプレイ14に表示する処理の流れを示すフローチャートである。 走行速度の危険範囲Kが表示された自車両の速度表示用のパネルを示す図である。 車載コンピュータ16の行う、前処理画像を表示する処理の流れを示すフローチャートである。 右折待ち車両Fの陰になる対向車線17を見渡すことができる位置にカメラ3aを設置した例を示す平面図である。
符号の説明
3,3a カメラ
4 交差点
5 カーブ
6a 画像処理装置
7 車載装置
11 電波時計
12 位置方位検出装置
13 通信装置
14 ディスプレイ、画面
15 スピーカ
16 車載コンピュータ
17 対向車線

Claims (10)

  1. 移動体を車両内の画面に表示するための移動体画像処理システムであって、
    道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、
    前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、
    前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像を当該車両内の画面に表示する表示部とを有することを特徴とする移動体画像処理システム。
  2. 前記前処理は、「背景差分」、「エッジ抽出」、「時間差分」、「オプティカルフロー」から選ばれる何れか1つ以上の処理である請求項1記載の移動体画像処理システム。
  3. 前記画像処理装置の送信部は、移動体の写っていない背景画像データ、又は前処理の基となった、移動体の写っている原画像のデータを送信するものであり、
    前記表示部は、前処理画像を、背景画像又は原画像に重ねて表示するものである請求項1記載の移動体画像処理システム。
  4. 前記表示部は、前処理画像を強調して表示する請求項1又は請求項3記載の移動体画像処理システム。
  5. 移動体を車両内の画面に表示するための移動体画像処理システムであって、
    道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像情報を送信する画像処理装置と、車載装置とを備え、
    前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを送信する送信部とを有し、
    前記車載装置は、受信部と、前記画像処理装置から送信され前記受信部で受信された前処理画像に基づいて当該道路を移動する移動体を認識し、前記認識された移動体の位置を算出する演算部と、前記算出された移動体の位置を、前記車両内の画面に表示する表示部とを有するものであることを特徴とする移動体画像処理システム。
  6. 前記車載装置は、前記認識された移動体が前記カメラに接近しているか遠ざかっているかを判定する判定部を有し、前記表示部は、前記判定部が接近していると判定した場合に前記移動体の位置を表示するものである請求項5記載の移動体画像処理システム。
  7. 前記車載装置は、移動体を認識するのに最適な前記前処理の条件データを前記画像処理装置にあらかじめ送信する請求項5記載の移動体画像処理システム。
  8. 道路の近くに設置され、道路の交通状況を撮像するカメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行う前処理部と、前処理された画像データを車載装置に送信する送信部とを有することを特徴とする移動体画像処理装置。
  9. 道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像を取得する画像処理装置と、車載装置とを利用して、移動体を車両内の画面に表示するための移動体画像処理方法であって、
    前記カメラで道路の交通状況を撮像し、
    前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、
    前処理された画像データを送信し、
    前記車載装置は、受信された前処理画像を当該車両内の画面に表示することを特徴とする移動体画像処理方法。
  10. 道路の近くに設置され、道路の交通状況を撮像するカメラと、前記カメラで撮像された各画像を取得する画像処理装置と、車載装置とを利用して、移動体を車両内の画面に表示するための移動体画像処理方法であって、
    前記カメラで道路の交通状況を撮像し、
    前記画像処理装置は、前記カメラで撮像された各画像に基づいて、当該画像に写った移動体を抽出するための前処理を行い、
    前処理された画像データを送信し、
    前記車載装置は、受信された前処理画像に基づいて当該道路を移動する移動体を認識することを特徴とする移動体画像処理方法。
JP2006220047A 2006-08-11 2006-08-11 移動体画像処理システム、装置及び方法 Pending JP2008046761A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006220047A JP2008046761A (ja) 2006-08-11 2006-08-11 移動体画像処理システム、装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006220047A JP2008046761A (ja) 2006-08-11 2006-08-11 移動体画像処理システム、装置及び方法

Publications (1)

Publication Number Publication Date
JP2008046761A true JP2008046761A (ja) 2008-02-28

Family

ID=39180467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006220047A Pending JP2008046761A (ja) 2006-08-11 2006-08-11 移動体画像処理システム、装置及び方法

Country Status (1)

Country Link
JP (1) JP2008046761A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249399A1 (en) * 2011-03-31 2012-10-04 Honda Motor Co., Ltd Image processing determining apparatus
WO2019163212A1 (ja) * 2018-02-22 2019-08-29 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
JP2020190903A (ja) * 2019-05-21 2020-11-26 キヤノン株式会社 画像処理装置および画像処理方法およびプログラム
JPWO2021166169A1 (ja) * 2020-02-20 2021-08-26
JP2022542204A (ja) * 2019-07-31 2022-09-30 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム
WO2023144988A1 (ja) * 2022-01-28 2023-08-03 株式会社やまびこ 作業ロボットシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215294A (ja) * 1993-01-13 1994-08-05 Mitsubishi Electric Corp 交差点情報伝達装置
JPH0773400A (ja) * 1993-09-03 1995-03-17 Hitachi Ltd 道路状況認識システム
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215294A (ja) * 1993-01-13 1994-08-05 Mitsubishi Electric Corp 交差点情報伝達装置
JPH0773400A (ja) * 1993-09-03 1995-03-17 Hitachi Ltd 道路状況認識システム
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102729824A (zh) * 2011-03-31 2012-10-17 本田技研工业株式会社 图像处理判定装置
US8855365B2 (en) 2011-03-31 2014-10-07 Honda Motor Co., Ltd Image processing determining apparatus
US20120249399A1 (en) * 2011-03-31 2012-10-04 Honda Motor Co., Ltd Image processing determining apparatus
WO2019163212A1 (ja) * 2018-02-22 2019-08-29 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
JPWO2019163212A1 (ja) * 2018-02-22 2021-03-18 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
JP7243707B2 (ja) 2018-02-22 2023-03-22 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
JP7329964B2 (ja) 2019-05-21 2023-08-21 キヤノン株式会社 画像処理装置および画像処理方法およびプログラム
JP2020190903A (ja) * 2019-05-21 2020-11-26 キヤノン株式会社 画像処理装置および画像処理方法およびプログラム
JP2022542204A (ja) * 2019-07-31 2022-09-30 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム
US11928800B2 (en) 2019-07-31 2024-03-12 Tencent Technology (Shenzhen) Company Limited Image coordinate system transformation method and apparatus, device, and storage medium
JPWO2021166169A1 (ja) * 2020-02-20 2021-08-26
JP7380824B2 (ja) 2020-02-20 2023-11-15 日本電信電話株式会社 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム
WO2023144988A1 (ja) * 2022-01-28 2023-08-03 株式会社やまびこ 作業ロボットシステム

Similar Documents

Publication Publication Date Title
JP4277217B2 (ja) 接近移動体表示装置、システム及び方法、並びに衝突情報提供装置及び方法
JP4311420B2 (ja) 接近移動体表示装置、システム及び方法
JP7188394B2 (ja) 画像処理装置及び画像処理方法
US11531354B2 (en) Image processing apparatus and image processing method
WO2016186039A1 (ja) 自動車周辺情報表示システム
JP4311426B2 (ja) 移動体を表示するための表示システム、車載装置及び表示方法
JP3214122B2 (ja) 危険状況警報装置
US20200329215A1 (en) Imaging control device and method, and vehicle
CN109733283B (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11590985B2 (en) Information processing device, moving body, information processing method, and program
JP2008217813A (ja) 衝突情報提供装置及び方法
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN113544757B (zh) 信息处理装置、信息处理方法,以及移动体装置
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
JP2008041058A (ja) 死角移動体を報知するための報知システム、画像処理装置、車載装置及び報知方法
JP2008046761A (ja) 移動体画像処理システム、装置及び方法
JP2017126213A (ja) 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
JP2008059609A (ja) 接近移動体表示装置、システム及び方法
CN114207685B (zh) 自主车辆交互系统
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102718382B1 (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 이동체 장치
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN118765409A (zh) 信息处理设备、信息处理方法及移动体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111013