JP2012208111A - 画像表示装置及び制御方法 - Google Patents
画像表示装置及び制御方法 Download PDFInfo
- Publication number
- JP2012208111A JP2012208111A JP2011265524A JP2011265524A JP2012208111A JP 2012208111 A JP2012208111 A JP 2012208111A JP 2011265524 A JP2011265524 A JP 2011265524A JP 2011265524 A JP2011265524 A JP 2011265524A JP 2012208111 A JP2012208111 A JP 2012208111A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- obstacle
- control unit
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【課題】実写画像に基づき案内表示を行う際に、好適に障害物を透過して表示可能な画像表示装置を提供する。
【解決手段】画像表示装置は、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、移動体の現在位置を示す情報を取得する現在位置取得手段と、現在位置が、移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、信号機が見える位置であると判定され、かつ、取得された画像に信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、画像処理が施された画像を表示させる表示制御手段と、を備える。
【選択図】図4
【解決手段】画像表示装置は、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、移動体の現在位置を示す情報を取得する現在位置取得手段と、現在位置が、移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、信号機が見える位置であると判定され、かつ、取得された画像に信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、画像処理が施された画像を表示させる表示制御手段と、を備える。
【選択図】図4
Description
本発明は、移動体から撮影された画像に基づき情報を表示する技術に関する。
従来から、ナビゲーション装置などで地図を表示する際、一部の表示を半透明化する技術が知られている。例えば、特許文献1には、地図情報に基づき生成した3次元の地図を表示する際に、車−車間通信に基づき他の車両を隠す建築物があると判断した場合、当該建築物を半透明の画像で表示する技術が開示されている。また、特許文献2には、地図データに基づいて、道路および立体的な建物の画像を表示させ、ウィンカがオンされたことを検出すると、前方の道路形状に基づいて、立体的な建物の画像を透過的に表示させる透過表示領域を定め、その領域の建物の画像を透過的に表示させる技術が開示されている。
カメラで撮影した実写画像に基づき案内表示を行う場合、運転上必要な信号機の表示や、歩行者などの注目すべき物(危険物)の表示が、障害物によって隠れてしまう場合がある。
本発明は、上記のような課題を解決するためになされたものであり、実写画像に基づき案内表示を行う際に、好適に障害物を透過して表示可能な情報表示装置を提供することを主な目的とする。
請求項1に記載の発明は、画像表示装置であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、前記移動体の現在位置を示す情報を取得する現在位置取得手段と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、前記画像処理が施された画像を表示させる表示制御手段と、を備えることを特徴とする。
請求項4に記載の発明は、画像表示装置が実行する制御方法であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、前記移動体の現在位置を示す情報を取得する現在位置取得工程と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、前記画像処理が施された画像を表示させる表示制御工程と、を有することを特徴とする。
請求項4に記載の発明は、画像表示装置が実行する制御方法であって、移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、前記移動体の現在位置を示す情報を取得する現在位置取得工程と、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、前記画像処理が施された画像を表示させる表示制御工程と、を有することを特徴とする。
本発明の好適な実施形態によれば、情報表示装置は、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段と、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段と、を有する。
第一取得手段は、移動体の現在位置から所定の方向を撮影した実写画像を取得する。特定手段は、実写画像に含まれる第一撮影対象のうち、所定の方向に対して死角を形成している障害物を特定する。第二取得手段は、障害物が無い場合に、第一取得手段が取得できる第二撮影対象の画像を取得する。表示制御手段は、第二撮影対象の画像に基づいて、障害物を透過させて実写画像を表示手段に表示させる。このようにすることで、情報表示装置は、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
上記の情報表示装置の一態様では、前記表示制御手段は、前記第一取得手段により取得された実写画像に透過処理を施し、透過画像を生成する透過画像生成手段を備え、前記透過画像と前記第二撮影対象の画像を重ねて表示することで、前記障害物を透過させる。この態様により、情報表示装置は、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
上記の情報表示装置の一態様では、前記第二取得手段は、前記第一取得手段が前記実写画像を取得した時とは異なるタイミングで前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
上記の情報表示装置の一態様では、前記第二撮影対象の画像は、前記移動体又は他の移動体により撮影された画像であり、前記第二取得手段は、前記第二撮影対象の画像を記憶するサーバ装置から、前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
上記の情報表示装置の一態様では、前記障害物が形成する死角に存在する運転上注意すべき危険物を特定する危険物特定手段と、前記危険物を表す表示を決定する危険物表示決定手段と、をさらに備え、前記表示制御手段は、透過された前記障害物の表示に、前記危険物表示決定手段が決定した前記危険物を表す表示を重畳させることを特徴とする。ここで、「危険物」とは、運転上注意すべき対象として予め定められたものであって、例えば、歩行者、動物、荷物などの能動的又は受動的に動く物体を指す。このようにすることで、情報表示装置は、障害物に隠れた危険物を明確に表示させ、注意喚起を促すことができる。
上記の情報表示装置の一態様では、前記危険物特定手段は、前記危険物の種類を特定し、前記表示危険物表示決定手段は、前記危険物の種類に基づき、前記危険物を表す表示を決定する。これにより、情報表示装置は、障害物に隠れた危険物を運転者により容易に特定させることができる。
本発明の他の実施形態によれば、情報表示装置により実行される制御方法であって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得工程と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定工程と、前記障害物が無い場合に、前記第一取得工程が取得できる第二撮影対象の画像を取得する第二取得工程と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御工程と、を備える。情報表示装置は、この制御方法を用いることで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
本発明のさらに別の実施形態によれば、情報表示装置により実行されるプログラムであって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段、として前記情報表示装置を機能させる。情報表示装置は、このプログラムを搭載して実行することで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
以下、図面を参照して本発明の好適な第1実施例乃至第3実施例について説明する。以後では、「危険物」とは、運転上注意すべきものを指し、例えば、歩行者、動物、荷物などの能動的又は受動的に動くものを指す。また、「静的障害物」とは、建物などの地図データに登録されている可動性のある障害物を指し、「動的障害物」とは、地図データに登録されている可能性がない車両などの可動性のある障害物を指す。
[システム構成]
図1は、本発明の各実施例に共通した情報表示システムの概略構成を示す。なお、以下に説明する実施例は、本発明の情報表示装置を車両のナビゲーション装置に適用した例である。
図1は、本発明の各実施例に共通した情報表示システムの概略構成を示す。なお、以下に説明する実施例は、本発明の情報表示装置を車両のナビゲーション装置に適用した例である。
図1に示すように、情報表示システムは、サーバ装置1と、複数の車両(ここでは、車両2、車両2A、車両2B)と、インターネットなどの通信網5と、を有する。
サーバ装置1は、複数の車両と通信可能に構成され、各車両で撮影された画像(「リファレンス画像Iref」とも呼ぶ。)を管理する。具体的には、サーバ装置1は、リファレンス画像データベース(以下、データベースを「DB」と表記する。)10を備え、各車両から送信された撮影画像を、リファレンス画像Irefとして記憶する。このとき、好適には、サーバ装置1は、各車両から送信された撮影画像のうち、動的障害物が表示されていない撮影画像のみを、リファレンス画像Irefとしてリファレンス画像DB10に記憶する。このように、リファレンス画像Irefは、本発明における「第二撮影対象の画像」の一例である。
また、リファレンス画像DB10は、各リファレンス画像Irefを、その撮影位置及び撮影方向の情報と関連付けて記憶する。そして、サーバ装置1は、車両2からの要求に基づき、リファレンス画像Irefを車両2に送信する。
車両2は、フロントカメラ27と、バックカメラ28と、ナビゲーション装置20とを備える。フロントカメラ27は、車両2に搭載され、車両2の進行方向を撮影する位置に設置される。フロントカメラ27は、撮影した画像(「カメラ画像If」とも呼ぶ。)をナビゲーション装置20へ出力する。
同様に、バックカメラ28は、車両2に搭載され、車両2の後進方向を撮影する位置に設置される。バックカメラ28は、撮影した画像(「カメラ画像Ib」とも呼ぶ。)をナビゲーション装置20へ出力する。カメラ画像If、Ibは、本発明における「実写画像」の一例である。
ナビゲーション装置20は、記憶部21と、制御部22と、無線通信部23と、GPS受信機24と、表示部25と、を備える。
記憶部21は、制御部22の制御に必要な情報を記憶する。記憶部21は、地図DB210を備える。地図DB210は、ナビゲーション装置20による地図表示や経路案内などの処理に必要な地図情報を記憶している。
無線通信部23は、通信網5を通じてサーバ装置1と通信するための通信処理を実行する。通常、無線通信部23は、携帯電話、携帯型端末装置などの通信機能を利用し、無線通信によりサーバ装置1と通信する。
GPS受信機24は、複数のGPS衛星等から受信した緯度及び経度情報等から車両2の絶対的な位置(現在位置)を検出する。そして、GPS受信機24は、取得した現在位置の情報を制御部22へ一定又は不定の周期で送信する。
表示部25は、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
制御部22は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を含んでおり、ナビゲーション装置20全体を制御する。また、制御部22は、画像処理エンジンを備え、カメラ画像If、Ibの画像処理を行う。そして、制御部22は、カメラ画像If、Ib及びリファレンス画像Irefを用いて、表示部25に表示させる画像(以後、「表示画像Iv」とも呼ぶ。)を生成する。そして、制御部22は、本発明における「第一取得手段」、「特定手段」、「第二取得手段」、「表示制御手段」、「透過画像生成手段」、「危険物特定手段」、及び「危険物表示決定手段」として機能する。
[第1実施例]
第1実施例では、概略的には、制御部22は、死角を形成する動的障害物をカメラ画像Ifから検出した場合、当該動的障害物を半透明化し、死角部分に存在する信号機等の所定の対象物を視認可能にした表示画像Ivを生成する。これにより、制御部22は、制御部22は、動的障害物の死角にある信号機などを表示させ、利便性を向上させる。
第1実施例では、概略的には、制御部22は、死角を形成する動的障害物をカメラ画像Ifから検出した場合、当該動的障害物を半透明化し、死角部分に存在する信号機等の所定の対象物を視認可能にした表示画像Ivを生成する。これにより、制御部22は、制御部22は、動的障害物の死角にある信号機などを表示させ、利便性を向上させる。
これについて、図2及び図3を参照して説明する。図2(a)は、所定の場所を走行中に生成されたカメラ画像Ifの一例を示す。図2(b)は、図2(a)と同一の場所又はその近傍で同一方向に向けて撮影されたリファレンス画像Irefの一例を示す。
まず、制御部22は、カメラ画像Ifから、信号機の表示を妨げる動的障害物があることを検出する。ここでは、制御部22は、図2(a)に示すカメラ画像Ifから、トラック41を動的障害物として特定したものとする。
ここで、動的障害物の特定方法について補足説明する。例えば、制御部22は、地図データに基づき、現在位置が、信号機が見える位置であると判断した場合、カメラ画像Ifから信号機をパターンマッチングなどの手法により検出する。そして、カメラ画像Ifから信号機を検出できた場合、動的障害物がないと判断する。一方、制御部22は、カメラ画像Ifから信号機を検出できなかった場合、動的障害物があると判断し、信号機が表示されると推定される部分を含む領域を、動的障害物の表示領域とする。他の例では、制御部22は、カメラ画像Ifを近接した類似画素ごとに領域分割し、空や道路以外の領域であって、所定画素以上を含む領域を、動的障害物の表示領域と特定する。
次に、制御部22は、リファレンス画像Irefの要求情報をサーバ装置1に送信し、図2(a)に示すカメラ画像Ifに対応するリファレンス画像Iref(図2(b)参照)をサーバ装置1から受信する。ここで、上述の要求情報は、GPS受信機24により特定した現在位置の情報と、カメラ画像Ifの撮影方向(即ち、車両2の進行方向)の情報とを含む。
そして、制御部22は、カメラ画像Ifと、当該リファレンス画像Irefとに基づき、トラック41に半透明化処理(透過処理)を施した表示画像Ivを生成する。トラック41を半透明化する画像処理方法については、後述する図4のフローチャートを用いて具体的に説明する。
図3は、図2(a)に示すカメラ画像If及び図2(b)に示すリファレンス画像Irefに基づき生成された表示画像Ivの一例である。なお、図3以降では、便宜上、斑点が付された領域は、半透明部分を示すものとする。
図3に示す表示画像Ivでは、トラック41が半透明化されていることにより、トラック41の死角に存在した信号機51が表示されている。このように、動的障害物を半透明化した表示画像Ivを生成し、表示部25に表示させることで、ナビゲーション装置20は、運転を好適に補助することができる。
図4は、第1実施例で制御部22が実行する処理手順を示すフローチャートの一例である。制御部22は、図4に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
まず、制御部22は、カメラ画像Ifから動的障害物を検出する(ステップS101)。次に、制御部22は、サーバ装置1からリファレンス画像Irefを取得する(ステップS102)。具体的には、制御部22は、カメラ画像Ifの撮影方向である進行方向と現在位置との情報をサーバ装置1へ送信することで、カメラ画像Ifに対応するリファレンス画像Irefをサーバ装置1から受信する。
次に、制御部22は、カメラ画像Ifの半透明化処理を行う(ステップS103)。言い換えると、制御部22は、カメラ画像Ifに透過処理を施し、透過画像を生成する。具体的には、制御部22は、画像処理エンジンにより、所定の透明度を有するように、カメラ画像Ifの全画素値を変更する。上述の透明度は、例えば、実験等に基づき、表示画像Ivを生成した際の視認性等を勘案して予め定められる。
そして、制御部22は、リファレンス画像Irefと、半透明化したカメラ画像Ifとを合成した表示画像Ivを生成する(ステップS104)。言い換えると、制御部22は、リファレンス画像Irefと、半透明化したカメラ画像Ifとを重畳させた表示画像Ivを生成する。これにより、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示した表示画像Ivが生成される。
次に、制御部22は、表示画像Ivを表示部25に表示させる(ステップS105)。これにより、ナビゲーション装置20は、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示させ、運転を好適に補助することができる。
[第2実施例]
次に、第2実施例について説明する。概略的には、第2実施例では、制御部22は、第1実施例に代えて、又はこれに加えて、動的障害物により一部の表示が妨げられている危険物をカメラ画像Ibから検出した場合、当該動的障害物を半透明化して表示すると共に、当該動的障害物の表示上に、当該危険物に相当する表示を重畳させる。これにより、制御部22は、危険物の存在を表示画像Iv上で明確に表示し、好適に運転者の注意喚起を行う。
次に、第2実施例について説明する。概略的には、第2実施例では、制御部22は、第1実施例に代えて、又はこれに加えて、動的障害物により一部の表示が妨げられている危険物をカメラ画像Ibから検出した場合、当該動的障害物を半透明化して表示すると共に、当該動的障害物の表示上に、当該危険物に相当する表示を重畳させる。これにより、制御部22は、危険物の存在を表示画像Iv上で明確に表示し、好適に運転者の注意喚起を行う。
これについて、図5、図6を参照して具体的に説明する。図5は、第2実施例において、制御部22が実行する処理手順を示すフローチャートの一例である。図6は、図5のフローチャートの処理を具体的に示す概要図である。なお、図6は、縦列駐車を行う場合に撮影されたカメラ画像Ibを対象とした処理の具体例を示す。図6に示すカメラ画像Ibには、停車車両42と、停車車両42により一部非表示となっている歩行者43と、歩行者43に抱えられた荷物44と、が表示されている。
まず、制御部22は、カメラ画像Ibから動的障害物を検出する(ステップS201)。ここでは、図6(a)に示すように、制御部22は、カメラ画像Ibから動的障害物として停車車両42を検出する。例えば、制御部22は、この場合、カメラ画像Ibと同一位置かつ同一方向から撮影されたリファレンス画像Irefをサーバ装置1から取得し、当該リファレンス画像Irefと、カメラ画像Ibとを比較する。そして、制御部22は、カメラ画像Ibで表示された停車車両42がリファレンス画像Irefにはないと判断し、当該停車車両42を動的障害物に定める。このように、制御部22は、カメラ画像Ibとリファレンス画像Irefとを比較し、リファレンス画像Irefには表示されていないものを動的障害物に定める。
次に、制御部22は、動的障害物に一部隠れた危険物を検出したか否か判定する(ステップS202)。例えば、制御部22は、時系列で得られたカメラ画像Ibから、動的障害物の表示領域の近傍に動く物体が存在するか否か判定し、当該物体が存在する場合、当該物体を危険物とみなす。ここでは、図6(a)に示すように、制御部22は、停車車両42が形成する死角に存在する荷物44を抱えた歩行者43を、危険物とみなす。また、このとき、制御部22は、例えば周知の画像認識技術に基づき、歩行者43の顔等の表示部分から、危険物が人であることを特定する。
そして、制御部22は、動的障害物に一部隠れた危険物を検出したと判断した場合(ステップS202;Yes)、動的障害物の半透明化処理を行う(ステップS203)。例えば、制御部22は、第1実施例と同様、所定の透明度を有するようにカメラ画像Ibの半透明化処理を行い、さらに当該カメラ画像Ibにリファレンス画像Irefを重畳させる。これにより、図6(b)に示すように、停車車両42が半透明化される。一方、制御部22は、動的障害物に一部隠れた危険物を検出しなかった場合(ステップS202;No)、フローチャートの処理を終了する。
次に、制御部22は、危険物として表示させるグラフィックス(コンピュータグラフィックス)を選択する(ステップS204)。具体的には、制御部22は、例えば周知の画像認識技術に基づき、危険物がどの種類の物体であるかパターンマッチングを行い特定し、特定した種類に対応するグラフィックスを選択する。ここでは、図6(c)に示すように、制御部22は、危険物を人間(歩行者)であると特定し、人間(歩行者)を表すグラフィックス45を選択する。なお、制御部22は、認識可能な危険物の種類にそれぞれ対応するグラフィックスを予めメモリに記憶しておく。
そして、制御部22は、動的障害物が半透明化されたカメラ画像Ibに、ステップS204で選択したグラフィックス45を重畳させた表示画像Ivを生成し、表示部25に表示させる(ステップS205)。このとき、図6(d)に示すように、制御部22は、認識した危険物の表示位置に重畳させて、グラフィックス45をカメラ画像Ibに重畳させる。このとき、図6(d)に示すように、危険物を示すグラフィックス45の上からカメラ画像Ibを重畳させて表示するようにすれば、運転者から見て車両の後方(奥行き側)に歩行者が存在しているということが認識しやすくなる。また、これにより、制御部22は、撮影したカメラ画像Ibでは一部非表示となっていた歩行者43の存在を、明確に表示画像Ivに表示させることができ、視認しにくい危険物を明確に表示して運転者に注意喚起を促すことができる。
[第3実施例]
第3実施例では、第1、第2実施例に代えて、又はこれに加えて、制御部22は、建物等の地図データに登録されている静的障害物をカメラ画像Ifから検出した場合、当該静的障害物を半透明化すると共に、静的障害物が形成する死角に存在する危険物及び道路に相当するグラフィックスを重畳表示する。これにより、制御部22は、運転を好適に補助する。
第3実施例では、第1、第2実施例に代えて、又はこれに加えて、制御部22は、建物等の地図データに登録されている静的障害物をカメラ画像Ifから検出した場合、当該静的障害物を半透明化すると共に、静的障害物が形成する死角に存在する危険物及び道路に相当するグラフィックスを重畳表示する。これにより、制御部22は、運転を好適に補助する。
これについて、図7を参照して説明する。図7(a)は、右折地点を走行する直前に撮影されたカメラ画像Ifの一例を示す。図7(a)に示すように、カメラ画像Ifでは、右折地点に静的障害物である建物47が表示されている。この場合、ユーザは、建物47が形成する死角に、危険物があるか否か判別することができない。
従って、この場合、制御部22は、建物47の死角にある危険物及び道路を表示した表示画像Ivを生成する。図7(b)は、図7(a)のカメラ画像Ifに基づき生成された表示画像Ivの一例である。
ここで、図7(b)に示す表示画像Ivを生成する具体的な処理について説明する。まず、制御部22は、危険物認識の先行技術などに基づき、建物47の死角に危険物が存在するか否か判定する。例えば、この場合、制御部22は、建物47の死角部分を撮影する路上に設けられたカメラ(不図示)から無線通信により画像を取得し、当該画像に基づき危険物が存在するか否か判定する。ここでは、制御部22は、危険物である歩行者を検出したものとする。
次に、制御部22は、静的障害物である建物47の表示を半透明化する。具体的には、制御部22は、カメラ画像Ifに表示された建物47の表示を消去すると共に、予め生成された建物47の半透明画像(透過画像)をカメラ画像Ifに重畳させる。ここで、ナビゲーション装置20は、例えば、地図DB210に登録されている施設のうち、静的障害物となる施設の半透明画像を、当該施設の施設情報として予め地図DB210に記憶しておく。
さらに、制御部22は、予め記憶部21に記憶された複数種類のグラフィックスから、検出した危険物に対応するグラフィックス及び死角にある道路を表すグラフィックスを選択し、カメラ画像Ifに重畳させて表示画像Ivを生成する。図7(b)では、制御部22は、歩行者のグラフィックス49と、建物47に隠れた道路のグラフィックス50とを、建物47が半透明化されたカメラ画像Ifに重畳表示している。なお、制御部22は、道路のグラフィックスについては、カメラ画像Ifに表示されている部分の道路形状等に基づき動的に生成してもよい。
このようにすることで、制御部22は、ユーザに、道路及び歩行者が建物47の奥に存在することを明確に知らせることができる。また、制御部22は、上述の処理に加えて、表示画像Ivに、矢印などのルート案内表示をさらに付加してもよい。
なお、制御部22は、静的障害物の死角に危険物が存在しないと判断した場合であっても、静的障害物の死角に走行予定の道路が存在する場合には、静的障害物を半透明化してもよい。この場合、制御部22は、静的障害物に隠れた道路のグラフィックスのみをカメラ画像Ifに重畳させる。これにより、制御部22は、走行する道路に危険物が存在しないことを運転者に知らせることができる。
図8は、第3実施例の処理手順を示すフローチャートの一例である。制御部22は、図8に示す処理を、所定の周期に従い繰り返し実行する。
まず、制御部22は、静的障害物を検出する(ステップS301)。例えば、制御部22は、現在位置に基づき地図DB210を参照することで、走行先の道路近傍にある静的障害物を検出する。
次に、制御部22は、検出した静的障害物の半透明画像を地図DB210から検索する(ステップS302)。そして、制御部22は、カメラ画像Ifから静的障害物の表示領域を切り取る(ステップS303)。例えば、制御部22は、カメラ画像Ifから静的障害物の表示領域を所定の均一の画素値に置き換える。
次に、制御部22は、カメラ画像Ifに静的障害物の半透明画像を貼り付ける(ステップS304)。そして、制御部22は、危険物及び道路として表示させるグラフィックスをそれぞれ選択する(ステップS305)。
そして、制御部22は、ステップS304を実行後のカメラ画像Ibに、各グラフィックスを重畳させた表示画像Ivを生成し、表示部25に表示させる(ステップS306)。これにより、制御部22は、静的障害物により死角が形成されている場合であっても、運転者に適切に危険物の存在を知らせることができる。
[変形例]
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の各実施例に適用することが可能である。
[変形例]
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の各実施例に適用することが可能である。
(変形例1)
第2実施例では、制御部22は、カメラ画像Ibから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、又は、これに加えて、制御部22は、カメラ画像Ifから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させてもよい。
第2実施例では、制御部22は、カメラ画像Ibから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、又は、これに加えて、制御部22は、カメラ画像Ifから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させてもよい。
(変形例2)
第2実施例及び第3実施例では、制御部22は、危険物の種類を特定し、表示画像Ivに危険物の種類に対応するグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、制御部22は、危険物をビックリマークなどの所定のマークで表示画像Iv中に表示させてもよい。これによっても、好適に、制御部22は、危険物の存在を運転者に知らせることができる。
第2実施例及び第3実施例では、制御部22は、危険物の種類を特定し、表示画像Ivに危険物の種類に対応するグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、制御部22は、危険物をビックリマークなどの所定のマークで表示画像Iv中に表示させてもよい。これによっても、好適に、制御部22は、危険物の存在を運転者に知らせることができる。
(変形例3)
第1実施例乃至第3実施例に加えて、制御部22は、半透明化させた障害物のエッジ部分を点滅表示や太線表示などで強調させて、表示画像Iv中に表示させてもよい。他の例では、制御部22は、半透明化させる障害物のコントラスト又は色を変更して表示してもよい。
第1実施例乃至第3実施例に加えて、制御部22は、半透明化させた障害物のエッジ部分を点滅表示や太線表示などで強調させて、表示画像Iv中に表示させてもよい。他の例では、制御部22は、半透明化させる障害物のコントラスト又は色を変更して表示してもよい。
また、第2実施例及び第3実施例において、制御部22は、半透明化させる障害物が1つのカメラ画像If又はカメラ画像Ibに複数存在した場合、これらの透明度を異ならせてもよい。例えば、制御部22は、第2実施例において、カメラ画像Ibに、複数の停車車両が存在し、それぞれに危険物が隠れていた場合、カメラ画像Ibに占める面積が最も大きい停車車両の透明度を、他の停車車両の透明度よりも低くし、前者の停車車両に重畳表示させる危険物のグラフィックスを目立たせる。
また、制御部22は、危険物や道路をグラフィックスにて表示させる場合、注目させたい対象のグラフィックスを他のグラフィックスに比べて強調表示させてもよい。ここで、注目させたい対象とは、例えば人であり、具体的には予め定められた種類の危険物を指す。
これらの例によっても、制御部22は、好適に、障害物に隠れた危険物等を目立たせて、運転者に注意喚起を促すことができる。
(変形例4)
図1の情報表示システムの構成は、一例であり、本発明が適用可能な構成は、これに限定されない。例えば、ナビゲーション装置20は、バックカメラ28を有しなくてもよい。この場合、制御部22は、第1乃至第3実施例に基づき、カメラ画像Ifを用いて、表示画像Ivを生成する。
図1の情報表示システムの構成は、一例であり、本発明が適用可能な構成は、これに限定されない。例えば、ナビゲーション装置20は、バックカメラ28を有しなくてもよい。この場合、制御部22は、第1乃至第3実施例に基づき、カメラ画像Ifを用いて、表示画像Ivを生成する。
(変形例5)
第3実施例では、制御部22は、静的障害物に隠された危険物及び道路のグラフィックスを表示画像Ivに表示させた。しかし、これに加え、制御部22は、危険物及び道路以外の物体のグラフィックスを表示画像Ivに表示させてもよい。例えば、制御部22は、図7(a)に示す建物47の裏に歩行者49に加えて、木が隠れていた場合、当該木のグラフィックスを図7(b)に示す表示画像Ivで表示させてもよい。
第3実施例では、制御部22は、静的障害物に隠された危険物及び道路のグラフィックスを表示画像Ivに表示させた。しかし、これに加え、制御部22は、危険物及び道路以外の物体のグラフィックスを表示画像Ivに表示させてもよい。例えば、制御部22は、図7(a)に示す建物47の裏に歩行者49に加えて、木が隠れていた場合、当該木のグラフィックスを図7(b)に示す表示画像Ivで表示させてもよい。
本発明は、車載用ナビゲーション装置、PND(Personal Navigation Device)、その他情報を表示する装置に好適に適用することができる。
1 サーバ装置
2、2A、2B 車両
5 通信網
20 ナビゲーション装置
27 フロントカメラ
28 バックカメラ
2、2A、2B 車両
5 通信網
20 ナビゲーション装置
27 フロントカメラ
28 バックカメラ
Claims (4)
- 移動体の進行方向の風景を撮影した実写画像を取得する画像取得手段と、
前記移動体の現在位置を示す情報を取得する現在位置取得手段と、
前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定手段と、
前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断手段と、
前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理手段と、
前記画像処理が施された画像を表示させる表示制御手段と、
を備えたことを特徴とする画像表示装置。 - 前記信号機が存在する実写画像を外部から取得する外部画像取得手段を備え、
前記画像処理手段は、前記動的障害物が存在する実写画像に透過処理を施し、
前記表示制御手段は、前記透過処理が施された実写画像と外部から取得した実写画像とを重ねて表示させることを特徴とする請求項1に記載の画像表示装置。 - 信号機の位置に関する情報を含む地図データを記憶する記憶手段をさらに備え、
前記判定手段は、前記地図データに基づき、前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定することを特徴とする請求項1または2に記載の画像表示装置。 - 画像表示装置が実行する制御方法であって、
移動体の進行方向の風景を撮影した実写画像を取得する画像取得工程と、
前記移動体の現在位置を示す情報を取得する現在位置取得工程と、
前記現在位置が、前記移動体の搭乗者によって信号機が見える位置であるかを判定する判定工程と、
前記信号機が見える位置であると判定され、かつ、前記取得された画像に前記信号機が存在しない場合に、当該信号機の撮影を妨げる動的障害物があると判断する判断工程と、
前記動的障害物があると判断されると、当該動的障害物と前記信号機の両方が表示されるように画像処理を施す画像処理工程と、
前記画像処理が施された画像を表示させる表示制御工程と、
を有することを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011265524A JP2012208111A (ja) | 2011-12-05 | 2011-12-05 | 画像表示装置及び制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011265524A JP2012208111A (ja) | 2011-12-05 | 2011-12-05 | 画像表示装置及び制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011545967A Division JP4909451B1 (ja) | 2011-03-28 | 2011-03-28 | 情報表示装置及び制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012208111A true JP2012208111A (ja) | 2012-10-25 |
Family
ID=47187965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011265524A Pending JP2012208111A (ja) | 2011-12-05 | 2011-12-05 | 画像表示装置及び制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012208111A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014229102A (ja) * | 2013-05-23 | 2014-12-08 | 日産自動車株式会社 | 車両用表示装置 |
JP2014229100A (ja) * | 2013-05-23 | 2014-12-08 | 日産自動車株式会社 | 車両用表示装置 |
JP2016532914A (ja) * | 2013-06-24 | 2016-10-20 | グーグル インコーポレイテッド | 環境情報を用いた自律走行車両の画像処理支援 |
DE112016006725T5 (de) | 2016-05-17 | 2018-12-27 | Mitsubishi Electric Corporation | Bildanzeigevorrichtung, bildanzeigeverfahren und bildanzeigeprogramm |
JP2019064319A (ja) * | 2017-09-28 | 2019-04-25 | 株式会社Subaru | 車両の対象物情報提供装置 |
WO2019155557A1 (ja) * | 2018-02-07 | 2019-08-15 | パイオニア株式会社 | 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム |
WO2022024471A1 (ja) * | 2020-07-31 | 2022-02-03 | 株式会社日立製作所 | 外界認識システム、および、外界認識方法 |
JP2023112229A (ja) * | 2022-02-01 | 2023-08-14 | M・S・K株式会社 | 遠隔管理システム |
JP7455619B2 (ja) | 2020-03-09 | 2024-03-26 | 日野自動車株式会社 | 制御システム及び制御方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101566A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 交通安全確認システム |
JP2010009235A (ja) * | 2008-06-25 | 2010-01-14 | Toyota Motor Corp | 画像表示装置 |
-
2011
- 2011-12-05 JP JP2011265524A patent/JP2012208111A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101566A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 交通安全確認システム |
JP2010009235A (ja) * | 2008-06-25 | 2010-01-14 | Toyota Motor Corp | 画像表示装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014229100A (ja) * | 2013-05-23 | 2014-12-08 | 日産自動車株式会社 | 車両用表示装置 |
JP2014229102A (ja) * | 2013-05-23 | 2014-12-08 | 日産自動車株式会社 | 車両用表示装置 |
JP2016532914A (ja) * | 2013-06-24 | 2016-10-20 | グーグル インコーポレイテッド | 環境情報を用いた自律走行車両の画像処理支援 |
DE112016006725T5 (de) | 2016-05-17 | 2018-12-27 | Mitsubishi Electric Corporation | Bildanzeigevorrichtung, bildanzeigeverfahren und bildanzeigeprogramm |
JP7164941B2 (ja) | 2017-09-28 | 2022-11-02 | 株式会社Subaru | 車両の対象物情報提供装置 |
JP2019064319A (ja) * | 2017-09-28 | 2019-04-25 | 株式会社Subaru | 車両の対象物情報提供装置 |
WO2019155557A1 (ja) * | 2018-02-07 | 2019-08-15 | パイオニア株式会社 | 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム |
JP7455619B2 (ja) | 2020-03-09 | 2024-03-26 | 日野自動車株式会社 | 制御システム及び制御方法 |
WO2022024471A1 (ja) * | 2020-07-31 | 2022-02-03 | 株式会社日立製作所 | 外界認識システム、および、外界認識方法 |
US20230282003A1 (en) * | 2020-07-31 | 2023-09-07 | Hitachi, Ltd. | Environment Recognition System and Environment Recognition Method |
JP7440367B2 (ja) | 2020-07-31 | 2024-02-28 | 株式会社日立製作所 | 外界認識システム、および、外界認識方法 |
JP2022026858A (ja) * | 2020-07-31 | 2022-02-10 | 株式会社日立製作所 | 外界認識システム、および、外界認識方法 |
JP2023112229A (ja) * | 2022-02-01 | 2023-08-14 | M・S・K株式会社 | 遠隔管理システム |
JP7477093B2 (ja) | 2022-02-01 | 2024-05-01 | M・S・K株式会社 | 遠隔管理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4909451B1 (ja) | 情報表示装置及び制御方法 | |
JP2012208111A (ja) | 画像表示装置及び制御方法 | |
CN111247575B (zh) | 车辆驾驶辅助系统、方法及计算机可读取的存储介质 | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
JP6311646B2 (ja) | 画像処理装置、電子ミラーシステム、及び画像処理方法 | |
WO2021006060A1 (ja) | 表示制御装置および表示制御プログラム | |
EP3017989A1 (en) | Drive assist device | |
JP7023817B2 (ja) | 表示システム、表示方法、およびプログラム | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
JP2007257286A (ja) | 車両用表示システム | |
JP2010026708A (ja) | 運転者支援装置、運転者支援方法および運転者支援処理プログラム | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
US11710429B2 (en) | Display control device and non-transitory computer readable storage medium for display control by head-up display | |
US20220058998A1 (en) | Display control device and non-transitory computer-readable storage medium for display control on head-up display | |
JP2010185761A (ja) | ナビゲーションシステム、道路地図表示方法 | |
JP2015219736A (ja) | 運転支援装置 | |
CN109050401A (zh) | 一种增强现实的驾驶显示方法和装置 | |
JP7283448B2 (ja) | 表示制御装置および表示制御プログラム | |
KR102023863B1 (ko) | 이동체 주위 표시 방법 및 이동체 주위 표시 장치 | |
JP2014229100A (ja) | 車両用表示装置 | |
JP5353780B2 (ja) | 表示制御装置、方法およびプログラム | |
JP2022043996A (ja) | 表示制御装置及び表示制御プログラム | |
JP2021060808A (ja) | 表示制御システム及び表示制御プログラム | |
JP2021033944A (ja) | 通信装置、通信方法及びプログラム | |
JP2019117434A (ja) | 画像生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130702 |