JP2007026140A

JP2007026140A - データ処理装置

Info

Publication number: JP2007026140A
Application number: JP2005208096A
Authority: JP
Inventors: Taro Enomoto; 太郎榎本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-07-19
Filing date: 2005-07-19
Publication date: 2007-02-01
Also published as: WO2007010676A1

Abstract

【課題】未走行の道路に係る画像を表示させることができなかった。
【解決手段】ＨＤＤ１２には、ＨＤＤ１２上で交差点への進入方向に対応付けられた画像をディスプレイ３２に表示させる処理および現在位置が交差点に存在する場合にカメラ３ａで得られ車両２の右方に係る右方画像と交差点から右方を指す方向とを対応付けてＨＤＤ１２に記憶させるとともにカメラ３ｂで得られ車両２の左方に係る左方画像と交差点から左方を指す方向とを対応付けてＨＤＤ１２に記憶させる処理をＣＰＵ１４に実行させるためのプログラムが記憶されている。また、ＨＤＤ１２には、交差点の絶対位置に対応する交差点データなどが記憶されている。
【選択図】図１

Description

本発明は、画像データを処理するデータ処理装置に関するものであって、より詳しくは、ナビゲーション端末やマルチメディア端末などに関するものである。

背景技術として、自動車の前面、右側面、左側面および後面に係る画像に対応する画像データを出力する魚眼レンズと、位置データおよび時刻データを受信するＧＰＳレシーバと、魚眼レンズで得られた画像データとＧＰＳレシーバで受信された位置データおよび時刻データとを対応付けてＤＶＤに記憶させるシステム本体部とを備える車両用監視システムが知られている（特許文献１を参照）。

他方、ＧＰＳからの緯度経度情報に対応する複数の実写情報を表示部に表示させるシステム制御部を備えた情報端末装置が知られている（特許文献２を参照）。

特許文献１および特許文献２に記載のものによれば、自動車の前面、右側面、左側面および後面に係る画像に対応する画像データをＧＰＳレシーバで受信された位置データおよび時刻データとを対応付けて記憶部に記憶させ、ＧＰＳレシーバで受信された位置データおよび時刻データにそれぞれ対応する画像画像であって自動車の前面、右側面、左側面および後面に係る画像画像を表示部に表示させる装置が得られる。
特開２０００−１７２９８２号公報（第８−１３頁、第１−４図）特開２００４−２２６１４０号公報（第１０−１２頁、第２図）

背景技術において、一の道路と他の道路とが互いに交差する場合。自動車が一の道路を過去に走行していても、当該自動車が他の道路を過去に走行していなければ、他の道路を走行する自動車の前面に係る画像画像が表示されなかった。

本発明に係るデータ処理装置は、記憶媒体上で交差点への進入方向に対応付けられた画像を表示装置に表示させるデータ処理装置であって、現在位置が交差点に存在する場合に撮影装置で得られ車両の側方に係る側方画像と交差点から側方を指す方向とを対応付けて前記記憶媒体に記憶させる制御部を備えるものである。本発明における字句の解釈は、次のとおりである。

「記憶媒体」の一例として、光ディスク、ハードディスクドライブ（以下、ＨＤＤという）や半導体メモリなどがある（以下、同じ）。

「交差点への進入方向」として、直進方向、右折方向および左折方向がある。右折方向とは、直進方向を時計回りに回転させた方向である。左折方向とは、直進方向を反時計回りに回転させた方向である。「方向」とは、絶対方位および交差点上の一つの点を始点とするベクトルを含む概念である。

「表示装置」の一例として、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイや映写幕などがある（以下、同じ）。

「現在位置が交差点に存在する場合」とは、現在位置が交差点上の一点から所定の距離内に存在する場合である。

「撮影装置」の一例として、いわゆるビデオカメラ、デジタルスチルカメラやステレオカメラなどがある（以下、同じ）。

「側方」とは、車両の前進方向に対して右方向および左方向の少なくとも一方である（以下、同じ）。

「交差点から側方を指す方向」とは、絶対方位および交差点上の一つの点を始点とするベクトルを含む概念である。

本発明は、現在位置が交差点に存在する場合に撮影装置で得られ車両の側方に係る側方画像と交差点から側方を指す方向とを対応付けて前記記憶媒体に記憶させることで、未走行の道路に係る画像を表示させることができるという効果を有する。

本発明に係るデータ処理装置を実施するための最良の形態は、図１ないし図で示される。
＜全体構成について＞本実施の形態に係るデータ処理装置１を含む全体構成は、図１で示される。データ処理装置１は、車両２に搭載されており、車両２に設けられた複数のカメラ３（「撮影装置」に相当する）に接続されている。本実施の形態において、右カメラ３ａおよび左カメラ３ｂは、それぞれ、車両２の右方の風景および車両２の左方の風景を撮影している。ここで、右方とは、車両２の前進方向を正面とする右手側であり、他方、車両２の前進方向を正面とする左手側である。各風景に対応する画像は、「側方画像」に相当する。
＜装置構成について＞本実施の形態に係るデータ処理装置１の構成は、図２で示される。データ処理装置１は、データの入出力を行うＩ／Ｏ１１と、各種データやプログラムなどを記憶するＨＤＤ１２（「記憶媒体」に相当する）と、ＢＩＯＳなどの基本プログラムを記憶するＲＯＭ１３と、ＨＤＤ１２やＲＯＭ１３などに記憶されたプログラムを実行するＣＰＵ１４（「制御部」に相当する）と、各種データを保持するＲＡＭ１５と、音声データを処理する音声ＬＳＩ１６と、画像に対応する画像データを処理する描画ＬＳＩ１７と、画像データを保持するＶＲＡＭ１８とを備える。これらの部品は、バスで接続されている。

Ｉ／Ｏ１１には、前述の右カメラ３ｃおよび左カメラ３ｄが接続されている。また、Ｉ／Ｏ１１には、ＧＰＳデータを受信するＧＰＳ受信機２１、ＶＩＣＳデータを受信するＶＩＣＳ受信機２２、速度データを出力する速度センサ２３、ジャイロデータを出力するジャイロセンサ２４および右左折方向に対応する方向指示データを出力するウインカ２５が接続されている。さらに、Ｉ／Ｏ１１には、音声データに対応する音声を出力するスピーカ３１および画像データに対応する画像を表示するディスプレイ３２（「表示装置」に相当する）が接続されている。

ＨＤＤ１２には、ＨＤＤ１２上で交差点への進入方向に対応付けられた画像をディスプレイ３２に表示させる処理（以下、表示処理という）および現在位置が交差点に存在する場合にカメラ３ａで得られ車両２の右方に係る右方画像と交差点から右方を指す方向とを対応付けてＨＤＤ１２に記憶させるとともにカメラ３ｂで得られ車両２の左方に係る左方画像と交差点から左方を指す方向とを対応付けてＨＤＤ１２に記憶させる処理（以下、記憶処理という）をＣＰＵ１４に実行させるためのプログラムが記憶されている。また、ＨＤＤ１２には、交差点の絶対位置に対応する交差点データなどが記憶されている。
＜記憶処理について＞以上のように構成されたデータ処理装置１での記憶処理は、図３で示される。ＣＰＵ１４は、ＨＤＤ１２に記憶されたプログラムをＲＡＭ１５に展開し、次の処理を実行する。

ＣＰＵ１４は、ＲＡＭ１５に保持されたＧＰＳデータおよびＨＤＤ１２に記憶された交差点データを用いて現在位置が交差点Ｔに存在するか否かを判定する（ステップＳ１）。

具体的には、ＧＰＳデータに対応する絶対位置（ｘｐ，ｙｐ）と交差点データに対応する絶対位置（ｘ，ｙ）との差分値が所定の範囲内にあれば、現在位置が交差点Ｔに存在するとの判定なされる。

ステップＳ１で現在位置が交差点Ｔに存在するとの判定がなされると（Ｓ１のＹｅｓ）、ＣＰＵ１４は、ＲＡＭ１５に保持された方向指示データおよびＨＤＤ１２に記憶された交差点データを用いて交差点Ｔから右方を指す方向および交差点Ｔから左方を指す方向を演算する（ステップＳ２）。

具体的には、車両２が交差点Ｔ内で道路Ａから道路Ｂに右折する場合（図４（ａ）を参照）、方向を演算するための座標は、次のように定義される。原点Ｏ（０，０）は、交差点Ｔの中心を示す絶対位置（ｘ，ｙ）に相当し、直進方向Ｖ（０，１）および直進方向に直交する方向（１，０）が定義される（図３（ｂ）を参照）。この座標系において、速度は、Ｖ´（ｃｏｓθ，ｓｉｎθ）である（但し、θ＝９０°‐α）。速度Ｖ´と直進方向（０，１）とのなす角が反時計回りにαであれば、交差点Ｔから右方を指す方向は、Ｐｃｒ（ｃｏｓ（θ‐９０°），ｓｉｎ（θ‐９０°））であり、他方、交差点Ｔから左方を指す方向は、Ｐｃｌ（ｃｏｓ（θ＋９０°），ｓｉｎ（θ＋９０°））である。本実施の形態では、右折時には、θが４５°であって、交差点Ｔから右方を指す方向は、Ｐｃｒ（２^１／２，‐（２）^１／２）であって、交差点Ｔから左方を指す方向は、Ｐｃｌ（‐２^１／２，（２）^１／２）であるとする。

なお、車両２が交差点Ｔ内で道路Ａから道路Ｃに直進する場合（図５（ａ）を参照）、θ＝９０°であるから、交差点Ｔから右方を指す方向はＰｃｒ（−１，０）であり、他方、交差点Ｔから左方を指す方向はＰｃｌ（１，０）である（図５（ｂ）を参照）。

ステップＳ２で交差点から右方を指す方向Ｐｃｒおよび交差点から左方を指す方向Ｐｃｌが演算されると、ＣＰＵ１４は、カメラ３ａで出力され右方画像に対応する画像データ（右折時には図６（ａ）を参照、直進時には図７（ａ）を参照）と交差点から右方を指す方向Ｐｃｒに対応する方向データとを対応付けるとともに、カメラ３ｂで出力され左方画像に対応する画像データ（右折時には図６（ｂ）を参照、直進時には図７（ｂ）を参照）と交差点から左方を指す方向Ｐｃｌに対応する方向データとを対応付けてＨＤＤ１２に記憶させる（ステップＳ３）。

具体的には、交差点Ｔの絶対位置、交差点Ｔから側方を指す方向、カメラ３で得られた画像および撮影時の条件が対応付けられる（図８を参照）。撮影時の条件としては、速度（速度データ）、気象（ＶＩＣＳデータ）や時間（ＧＰＳデータ）などがある。
＜表示処理について＞以上のように構成されたデータ処理装置１での表示処理は、図９で示される。ＣＰＵ１４は、ＨＤＤ１２に記憶されたプログラムをＲＡＭ１５に展開し、次の処理を実行する。

ＣＰＵ１４は、ＲＡＭ１５に保持されたＧＰＳデータおよびＨＤＤ１２に記憶された交差点データを用いて現在位置が交差点Ｔ内に存在しているか否かを判定する（ステップＳ１１）。

具体的には、ＧＰＳデータに対応する絶対位置（ｘｐ，ｙｐ）と交差点データに対応する絶対位置（ｘ，ｙ）との差分が所定値の範囲内にあれば、現在位置が交差点Ｔに存在するとの判定なされる。

ステップＳ１１で現在位置が交差点Ｔ内に存在しているとの判定がなされると（Ｓ１１のＹｅｓ）、ＣＰＵ１４は、ＲＡＭ１５に保持されたＧＰＳデータを用いて交差点Ｔ内での進行方向を演算する（ステップＳ１２）。

具体的には、交差点Ｔ内において、時刻ｔ０での絶対位置が（ｘｐ１，ｙｐ１）であって、時刻ｔ１での絶対位置が（ｘｐ２，ｙｐ２）であれば、これらの差分ベクトル（ｘｐ２−ｘｐ１，ｙｐ２−ｙｐ１）が得られる。差分ベクトルは、絶対座標系で示されているので、絶対座標（ｘ，ｙ）を原点Ｏ（０，０）とする座標系での差分ベクトルΔＶに変換される。

ステップＳ１２で交差点Ｔ内での進行方向が演算されると、ＣＰＵ１４は、進行方向に対応付けられた画像データがＨＤＤ１２に記憶されているか否かを判定する（ステップＳ１３）。

具体的には、ステップＳ３で得られた方向と画像との対応付けが参照され（図８を参照）、交差点Ｔでの差分ベクトルΔＶに対応付けられた画像が存在するか否かが判定される。例えば、車両２が道路Ｄから道路Ａに右折する場合（図１０（ａ）を参照）、差分ベクトルΔＶがΔＶ１（２^１／２，‐（２）^１／２）であれば（図１０（ｂ）を参照）、ΔＶ１に対応する右カメラ３ａによる画像データ（図７（ａ）を参照）が存在すればよい。他方、車両２が道路Ｂから道路Ｃに右折する場合（図１０（ａ）を参照）、差分ベクトルΔＶがΔＶ２（‐２^１／２，（２）^１／２）であれば（図１０（ｂ）を参照）、ΔＶ２に対応する左カメラ３ｂによる画像データ（図７（ｂ）を参照）が存在すればよい。

なお、車両２が道路Ｄから道路Ｂに直進する場合（図１１（ａ）を参照）、差分ベクトルΔＶがΔＶ１（１，０）であるから（図１０（ｂ）を参照）、ΔＶ１に対応する右カメラ３ａによる画像データ（図８（ａ）を参照）が存在すればよい。他方、車両２が道路Ｂから道路Ｄに直進する場合（図１１（ａ）を参照）、差分ベクトルΔＶがΔＶ２（‐１，０）であれば（図１１（ｂ）を参照）、ΔＶ２に対応する左カメラ３ｂによる画像データ（図８（ｂ）を参照）が存在すればよい。

ステップＳ１３で進行方向に対応付けられた画像データが存在するとの判定がなされると（Ｓ１３のＹｅｓ）、ＣＰＵ１４は、各方向に対応付けられた画像が複数あるか否かを判定する（ステップＳ１４）。

ステップＳ１４で画像が複数あるとの判定がなされると（ステップＳ１４のＹｅｓ）、ＣＰＵ１４は、ＨＤＤ１２に記憶された条件データを用いて各画像の優先度を演算する（ステップＳ１５）。

具体的には、撮影時の条件が、雨天、日没後や高速（例えば、８０ｋｍ／ｈ）などであれば、画像は鮮明性を欠くので、その優先度は相対的に低い値として演算される。また、撮影時の条件と現在の条件とが一致する画像の優先度が相対的に高い値として演算されてもよい。

ステップＳ１５で優先度が演算されると、ＣＰＵ１４は、ステップＳ１５で演算された演算度を用いて優先度が最も高い画像を選択する（ステップＳ１６）。

ステップＳ１６で画像が選択されると、ＣＰＵ１４は、ステップＳ１６で選択された画像をディスプレイ３２に表示させるための制御データを出力する（ステップＳ１７）。描画ＬＳＩ１７は、ステップＳ１６で選択された画像に対応する画像データをＨＤＤ１２からＶＲＡＭ１８に展開し、予め定められたタイミングでＶＲＡＭ１８上の画像データをディスプレイ３２に転送する。そして、ディスプレイ３２は、そのカメラ画像表示領域でカメラ３で撮影された画像を表示する（図１２を参照）。

例えば、車両２が道路Ｄから道路Ａに右折する場合（図１０（ａ）を参照）、ディスプレイ３２は、右カメラ３ａで撮影された右方画像（図７（ａ）を参照）を表示する。他方、車両２が道路Ｂから道路Ｃに右折する場合（図１０（ａ）を参照）、ディスプレイ３２は、左カメラ３ｂで撮影された左方画像（図７（ｂ）を参照）を表示する。

なお、車両２が道路Ｄから道路Ｂに直進する場合（図１１（ａ）を参照）、ディスプレイ３２は、右カメラ３ａで撮影された右方画像（図８（ａ）を参照）を表示する。他方、車両２が道路Ｂから道路Ｄに直進する場合（図１１（ａ）を参照）、ディスプレイ３２は、左カメラ３ｂで撮影された左方画像（図８（ｂ）を参照）を表示する。
＜本実施の形態における効果＞以上本実施の形態によれば、車両２が道路Ａから道路Ｂに過去に右折すれば、車両２が道路Ｄから道路Ａに過去に右折していなくても、進行方向に見える風景が画像として表示される。

本実施の形態によれば、車両２が道路Ａから道路Ｂに過去に右折すれば、車両２が道路Ｂから道路Ｃに過去に右折していなくても、進行方向に見える風景が画像として表示される。

本実施の形態によれば、車両２が道路Ａから道路Ｃに過去に直進すれば、車両２が道路Ｄから道路Ｂに過去に直進していなくても、進行方向に見える風景が画像として表示される。

本実施の形態によれば、車両２が道路Ａから道路Ｃに過去に直進すれば、車両２が道路Ｂから道路Ｄに過去に直進していなくても、進行方向に見える風景が画像として表示される。
＜変形例１＞最良の実施の形態では、交差点から側方を指す方向および進行方向がＧＰＳデータを用いて演算されているが、各方向は、ジャイロデータ（方位データを含む）を用いて求められてもよい。また、各方向は、ウインカレバーからの方向指示データ、ウインカレバーによる指示方向と交差点から側方を指す方向とを予め対応付けたテーブルおよびウインカレバーによる指示方向と交差点での進行方向とを予め対応付けたテーブルを用いて求められてもよい。これら変形例によれば、少ない演算量で方位を求めることができる。

最良の実施の形態では、車両２が交差点Ｔ内に存在する場合に、画像が表示されているが、車両２が交差点Ｔ内に存在しない場合に、画像が表示されてもよい。例えば、交差点Ｔを通過する経路が探索された後、いわゆるオンルートスクロールが行われる場合や車両２が交差点Ｔの手前に存在する場合などに、各画像が交差点Ｔでの案内方向に応じて表示される。この変形例によれば、交差点Ｔ内で進行方向に見える風景をユーザに予め表示することができる。

以上のように、本発明は、未走行の道路に係る画像を表示させることができるという効果を有し、ナビゲーション装置やマルチメディア端末などとして有用である。

本発明に係るデータ処理装置を実施するための最良の形態の構成を示す全体構成図本発明に係るデータ処理装置を実施するための最良の形態の構成を示すハードウエア構成図本実施の形態における記憶処理の流れを示すフロー図（ａ）撮影時における交差点での車両の右折動作と撮影領域との関係を示す図（ｂ）交差点での車両の進行方向ならびに車両の右方および左方の関係を示す図（ａ）撮影時における交差点での車両の直進動作と撮影領域との関係を示す図（ｂ）交差点での車両の進行方向ならびに車両の右方および左方の関係を示す図（ａ）右折時に右カメラで得られた右方画像を示す図（ｂ）右折時に左カメラで得られた左方画像を示す図（ａ）直進時に右カメラで得られた右方画像を示す図（ｂ）直進時に左カメラで得られた左方画像を示す図本実施の形態における交差点の絶対位置、方向、画像および条件の関係を示す図本実施の形態における表示処理の流れを示すフロー図（ａ）表示時における交差点での車両の右折のパターンを示す図（ｂ）交差点での車両の進行方向を示す図（ａ）表示時における交差点での車両の直進のパターンを示す図（ｂ）交差点での車両の進行方向を示す図本実施の形態におけるディスプレイでの表示例を示す図

符号の説明

１データ処理装置
２車両
３カメラ（撮映装置）
１２ＨＤＤ（記憶媒体、制御部）
１４ＣＰＵ（制御部）
３２ディスプレイ（表示装置）

Claims

記憶媒体上で交差点への進入方向に対応付けられた画像を表示装置に表示させるデータ処理装置であって、
現在位置が交差点に存在する場合に撮影装置で得られ車両の側方に係る側方画像と交差点から側方を指す方向とを対応付けて前記記憶媒体に記憶させる制御部を備えるデータ処理装置。
前記制御部は、側方画像と側方を指す方位とを対応付けて前記記憶媒体に記憶させ、前記記憶媒体上で交差点への進入方位に対応付けられた画像を前記表示装置に表示させることを特徴とする請求項１に記載のデータ処理装置。