JP2017129406A - 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム - Google Patents

情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2017129406A
JP2017129406A JP2016007754A JP2016007754A JP2017129406A JP 2017129406 A JP2017129406 A JP 2017129406A JP 2016007754 A JP2016007754 A JP 2016007754A JP 2016007754 A JP2016007754 A JP 2016007754A JP 2017129406 A JP2017129406 A JP 2017129406A
Authority
JP
Japan
Prior art keywords
information
display
information processing
vehicle
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016007754A
Other languages
English (en)
Inventor
均 富澤
Hitoshi Tomizawa
均 富澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Priority to JP2016007754A priority Critical patent/JP2017129406A/ja
Publication of JP2017129406A publication Critical patent/JP2017129406A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】運転操作に関する情報を、運転者が容易に認識することが可能な情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラムを提供する。【解決手段】情報処理装置10は、撮像部11と、AR技術を用いて、撮像部11により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報20に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する制御部12と、制御部12により作成された情報を基に、ペースカーを表示する表示部13とを備える。【選択図】図1

Description

本発明は、情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラムに関する。
カーナビゲーションシステムは、道順案内などを行い、運転者を支援するシステムである。そのようなシステムは、車内に設置されたナビゲーション端末のディスプレイまたはヘッドアップディスプレイなどに表示、あるいは、音声案内などにより、運転者が必要とする情報を提供する。
例えば、特許文献1に示されたカーナビゲーションシステムは、カメラで写した自動車前方の画像に進むべき方向を示す矢印を重ねて、ディスプレイに表示することにより、運転者に進路を指示する。
また、ヘッドアップディスプレイに表示するカーナビゲーションシステムとして、図11に示す方式のものが提供されている。図11は、一般的なカーナビゲーションシステムの表示内容を説明する図である。図11によれば、前方の信号機400が赤になった場合、そのカーナビゲーションシステムは、「赤信号」というメッセージ601を表示する。また、そのカーナビゲーションシステムは、左折することを指示する場合に、左折を示す矢印602を表示する。あるいは、そのナビゲーションシステムは、車線変更することを指示する場合に、車線変更を示す矢印603を表示する。ここで、メッセージ601、矢印602および矢印603は、ヘッドアップディスプレイの一形態であるフロントウィンドー100に表示されている。
特表2008−0542746号公報
図11に示した上述の技術によれば、運転者120は、フロントウィンドー100に表示された、メッセージ601、矢印602、あるいは、矢印603を見て、その表示が意味する内容を理解し、その内容に基づいた運転操作を行うことを期待される。しかしながら、左折を示す矢印602や車線変更を示す矢印603は、実際の風景との関係が明瞭でなく、運転者120に指示内容を誤まって認識させる虞がある。
また、記号や言葉による指示方法は、指示を受ける人によって解釈が異なる可能性がある。
そこで、本発明は、運転操作に関する情報を、運転者が容易に認識することが可能な情報処理装置等の提供を主たる目的とする。
上記の目的を達成すべく、本発明の一態様に係る情報処理装置は、以下の構成を備える。
即ち、本発明の一態様に係る情報処理装置は、
撮像手段と、
AR(拡張現実)技術を用いて、前記撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する制御手段と、
前記制御手段により作成された情報を基に、ペースカーを表示する表示手段と
を含む。
同目的を達成する本発明の一態様に係るスマートグラスは、
角速度と加速度と地磁気を検出する9軸センサー手段と、
前記情報処理装置と
を含む。
同目的を達成する本発明の一態様に係る制御方法は、
AR技術を用いて、撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために作成した情報を基に、ペースカーを表示する。
更に、同目的は、上記構成を有する情報処理装置、スマートグラス、或いは、その制御方法を、コンピュータによって実現するためのコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記憶媒体によっても達成される。
上記の本発明によれば、運転操作に関する情報を、運転者が容易に認識することができるという効果がある。
本発明の第1の実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2の実施形態に係る情報表示システムの構成を示すブロック図である。 本発明の第2の実施形態に係るスマートグラスのイメージを例示する図である。 本発明の第2の実施形態に係る情報表示システムの動作を説明するための図である。 本発明の第2の実施形態に係る情報表示システムにおける処理を説明するフローチャートである。 本発明の第2の実施形態に係る情報表示システムにおける車線変更を指示するときの表示内容を説明するための図である。 本発明の第2の実施形態に係る情報表示システムにおける左折を指示するときの表示内容を説明するための図である。 本発明の第2の実施形態に係る情報表示システムにおける赤信号のため停止を指示するときの表示内容を説明するための図である。 本発明の第3の実施形態に係る情報表示システムの全体構成を示す図である 本発明の第1乃至3の実施形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。 一般的なカーナビゲーションシステムの表示内容を説明する図である。
次に、本発明を実施する形態について図面を参照して詳細に説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る情報処理装置の構成を示すブロック図である。
本実施形態に係る情報処理装置10は、撮像部11と、制御部12と、表示部13とを有する。
制御部12は、AR(拡張現実、Augmented Reality)技術を用いて、撮像部11により得られた画像から、あらかじめ定めた表示位置の目印となるもの(マーカー)を検出する。そして、制御部12は、自動車が目的地に到着するために必要な運転操作を示す運転操作情報20に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する。
表示部13は、制御部12により作成された情報を基に、ペースカーを表示する。
また、情報処理装置10は、表示部13に表示する際に、運転操作情報20の内容を伝える音声を伴ってもよい。
以上、説明したように、第1の実施形態には、運転操作情報20を、運転者が容易に認識することができるという効果がある。
その理由は、本実施形態に係る情報処理装置10は、運転操作情報20に基づいて先導するペースカーを表示するからである。
<第2の実施形態>
次に上述した第1の実施形態に係る情報処理装置を基本とする第2の実施形態について説明する。図2は、本発明の第2の実施形態に係る情報表示システムの構成を示すブロック図である。ただし、図2に示す構成は、一例であって、本発明は、図2に示す情報表示システムに限定されない。
本実施形態に係る情報表示システムは、AR技術を用いて、スマートグラスに自動車の仮想表示像であるペースカー(以下において、「ARペースカー」という)を表示するシステムである。以降に説明する処理は、例えば、一般に使用されているARToolKitなどのソフトウェアを用いて行う。ARToolKitは、例えば、取得した画像からのマーカの検出や、マーカの位置や姿勢(傾き)の計算などのようなAR技術に関するさまざまな処理を行う関数を提供している。
本実施形態に係る情報表示システムは、進路変更情報出力部501と、車両情報出力部502と、スマートグラス500とを備える。運転者は、自動車の運転席に座って、スマートグラス500をかける。
進路変更情報出力部501は、例えば、現在位置から目的地までの地図情報と、右左折するポイントを表す情報と、車線変更に関する情報などを表す進路変更情報を出力する。
車両情報出力部502は、自動車の速度、操舵角(タイヤの向き)などの情報である車両情報を出力する。スマートグラス500は、例えば、OBD(On−board diagnostics)アダプタを用いることにより、車両情報出力部502から車両情報を取得することが可能である。
スマートグラス500は、進路変更情報と車両情報を入力として、ARペースカーを表示する。
スマートグラス500は、ディスプレイ511と、画像合成部512と、車両情報認識部513と、車両画像認識部514と、カメラ515と、周辺画像認識部516と、9軸センサー部517とを備える。ディスプレイ511は、第1の実施形態の表示部13に相当する。カメラ515は、第1の実施形態の撮像部11に相当する。画像合成部512は、第1の実施形態の制御部12に相当する。
ARペースカーは、ディスプレイ511に表示される。
車両情報認識部513は、車両情報出力部502からの車両情報を解析する。車両情報は、自動車の車速を表す車速情報を含む。
カメラ515は、スマートグラス500の前方の風景を撮影する。
車両画像認識部514は、カメラ515が撮影した画像を基に、自動車のフロントウィンドー100の形状などを検知する。すなわち、本実施形態におけるマーカーは、フロントウィンドー100である。
周辺画像認識部516は、カメラ515が撮影した画像を基に、信号機を認識する。
9軸センサー部517は、車両の角速度と、車両の加速度と、地磁気とを検出する。
画像合成部512は、進路変更情報出力部501と、車両情報認識部513、車両画像認識部514、周辺画像認識部516および9軸センサー部517からの情報とを基に、ディスプレイ511に表示するARペースカーの位置、方向および大きさを調整し、表示するために用いる情報を作成する。
図3は、本発明の第2の実施形態に係るスマートグラス500のイメージを例示する図である。図3に示すように、ディスプレイ511と、カメラ515と、9軸センサー部517は実装される。画像合成部512と、車両情報認識部513と、車両画像認識部514と、周辺画像認識部516は、図示していないが、図3に示す他のデバイスに含まれる。また、このデバイスは、図3に示すスマートグラスとは、一体でない装置であり、有線または無線によりスマートグラスと通信可能に接続されていてもよい。
図4は、本発明の第2の実施形態に係る情報表示システムの動作を説明するための図である。図4によれば、情報表示システムは、運転者120が装着するスマートグラス500において、運転者120が乗車している自動車の前方にARペースカー140が見えるように表示する。ARペースカー140は、リア左方向指示器142と、リア右方向指示器143と、ブレーキランプ141とを含む。図4におけるフロントガラス100に含まれる内容は、スマートグラス500を装着した運転者120に見えるイメージである。これは、図6〜図9についても同様である。
ここで、図5を用いて、情報表示システムにおける処理の流れを説明する。図5は、本発明の第2の実施形態に係る情報表示システムにおける処理を説明するフローチャートである。
初めに、スマートグラス500のハードウェアと、スマートグラス500で動作するARペースカー140を表示するアプリケーションとを起動する。
次に、画像合成部512は、あらかじめ定めた自動車とARペースカーとの車間情報と、車両情報から取得可能な車速を基に、ARペースカーを表示する位置やその形状を決定する(ステップS110)。
それから、車両画像認識部514は、カメラ515で撮影した画像を基に、フロントウィンドー100の形状や位置を認識した(ステップS120で「Yes」)場合に、以下に説明する処理を実行する。
スマートグラス500は、ディスプレイ511にARペースカー140を表示する(ステップS130)。
9軸センサー部517がスマートグラス500の動きを検知した(ステップS140で「Yes」)場合、画像合成部512は、検知した値に応じて合成画像(ARペースカー)の位置やその形状を補正する(ステップS150)。すなわち、9軸センサー部517により検出した情報を基に、顔の動きを検知し、検知した内容をふまえて表示することが可能になる。これにより、スマートグラス500を装着した運転者120は、ななめ前や横など前を向いていないときでも、自分が運転している自動車の前にARペースカーがいるかのように見ることができる
さらに、車両情報認識部513が車両情報を基に車速情報が変化したことを認識した(ステップS160で「Yes」)場合、画像合成部512は、取得した車速情報に応じて合成画像の位置および形状を補正する(ステップS170)。これにより、車速情報は、例えば、ARペースカーとの車間距離や、それによるペースカーのサイズに反映される。
進路変更情報を取得した(ステップS180で「Yes」)場合、その進路変更を行うにあたり方向指示器の点灯が必要であれば、画像合成部512は、方向指示器(リア左方向指示器142、リア右方向指示器143)を点灯したARペースカー140を表示するように処理する(ステップS190)。例えば、左折を行うのであれば、リア左方向指示器142を点灯したARペースカー140が、表示される。そして、画像合成部512は、取得した進路変更情報に応じて合成画像の位置やその形状を補正する(ステップS200)。
それから、周辺画像認識部516は、カメラ515で撮影した画像において、赤信号を認識した(ステップS210で「Yes」)場合に、以下に説明する処理を実行する。
画像合成部512は、ARペースカー140のブレーキランプ141を点灯するように処理する(ステップS220)。そして、画像合成部512は、進路変更情報に含まれる信号機400の位置情報に応じて合成画像の位置やその形状を補正する(ステップS230)。 スマートグラス500は、ARペースカー140を表示するアプリケーションが起動している間、ステップS120から処理を繰り返す。
次に、図6乃至図8を参照して、本実施形態の情報表示システムの運用事例を説明する。
図6は、本発明の第2の実施形態に係る情報表示システムにおける車線変更を指示するときの表示内容を説明するための図である。図6において、スマートグラス500は、前方のARペースカー140がリア左方向指示器142を点滅させて左に車線変更するところを表示するこれを見た運転者120は、自動車もARペースカー140の後を追って車線変更をする必要があることを認識する。
図7は、本発明の第2の実施形態に係る情報表示システムにおける左折を指示するときの表示内容を説明するための図である。図7において、スマートグラス500は、前方のARペースカー140が左折路151をリア左方向指示器142とフロント左方向指示器144を点滅させて左折する様子を表示する。これを見た運転者120は、自動車もARペースカー140の後を追って左折をする必要があることを認識する。
図8は、本発明の第2の実施形態に係る情報表示システムにおける赤信号のため停止を指示するときの表示内容を説明するための図である。図8において、スマートグラス500は、前方のARペースカー140が前方の信号機400の赤信号401を認識してブレーキランプ141を点灯させて停止する様子を表示する。これを見た運転者120は、自動車もARペースカー140の後方で停止する必要があることを認識する。
すなわち、本実施形態によれば、運転者120は、スマートグラス500を装着することにより自動車の前方にARペースカー140を視認することができる。そして、運転者120は、ARスペースカー140の車線変更や左折、停止などの挙動を容易に認識することが可能となる。
このように、運転者120は、自分が運転している車の前を進むように見える(表示される)ARペースカー140の挙動を模倣して後続することにより、スムーズにナビゲーションされることが可能となる。運転者120は、記号や文字などによって示される意味を理解する必要がなくなり、事前のトレーニングや説明なしにナビゲーションされることができる。
また、本実施形態において、マーカーは、フロントウィンドー100であるとして説明したが、これに限らず、運転者の視界に入るもので、位置が固定のものであればよい。例えば、マーカーは、ダッシュボード102でもよい。
ここまで、運転者120は、自動車を運転するとして説明したが、これに限らず、運転者120は、例えば、二輪車を運転してもよい。また、ARペースカー140は、自動車の仮想表示像として説明したが、これに限らず、例えば、二輪車の仮想表示像でもよい。
なお、本実施形態における情報表示システムは、進路変更情報を受け取って動作するものとして説明した。しかしながら、進路変更情報を受け取らずに、情報表示システムにおいて、目的地に向けた進路変更情報を求める機能を有し、その機能により求めた進路変更情報を用いて、動作してもよい。
以上、説明したように、第2の実施形態には、進路変更情報を、運転者が容易に認識することができるという効果がある。
その理由は、本実施形態に係る情報表示システムは、スマートグラス500において、進路変更情報に基づいて先導するARペースカーを表示するからである。
これにより、スマートグラスを用いた運転者は、直感的にナビゲーションや停止指示を認識することができる。モータースポーツに於けるペースカーやセーフティカーと呼ばれる先導車をスマートグラスを介して運転者の視界の中に拡張現実技術を用いて表示することにより、運転者に依存しないナビゲーションが実現できる。
<第3の実施形態>
次に上述した第2の実施形態に係る情報表示システムを基本とする第3の実施形態について説明する。
図9は、本発明の第3の実施形態に係る情報表示システムの全体構成を示す図である。図4に示した第2の実施形態に比較すると、図9は、マーカー701が追加になっている。
上述した第2の実施形態において、画像合成部512は、車両画像認識部514が検知した自動車のフロントウィンドー100の形状や位置を用いて、ARペースカー140を表示する位置などを求めた。しかし、本実施形態は、それらの情報を用いずに、例えば車内のダッシュボードの上に設置された専用のマーカー701を用いて算出する。すなわち、本実施形態は、ARペースカー140を表示する位置を、マーカー701に対する相対位置で、あらかじめ定めておく。このとき、車両画像認識部514は、自動車毎に形状が異なるフロントウィンドー100ではなく、自動車の車種に依存しないマーカー701を認識対象とすればよくなり、処理の簡易化を図ることが可能となる。
また、車両画像認識部514は、形状、色、模様などによりマーカー701の位置を識別することが可能である。一般的なAR技術は、マーカーの上に合成画像を表示するが、本実施形態ではマーカー701から距離を置いた場所に合成画像を表示することを特徴とする。
以上、説明したように、第3の実施形態には、進路変更情報を、運転者が容易に認識することができるという効果がある。
その理由は、本実施形態に係る情報表示システムは、スマートグラス500において、進路変更情報に基づいて先導するARペースカーを表示するからである。
さらに、本実施形態は、マーカー701を用いて、車種に依存せずにARペースカーを表示する位置等を求めることにより、その処理を簡易化することができるという効果がある。
(ハードウェア構成)
上述した実施形態において図1に示した各部は、専用の装置によって実践してもよいが、ソフトウェアプログラムの機能(処理)単位(ソフトウェアモジュール)と捉えることができる。但し、これらの図面に示した各部の実装に際しては、様々な構成が想定され得る。このような場合のハードウェア環境の一例を、図10を参照して説明する。
図10は、本発明の第1乃至3の実施形態を実現可能なコンピュータ(情報処理装置)のハードウェア構成を例示的に説明する図である。即ち、図10は、図1に示した情報処理装置10および図2に示したスマートグラス500の全体または一部を実現可能なコンピュータ(情報処理装置)の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。
図10に示した情報処理装置9000は、以下の装置を備え、これらがバス9007を介して接続された構成を有する。
・CPU(Central Processing Unit)9001、
・ディスプレイ9002、
・通信インタフェース(I/F)9003、
・ROM(Read Only Memory)9004、
・RAM(Random Access Memory)9005および
・ハードディスク装置(HD)9006。
ハードディスク装置(HD)9006には、プログラム群9006Aと、各種の記憶情報9006Bとが格納されている。プログラム群9006Aは、例えば、上述した図1に示した情報処理装置10および図2に示したスマートグラス500の各ブロック(各部)に対応する機能を実現するためのコンピュータ・プログラムである。各種の記憶情報9006Bは、例えば、カメラ515が撮影した画像や画像合成部512が作成した情報を格納する。通信インタフェース9003は、ネットワーク9100を介して外部装置と通信を実現する一般的な通信手段である。
そして、情報処理装置9000は、前述の実施形態の説明において参照したブロック図、あるいは、フローチャートの機能を実現可能なコンピュータ・プログラムを、当該ハードウェアのCPU9001が実行する。すなわち、CPU9001は、コンピュータ・プログラムを、図10に示す情報処理装置9000のハードウェア資源を用いて実行することによって本発明の実施形態の機能が達成される。また、情報処理装置9000内に供給されたコンピュータ・プログラムは、読み書き可能なRAM9005、またはハードディスク装置9006等の不揮発性の記憶デバイス(記憶媒体)に格納すればよい。
また、上述の場合において、当該装置内へのコンピュータ・プログラムの供給方法は、現在では一般的な手順を採用することができる。供給方法は、例えば、CD−ROM等の各種記憶媒体を介して当該装置内にインストールする方法や、インターネット等のネットワーク9100を介して外部からダウンロードする方法がある。そして、このような場合において、本発明の実施形態は、係るコンピュータ・プログラムを構成するコード或いは、そのコードが記録されたところの、コンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
(付記1)
撮像手段と、
AR(拡張現実)技術を用いて、前記撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する制御手段と、
前記制御手段により作成された情報を基に、ペースカーを表示する表示手段とを備える
情報処理装置。
(付記2)
前記自動車は、二輪車を含む
付記1記載の情報処理装置。
(付記3)
前記ペースカーは、二輪車の仮想表示像を含む
付記1または2記載の情報処理装置。
(付記4)
前記制御手段は、前記撮像手段が撮影した画像を基に前記自動車のフロントウィンドーの形状を検知し、検知された情報を基に、前記ペースカーを表示する位置やその大きさを決定する
付記1乃至3の何れか一項に記載の情報処理装置。
(付記5)
車両情報を解析する車両情報認識手段をさらに備え、
前記車両情報認識手段により検知した車速情報の変化に応じて、前記制御手段は、前記ペースカーの表示位置や形状を補整するように制御する
付記1乃至4の何れか一項に記載の情報処理装置。
(付記6)
前記撮像手段が撮影した画像に赤信号が含まれることを検知する周辺画像認識手段をさらに備え、
前記周辺画像認識手段により検知された情報を基に、前記制御手段は、前記ペースカーが停止する状態を表示するように制御する
付記1乃至5の何れか一項に記載の情報処理装置。
(付記7)
前記運転操作情報に車線を変更する旨の指示が含まれるとき、前記制御手段は、前記ペースカーが車線変更する状態を表示するように制御する
付記1乃至6の何れか一項に記載の情報処理装置。
(付記8)
前記運転操作情報に曲がる旨の指示が含まれるとき、前記制御手段は、前記ペースカーが曲がる状態を表示するように制御する
付記1乃至7の何れか一項に記載の情報処理装置。
(付記9)
前記制御手段は、前記撮像手段が撮影した画像を基に前記自動車に設置されたマーカーを検知し、あらかじめ定めた前記マーカーに対する相対位置に、前記ペースカーを表示するように制御する
付記1乃至3、および、5乃至8の何れか一項に記載の情報処理装置。
(付記10)
角速度と加速度と地磁気を検出する9軸センサー手段と、
付記1乃至9の何れか一項に記載の情報処理装置とを備える
スマートグラス。
(付記11)
AR技術を用いて、撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために作成した情報を基に、ペースカーを表示する
制御方法。
(付記12)
AR技術を用いて、撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する制御機能と、
前記制御機能により作成された情報を基に、ペースカーを表示する表示機能と
を、コンピュータに実現させる
コンピュータ・プログラム。
10 情報処理装置
11 撮像部
12 制御部
13 表示部
20 運転操作情報
100 フロントウィンドー
120 運転者
140 ARペースカー
141 ブレーキランプ
142 リア左方向指示器
143 リア右方向指示器
144 フロント左方向指示器
151 左折路
400 信号機
401 赤信号
500 スマートグラス
501 進路変更情報出力部
502 車両情報出力部
511 ディスプレイ
512 画像合成部
513 車両情報認識部
514 車両画像認識部
515 カメラ
516 周辺画像認識部
517 9軸センサー部
601 メッセージ
602 矢印
603 矢印
701 マーカー
9000 情報処理装置
9001 CPU
9002 ディスプレイ
9003 通信インタフェース
9004 ROM
9005 RAM
9006 ハードディスク装置
9006A プログラム群
9006B 各種の記憶情報
9007 バス
9100 ネットワーク

Claims (10)

  1. 撮像手段と、
    AR(拡張現実)技術を用いて、前記撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する制御手段と、
    前記制御手段により作成された情報を基に、ペースカーを表示する表示手段とを備える
    情報処理装置。
  2. 前記自動車は、二輪車を含む
    請求項1記載の情報処理装置。
  3. 前記ペースカーは、二輪車の仮想表示像を含む
    請求項1または2記載の情報処理装置。
  4. 前記制御手段は、前記撮像手段が撮影した画像を基に前記自動車のフロントウィンドーの形状を検知し、検知された情報を基に、前記ペースカーを表示する位置やその大きさを決定する
    請求項1乃至3の何れか一項に記載の情報処理装置。
  5. 車両情報を解析する車両情報認識手段をさらに備え、
    前記車両情報認識手段により検知した車速情報の変化に応じて、前記制御手段は、前記ペースカーの表示位置や形状を補整するように制御する
    請求項1乃至4の何れか一項に記載の情報処理装置。
  6. 前記撮像手段が撮影した画像に赤信号が含まれることを検知する周辺画像認識手段をさらに備え、
    前記周辺画像認識手段により検知された情報を基に、前記制御手段は、前記ペースカーが停止する状態を表示するように制御する
    請求項1乃至5の何れか一項に記載の情報処理装置。
  7. 前記制御手段は、前記撮像手段が撮影した画像を基に前記自動車に設置されたマーカーを検知し、あらかじめ定めた前記マーカーに対する相対位置に、前記ペースカーを表示するように制御する
    請求項1乃至3、5または6の何れか一項に記載の情報処理装置。
  8. 角速度と加速度と地磁気を検出する9軸センサー手段と、
    請求項1乃至7の何れか一項に記載の情報処理装置とを備える
    スマートグラス。
  9. AR技術を用いて、撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために作成した情報を基に、ペースカーを表示する
    制御方法。
  10. AR技術を用いて、撮像手段により得られた画像から、あらかじめ定めた表示位置の目印となるものを検出し、自動車が目的地に到着するために必要な運転操作を示す運転操作情報に基づいて先導するペースカーを、その表示位置に表示するために用いる情報を作成する制御機能と、
    前記制御機能により作成された情報を基に、ペースカーを表示する表示機能と
    を、コンピュータに実現させる
    コンピュータ・プログラム。
JP2016007754A 2016-01-19 2016-01-19 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム Pending JP2017129406A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016007754A JP2017129406A (ja) 2016-01-19 2016-01-19 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016007754A JP2017129406A (ja) 2016-01-19 2016-01-19 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム

Publications (1)

Publication Number Publication Date
JP2017129406A true JP2017129406A (ja) 2017-07-27

Family

ID=59394697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016007754A Pending JP2017129406A (ja) 2016-01-19 2016-01-19 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP2017129406A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021004862A (ja) * 2019-06-27 2021-01-14 トヨタ自動車株式会社 サーバ装置および画像提供方法
US11351918B2 (en) 2018-11-13 2022-06-07 Toyota Jidosha Kabushiki Kaisha Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
US11815695B2 (en) 2021-11-22 2023-11-14 Toyota Jidosha Kabushiki Kaisha Image display system
US11875530B2 (en) 2021-11-22 2024-01-16 Toyota Jidosha Kabushiki Kaisha Image display system and image controller
US11941173B2 (en) 2021-11-22 2024-03-26 Toyota Jidosha Kabushiki Kaisha Image display system

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113301A (ja) * 1995-10-19 1997-05-02 Denso Corp 車両用ナビゲーション装置
JP2001082968A (ja) * 1999-09-17 2001-03-30 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2001141495A (ja) * 1999-11-10 2001-05-25 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2005106651A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置
JP2005107916A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置、車両用情報提供方法及び車両用情報提供プログラム
JP2006501443A (ja) * 2002-08-07 2006-01-12 シーメンス アクチエンゲゼルシヤフト 車両に対してナビゲーション情報を表示する方法及び装置
JP2007303989A (ja) * 2006-05-12 2007-11-22 Pioneer Electronic Corp 移動体端末装置、移動体端末装置の制御方法、移動体端末装置の制御プログラム、および移動体端末装置の制御プログラムを記録した記録媒体
JP2008037167A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
JP2013044707A (ja) * 2011-08-26 2013-03-04 Sanyo Electric Co Ltd ナビゲーション装置
JP2013218459A (ja) * 2012-04-06 2013-10-24 Sony Corp 情報処理装置、情報処理方法及び情報処理システム
JP2014134990A (ja) * 2013-01-11 2014-07-24 Casio Comput Co Ltd 通信装置、ar表示システム及びプログラム
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
JP2015176526A (ja) * 2014-03-18 2015-10-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015176516A (ja) * 2014-03-18 2015-10-05 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
JP2015204616A (ja) * 2014-04-14 2015-11-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ヘッドマウントディスプレイの提示の調整
JP2016005017A (ja) * 2014-06-13 2016-01-12 株式会社Nttドコモ 管理装置、会話システム、会話管理方法及びプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113301A (ja) * 1995-10-19 1997-05-02 Denso Corp 車両用ナビゲーション装置
JP2001082968A (ja) * 1999-09-17 2001-03-30 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2001141495A (ja) * 1999-11-10 2001-05-25 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2006501443A (ja) * 2002-08-07 2006-01-12 シーメンス アクチエンゲゼルシヤフト 車両に対してナビゲーション情報を表示する方法及び装置
JP2005106651A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置
JP2005107916A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置、車両用情報提供方法及び車両用情報提供プログラム
JP2007303989A (ja) * 2006-05-12 2007-11-22 Pioneer Electronic Corp 移動体端末装置、移動体端末装置の制御方法、移動体端末装置の制御プログラム、および移動体端末装置の制御プログラムを記録した記録媒体
JP2008037167A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
JP2013044707A (ja) * 2011-08-26 2013-03-04 Sanyo Electric Co Ltd ナビゲーション装置
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
JP2013218459A (ja) * 2012-04-06 2013-10-24 Sony Corp 情報処理装置、情報処理方法及び情報処理システム
JP2014134990A (ja) * 2013-01-11 2014-07-24 Casio Comput Co Ltd 通信装置、ar表示システム及びプログラム
JP2015176526A (ja) * 2014-03-18 2015-10-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015176516A (ja) * 2014-03-18 2015-10-05 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
JP2015204616A (ja) * 2014-04-14 2015-11-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ヘッドマウントディスプレイの提示の調整
JP2016005017A (ja) * 2014-06-13 2016-01-12 株式会社Nttドコモ 管理装置、会話システム、会話管理方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11351918B2 (en) 2018-11-13 2022-06-07 Toyota Jidosha Kabushiki Kaisha Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
JP2021004862A (ja) * 2019-06-27 2021-01-14 トヨタ自動車株式会社 サーバ装置および画像提供方法
JP7172880B2 (ja) 2019-06-27 2022-11-16 トヨタ自動車株式会社 サーバ装置および画像提供方法
US11815695B2 (en) 2021-11-22 2023-11-14 Toyota Jidosha Kabushiki Kaisha Image display system
US11875530B2 (en) 2021-11-22 2024-01-16 Toyota Jidosha Kabushiki Kaisha Image display system and image controller
US11941173B2 (en) 2021-11-22 2024-03-26 Toyota Jidosha Kabushiki Kaisha Image display system

Similar Documents

Publication Publication Date Title
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
US11486726B2 (en) Overlaying additional information on a display unit
JP6254554B2 (ja) 情報提示システム
US9308917B2 (en) Driver assistance apparatus capable of performing distance detection and vehicle including the same
JP2006284458A (ja) 運転支援情報表示システム
JP2017129406A (ja) 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
KR20160142167A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
JP2016218732A (ja) 自動車周辺情報表示システム
JPWO2019038903A1 (ja) 周囲車両表示方法及び周囲車両表示装置
CN105378815B (zh) 用信号为车辆驾驶员告知视觉上至少部分地被遮挡的交通对象的方法和设备
JP5916541B2 (ja) 車載システム
JP2009009446A (ja) 車両用情報表示装置
CN111886155A (zh) 用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质
US20200249044A1 (en) Superimposed-image display device and computer program
JP6736268B2 (ja) 画像処理装置、画像表示システム及び画像処理方法
CN113924225A (zh) 用于通过机动车辆中的驾驶员辅助系统对行驶方向执行修正的方法以及用于此的控制设备
WO2019038904A1 (ja) 周囲車両表示方法及び周囲車両表示装置
US20210049985A1 (en) Image control apparatus, display apparatus, mobile body, image data generation method, and recording medium
JP2007257301A (ja) 車両用標識認識装置
JP6186905B2 (ja) 車載表示装置およびプログラム
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
JP2022041244A (ja) 車載表示装置、方法およびプログラム
CN211032356U (zh) 车辆用显示系统及车辆
JP6823003B2 (ja) 出力装置
WO2019189271A1 (en) Image control apparatus, display apparatus, mobile body, image data generation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200519