JP2022095787A - 表示方法、装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラム - Google Patents

Abstract

【課題】運転者の視線に基づいて視線に対応するオブジェクトを表示する。【解決手段】本開示は、人工知能の技術分野、具体的にスマート交通および深層学習の技術分野に関する、表示方法、装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラムを提供する。この方法の特定の実施形態は、運転者の眼球状態画像である第一画像を取得することと、運転者が乗っている車両の周囲環境画像である第二画像を取得することと、第一画像および第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定することと、ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示することと、を含む。【選択図】図２

Description

本開示は、コンピュータの分野、具体的にスマート交通や深層学習などの人工知能分野、特に表示方法、装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラムに関する。

コンピュータ技術の急速な発展に伴い、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）技術は広く使用されており、人間が見える現実の世界にデジタル画像をカバーすることによって、ＡＲから投影された情報を現実の環境と融合する。

ヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）は、ヘッドアップ表示装置とも呼ばれ、以下ではＨＵＤと略称されており、現在、航空機の飛行補助機器に広く使用されている。ヘッドアップとは、パイロットが頭を下げずに必要で重要な情報を見ることができることを意味する。ヘッドアップディスプレイは、最初に軍用機に登場されており、飛行中に一般的に使用されるデータをパイロットの前方の飛行機用風防に直接投影することにより、パイロットが頭を下げて計器を検査する頻度を低減し、注意力が中断されて状態意識の管理が失われることを防止する。

本開示は、表示方法、装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラムを提供する。

本開示の第一様態によれば、表示方法が提供される。この方法は、運転者の眼球状態画像である第一画像を取得することと、運転者が乗っている車両の周囲環境画像である第二画像を取得することと、第一画像および第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定することと、ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示することと、を含む。

本開示の第二様態によれば、表示装置が提供される。この装置は、運転者の眼球状態画像である第一画像を取得するように構成された第一取得モジュールと、運転者が乗っている車両の周囲環境画像である第二画像を取得するように構成された第二取得モジュールと、第一画像および第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定するように構成された第一決定モジュールと、ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示するように構成された第二決定モジュールと、を含む。

本開示の第三様態によれば、電子デバイスが提供される。この電子デバイスは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信接続されたメモリと、を含み、このメモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶し、この命令は、少なくとも１つのプロセッサが第一様態の任意の実施形態に記載の方法を実行できるように少なくとも１つのプロセッサによって実行される。

本開示の第四様態によれば、第一様態または第二様態の任意の実施形態に記載の方法をコンピュータに実行させるためのコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体が提供される。

本開示の第五様態によれば、プロセッサによって実行されると、第一様態または第二様態の任意の実施形態に記載の方法を実行するコンピュータプログラムが提供される。

このセクションで説明される内容は、本開示の実施例の主要または重要な特徴を特定することを意図するものではなく、また、本開示の範囲を限定することを意図するものでもないことを理解されたい。本開示の他の特徴は、以下の説明から容易に理解されるであろう。

図面は、本実施例をより明確に理解するために使用されており、本開示を限定するものではない。ここで、
本開示が適用され得る例示的なシステムアーキテクチャ図である。 本開示に係る表示方法の一実施例のフローチャートである。 本開示に係る表示方法の別の実施例のフローチャートである。 本開示に係る表示方法のさらに別の実施例のフローチャートである。 本開示に係る表示方法のまたさらに別の実施例のフローチャートである。 本開示に係る表示装置の一実施例の構造概略図である。 本開示の実施例に係る表示方法を実行するための電子デバイスのブロック図である。

本開示の例示的な実施例は、理解を容易にするための本開示の実施例の様々な詳細を含む図面と併せて以下に説明され、単なる例示と見なされるべきである。従って、本開示の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を行うことができることは、当業者にとって理解されるであろう。同様に、明瞭性と簡潔性の観点から、公知の機能と構造に関する説明は、以下の説明において省略される。

なお、本開示の実施例および実施例の特徴は、矛盾しない限り、互いに組み合わせることができる。以下、図面および実施例を参照して本開示を詳細に説明する。

図１は、本開示の表示方法または表示装置の実施例が適用され得る例示的なシステムアーキテクチャ１００を示す。

図１に示すように、システムアーキテクチャ１００は、端末デバイス１０１、１０２、１０３、ネットワーク１０４、およびサーバ１０５を含み得る。ネットワーク１０４は、端末デバイス１０１、１０２、１０３とサーバ１０５との間の通信リンクを提供するための媒体である。ネットワーク１０４は、有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含み得る。

ユーザは、端末デバイス１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と対話して、情報などを送受信することができる。端末デバイス１０１、１０２、１０３には、様々なクライアントアプリケーションがインストールされ得る。

端末デバイス１０１、１０２、１０３は、ハードウェアであり得るか、またはソフトウェアであり得る。端末デバイス１０１、１０２、１０３がハードウェアである場合、それらは、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含むがこれらに限定されない、様々な電子デバイスであり得る。端末デバイス１０１、１０２、１０３がソフトウェアである場合、それらは、上記電子デバイスにインストールされ得る。それらは、複数のソフトウェアまたはソフトウェアモジュールとして実装され得るか、または単一のソフトウェアまたはソフトウェアモジュールとして実装され得る。ここでは特に限定されない。

サーバ１０５は様々なサービスを提供することができる。例えば、サーバ１０５は、端末デバイス１０１、１０２、１０３から取得された第一画像および第二画像を分析して処理し、処理結果（例えば、ＰＯＩオブジェクトおよびＰＯＩオブジェクトのターゲット表示位置）を生成することができる。

なお、サーバ１０５は、ハードウェアであり得るか、またはソフトウェアであり得る。サーバ１０５がハードウェアである場合、それは、複数のサーバからなる分散型サーバクラスタとして実装され得るか、または単一のサーバとして実装され得る。サーバ１０５がソフトウェアである場合、それは、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装され得るか、または単一のソフトウェアまたはソフトウェアモジュールとして実装され得る。ここでは特に限定されない。

なお、本開示の実施例によって提供される表示方法が一般にサーバ１０５によって実行されるため、表示装置は、一般にサーバ１０５内に配置される。

図１中の端末デバイス、ネットワーク、およびサーバの数は、単なる例示であることを理解されたい。実際のニーズに応じて、端末デバイス、ネットワーク、およびサーバの数が任意に設定され得る。

さらに図２を参照すると、図２は、本開示に係る表示方法の一実施例のプロセス２００を示す。この表示方法は、以下のステップを含む。

ステップ２０１：第一画像を取得する。

本実施例では、表示方法の実行主体（例えば、図１に示すサーバ１０５）は、運転者の眼球状態画像である第一画像を取得することができる。

第一画像は運転者が乗っている車両の画像センサによって収集され得、本実施例の画像センサはカメラセンサ（以下、カメラと略称される）であり、実際の状況に応じて他の画像センサが採用され得るが、本開示では特に限定されない。上記カメラは、運転者の眼球状態画像をリアルタイムで撮影することができる。

ステップ２０２：第二画像を取得する。

本実施例では、上記実行主体は、運転者が乗っている車両の周囲環境画像である第二画像を取得することができる。

第二画像は運転者が乗っている車両の別のカメラによって収集され得、即ち、運転者が乗っている車両には２つのカメラが取り付けられ得、１つは運転者の眼球状態画像を内部から収集することができ、もう１つは運転者が乗っている車両の周囲環境画像を外部から収集することができる。当然のことながら、実際の状況に応じてカメラの数が任意に設定されるが、本開示では特に限定されない。

第二画像は、この車両が走行する道路の両側の各建築物を含み得、障害物などをさらに含み得る。

ステップ２０３：第一画像および第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定する。

本実施例では、上記実行主体は、ステップ２０１によって取得された第一画像、およびステップ２０２によって取得された第二画像に基づいて、ＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ、ポイントオブインタレスト）オブジェクトを決定することができる。地理情報システムでは、ＰＯＩは、家屋、郵便ポスト、バス停留所などであり得る。

本実施例では、車両の走行中に、道路の両側には対応する多くの建築物または他の識別子があり、本実施例では、運転者の視線に基づいてＰＯＩオブジェクトについての情報を表示し、ＰＯＩオブジェクトを車両のフロントガラスに表示することにより、運転者が関連情報をより容易に取得できるようにする。従って、本実施例では、上記実行主体は、運転者の眼球状態を表す第一画像に基づいて、第二画像内のＰＯＩオブジェクトを決定をすることができ、ここではＰＯＩオブジェクトは運転者によって注目されたオブジェクトである。

なお、フロントガラス上のＰＯＩオブジェクトの表示画面は、車両内のヘッドアップディスプレイによって投影されて形成され得、ヘッドアップディスプレイは、運転者が頭を下げたり振り返したりせずに時速、ナビゲーションなどの重要な運転情報を見ることができるように、時速、ナビゲーションなどの重要な運転情報を車両のフロントガラスに投影することができる。

ステップ２０４：ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示する。

本実施例では、上記実行主体は、ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示することができる。上記実行主体は、第二画像内のＰＯＩオブジェクトの位置情報に基づいて、フロントガラス上の表示画面におけるＰＯＩオブジェクトの位置情報を決定することができ、この位置情報は、ＰＯＩオブジェクトの実位置情報（即ち、第二画像内の位置情報）に対応しなければならないので、ＰＯＩオブジェクトを運転者により直感的で正確に表示することができる。

一例として、第一画像を分析することにより、運転者が乗っている車両の左前方を注目していると決定した場合、第二画像内の左上領域のオブジェクト（建築物）はＰＯＩオブジェクトであり、フロントガラス上の表示画面におけるこのＰＯＩオブジェクトのターゲット表示位置は左上でなければならない。

本開示の実施例によって提供される表示方法は、まず、運転者の眼球状態を表す第一画像を取得し、次に運転者が乗っている車両の周囲環境を表す第二画像を取得し、次に第一画像および第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定し、最後にＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示する。本開示は表示方法を提供する。この方法は、運転者の眼球状態画像および周囲環境画像に基づいて、ＰＯＩオブジェクトおよび表示画面内のＰＯＩオブジェクトのターゲット表示位置をリアルタイムで決定して、ＰＯＩオブジェクトを運転者に表示することにより、運転者がＰＯＩを手動で検索せずに運転者の視線に基づいてＰＯＩオブジェクトを表示できるようにすることができるので、この方法は、車両走行中の利便性と安全性を確保する。

さらに図３を参照すると、図３は、本開示に係る表示方法の別の実施例のプロセス３００を示す。この表示方法は、以下のステップを含む。

ステップ３０１：第一画像を取得する。

ステップ３０２：第二画像を取得する。

ステップ３０１－３０２は前記実施例のステップ２０１－２０２と基本的に一致しており、特定の実施形態には前記ステップ２０１－２０２の説明を参照することができるので、ここでは繰り返されない。

ステップ３０３：第一画像に基づいて運転者の視線方向を決定する。

本実施例では、表示方法の実行主体（例えば、図１に示すサーバ１０５）は、第一画像に基づいて運転者の視線方向を決定することができる。

運転者が運転している道路の両側の異なる建築物を注目しているとき、その視線方向が異なり、それに対応する眼球向き情報も異なるため、本実施例では、運転者の眼球状態を表す第一画像に基づいてこのときの運転者の眼球向き情報を決定して、運転者の視線方向を決定することができる。

ステップ３０４：視線方向に基づいて第二画像内のＰＯＩオブジェクトを決定する。

本実施例では、上記実行主体は、ステップ３０３によって決定された運転者の視線方向に基づいて第二画像内のＰＯＩオブジェクトを決定し、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定することができ、このヘッドアップ表示画面はヘッドアップディスプレイによって投影された画面である。

第二画像は運転者が乗っている車両の周囲環境内の複数のオブジェクトを含むので、運転者が特定の方向または特定のオブジェクトを注目しているときに、その注目しているターゲットオブジェクトを決定する必要がある。

本実施例では、運転者の注目している方向を決定した後、運転者の注目している方向に対応する第二画像内の領域を決定することができ、この領域内のオブジェクトはＰＯＩオブジェクトである。

本実施例のいくつかの代替実施形態では、ステップ３０４は、視線方向にはターゲットオブジェクトがあるか否かを判断することと、判断結果に基づいて第二画像内のＰＯＩオブジェクトを決定することと、を含む。本実施形態では、運転者の視線方向には対応するターゲットオブジェクトがあるか否かを判断し、判断結果に基づいて第二画像内のＰＯＩオブジェクトを決定することができるので、運転者の視線に基づいて視線に対応するオブジェクトについての情報を表示して、運転者の視線に基づくオブジェクト追跡を実現することができる。

ステップ３０５：ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示する。

ステップ３０５は前記実施例のステップ２０４と基本的に一致しており、特定の実施形態には前記ステップ２０４の説明を参照することができるので、ここでは繰り返されない。

図３から分かるように、図２に対応する実施例と比べて、本実施例の表示方法は、第一画像に基づいて運転者の視線方向を決定し、視線方向に基づいて第二画像内のＰＯＩオブジェクトを決定することができるので、この表示方法は、視線方向に基づいてＰＯＩオブジェクトを決定するステップを強調しており、決定された情報の精度を向上させることができ、適用範囲がより広い。

さらに図４を参照すると、図４は、本開示に係る表示方法のさらに別の実施例のプロセス４００を示す。この表示方法は、以下のステップを含む。

ステップ４０１：第一画像を取得する。

ステップ４０２：第二画像を取得する。

ステップ４０３：第一画像に基づいて運転者の視線方向を決定する。

ステップ４０１－４０３は前記実施例のステップ３０１－３０３と基本的に一致しており、特定の実施形態には前記ステップ３０１－３０３の説明を参照することができるので、ここでは繰り返されない。

ステップ４０４：視線方向に基づいて世界座標系内の第一ターゲット領域を決定する。

本実施例では、表示方法の実行主体（例えば、図１に示すサーバ１０５）は、視線方向に基づいて世界座標系内の第一ターゲット領域を決定することができる。世界座標系は現実の世界での座標系である。運転者の視線方向を決定した後、視線方向に基づいて世界座標系内の第一ターゲット領域を決定することができる。例えば、運転者の視線方向が左前方であると決定した後、左前方に対応する世界座標系内の領域が第一ターゲット領域であると決定することができる。

ステップ４０５：世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定する。

本実施例では、上記実行主体は、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定することができる。

第二画像が現実の環境内のオブジェクトを撮影した画像であるため、第二画像は世界座標系に対応しており、第二画像には画像座標系もある場合、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定することができる。第二ターゲット領域は、運転者の視線方向に対応する第二画像内の領域である。

ステップ４０６：第二ターゲット領域にはターゲットオブジェクトがあるか否かを判断する。

本実施例では、上記実行主体は、第二ターゲット領域にはターゲットオブジェクトがあるか否か、即ち、運転者の視線方向には対応するターゲットオブジェクトがあるか否かを判断することができる。

第二ターゲット領域にはターゲットオブジェクトがある場合、ステップ４０７を実行するが、そうでない場合、ステップ４０８を実行する。

ステップ４０７：第二ターゲット領域にはターゲットオブジェクトがあり、運転者の視線がターゲットオブジェクトに所定時間滞在する場合、ターゲットオブジェクトをＰＯＩオブジェクトとして決定する。

本実施例では、上記実行主体は、第二ターゲット領域にはターゲットオブジェクトがあり、運転者の視線がこのターゲットオブジェクトに所定時間滞在する場合、運転者がこのターゲットオブジェクトを注目していると決定し、このターゲットオブジェクトをＰＯＩオブジェクトとして決定することができる。例えば、第二ターゲット領域には建築物があり、運転者の視線がこの建築物に２秒間滞在する場合、この建築物をＰＯＩオブジェクトとして決定する。

ステップ４０８：所定のルールに基づいて第二画像内のＰＯＩオブジェクトを決定する。

本実施例では、上記実行主体は、第二ターゲット領域にはターゲットオブジェクトがない場合、所定のルールに基づいて第二画像内のＰＯＩオブジェクトを決定することができる。ここで、所定のルールは、第二画像内のすべてのオブジェクトをＰＯＩオブジェクトとして設定するものであり得る。第二画像が１つ以上のオブジェクト（建築物）を含み得るので、第二画像内のすべてのオブジェクトは、ＰＯＩオブジェクトとして事前に設定され得る。所定のルールは、運転者の履歴動作に基づいて第二画像内のＰＯＩオブジェクトを選択するものでもあり得る。例えば、上記実行主体はこの運転者によって前に注目されたＰＯＩオブジェクトがいずれもデパートであると決定した場合、上記実行主体は、第二画像内のデパートを現在のＰＯＩオブジェクトとして選択することができる。当然のことながら、決定ルールは、実際のニーズに応じて設定され得るが、本開示では特に限定されない。

ステップ４０９：ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示する。

ステップ４０９は前記実施例のステップ３０５と基本的に一致しており、特定の実施形態には前記ステップ３０５の説明を参照することができるので、ここでは繰り返されない。

本実施例のいくつかの代替実施形態では、ステップ４０９は、画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示することを含む。本実施例では、ヘッドアップ表示画面はヘッドアップディスプレイによって投影されて形成されており、ヘッドアップ表示画面には対応する表示座標系もあり、ＰＯＩオブジェクトが第二画像内のオブジェクトであり、この表示座標系と第二画像に対応する画像座標系との間には対応関係もあるので、上記実行主体は、表示座標系と画像座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定して、このターゲット表示位置にこのＰＯＩオブジェクトを表示することができる。

図４から分かるように、図３に対応する実施例と比べて、本実施例の表示方法は、運転者の視線方向にはターゲットオブジェクトがあるか否かに基づいて判断を実行し、判断結果に基づいて第二画像内のＰＯＩオブジェクトを決定し、第二画像内のＰＯＩオブジェクトの位置に基づいて、ヘッドアップ表示画面内のそのターゲット表示位置を決定し、最後にこのターゲット表示位置にこのＰＯＩオブジェクトを表示することにより、運転者の視線に基づいて適切な表示を実行し、表示情報を実際のものと一致させ、運転者が情報をより容易に取得できるようにする。

さらに図５を参照すると、図５は、本開示に係る表示方法のまたさらに別の実施例のプロセス５００を示す。この表示方法は、以下のステップを含む。

ステップ５０１：第一画像を取得する。

ステップ５０２：第二画像を取得する。

ステップ５０３：第一画像および第二画像に基づいてＰＯＩオブジェクトを決定する。

ステップ５０１－５０３は前記実施例のステップ２０１－２０３と基本的に一致しており、特定の実施形態には前記ステップ２０１－２０３の説明を参照することができるので、ここでは繰り返されない。

ステップ５０４：車両の現在位置情報を取得する。

本実施例では、表示方法の実行主体（例えば、図１に示すサーバ１０５）は、車両の現在位置情報を取得することができる。ここで、現在位置情報は、車両上のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、タイミング測距ナビゲーション衛星の全地球測位システム）によって取得され得るか、または車両上のＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、慣性計測装置）センサによって取得され得るが、本開示では特に限定されない。現在位置情報は、世界座標系内の現在位置の座標であり得る。

ステップ５０５：現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得する。

本実施例では、上記実行主体は、ステップ５０４によって取得された現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得することができる。例えば、現在位置の座標に基づいてこのＰＯＩオブジェクトの属性情報を地図から取得することができる。ここで、属性情報は、ＰＯＩオブジェクトの名称、カテゴリ情報などであり得る。例えば、ＰＯＩオブジェクトがデパートである場合、その属性情報は、このデパートの名称、デパート内の店舗の活動推薦、活動の割引情報などの情報を含み得る。ＰＯＩオブジェクトが運転者の興味のあるオブジェクトであるため、本実施例では、ＰＯＩオブジェクトの属性情報を取得して、より包括的な情報を運転者にフィードバックすることもできる。

ステップ５０６：ＰＯＩオブジェクトのターゲット表示位置を決定する。

本実施例では、上記実行主体は、ＰＯＩオブジェクトのターゲット表示位置を決定することができる。

ステップ５０６は前記実施例のステップ２０４と基本的に一致しており、特定の実施形態には前記ステップ２０４の説明を参照することができるので、ここでは繰り返されない。

ステップ５０７：ターゲット表示位置にＰＯＩオブジェクトを表示し、属性情報をＰＯＩオブジェクトに重畳表示する。

本実施例では、上記実行主体は、ステップ５０６によって決定されたターゲット表示位置にこのＰＯＩオブジェクトを表示することができる。上記実行主体は、ステップ５０５によって取得された属性情報をＰＯＩオブジェクトに重畳表示することにより、これらの属性情報を現実の建物と融合して、拡張現実効果を達成することができる。例えば、ＰＯＩオブジェクトがデパートである場合、上記実行主体は、このデパートをターゲット表示位置にレンダリングし、このデパートの名称、デパート内の活動情報などをこのＰＯＩオブジェクトに重畳表示することができる。

図５から分かるように、図４に対応する実施例と比べて、本実施例の表示方法はまた、現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得し、この属性情報をこのＰＯＩオブジェクトに重畳表示することにより、これらの属性情報を現実の建物と融合して、拡張現実効果を達成する。

本開示の技術的解決手段に係るユーザ個人情報の取得、記憶、適用などはいずれも、関連法令の規定を満たしており、公序良俗に違反していない。

さらに図６を参照すると、上記の各図に示す方法の実施形態として、本開示は、図２に示す方法の実施例に対応する表示装置の実施例を提供する。この装置は、様々な電子デバイスに特に適用できる。

図６に示すように、本実施例の表示装置６００は、第一取得モジュール６０１、第二取得モジュール６０２、第一決定モジュール６０３、および第二決定モジュール６０４を含み得る。ここで、第一取得モジュール６０１は、運転者の眼球状態画像である第一画像を取得するように構成される。第二取得モジュール６０２は、運転者が乗っている車両の周囲環境画像である第二画像を取得するように構成される。第一決定モジュール６０３は、第一画像および第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定するように構成される。第二決定モジュール６０４は、ＰＯＩオブジェクトのターゲット表示位置を決定して、ターゲット表示位置にＰＯＩオブジェクトを表示するように構成される。

本実施例では、表示装置６００の第一取得モジュール６０１、第二取得モジュール６０２、第一決定モジュール６０３、および第二決定モジュール６０４の具体的な処理とその技術的効果については、それぞれ図２に対応する実施例のステップ２０１－２０４の関連説明を参照することができるので、ここでは繰り返さない。

本実施例のいくつかの代替実施形態では、第一決定モジュールは、第一画像に基づいて運転者の視線方向を決定するように構成された第一決定サブモジュールと、視線方向に基づいて第二画像内のＰＯＩオブジェクトを決定するように構成された第二決定サブモジュールと、を含む。

本実施例のいくつかの代替実施形態では、第二決定サブモジュールは、視線方向にはターゲットオブジェクトがあるか否かを判断するように構成された判断ユニットと、判断結果に基づいて第二画像内のＰＯＩオブジェクトを決定するように構成された決定ユニットと、を含む。

本実施例のいくつかの代替実施形態では、判断ユニットは、視線方向に基づいて世界座標系内の第一ターゲット領域を決定するように構成された第一決定サブユニットと、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定するように構成された第二決定サブユニットと、第二ターゲット領域にはターゲットオブジェクトがあるか否かを判断するように構成された判断サブユニットと、を含む。

本実施例のいくつかの代替実施形態では、決定ユニットは、第二ターゲット領域にはターゲットオブジェクトがあり、運転者の視線がターゲットオブジェクトに所定時間滞在する場合、ターゲットオブジェクトをＰＯＩオブジェクトとして決定するように構成された第三決定サブユニットと、そうでない場合、所定のルールに基づいて第二画像内のＰＯＩオブジェクトを決定するように構成された第四決定サブユニットと、を含む。

本実施例のいくつかの代替実施形態では、第二決定モジュールは、画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定するように構成された第三決定サブモジュールを含む。

本実施例のいくつかの代替実施形態では、上記表示装置は、車両の現在位置情報を取得するように構成された第三取得モジュールと、現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得するように構成された第四取得モジュールと、をさらに含み、第二決定モジュールは、ターゲット表示位置にＰＯＩオブジェクトを表示するように構成された第一表示サブモジュールと、属性情報をＰＯＩオブジェクトに重畳表示するように構成された第二表示サブモジュールと、を含む。

本開示の実施例によれば、本開示は、電子デバイス、可読記憶媒体、およびコンピュータプログラム製品をさらに提供する。

図７は、本開示の実施例を実施するために使用され得る例示的な電子デバイス７００の概略ブロック図を示す。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。電子デバイスは、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すこともできる。本明細書に示されるコンポーネント、それらの接続と関係、およびそれらの機能は単なる例示であり、本明細書に説明および／または請求される本開示の実施形態を限定することを意図したものではない。

図７に示すように、デバイス７００は、リードオンリメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム、または記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに従って、各種の適切な動作および処理を実行することができる計算ユニット７０１を含む。ＲＡＭ７０３には、デバイス７００の動作に必要な各種のプログラムおよびデータも記憶され得る。計算ユニット７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５も、バス７０４に接続される。

デバイス７００内の複数のコンポーネントは、Ｉ／Ｏインターフェース７０５に接続されており、キーボード、マウスなどの入力ユニット７０６と、各種のディスプレイ、スピーカーなどの出力ユニット７０７と、磁気ディスク、光ディスクなどの記憶ユニット７０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット７０９と、を含む。通信ユニット７０９は、デバイス７００が、インターネットなどのコンピュータネットワーク、および／または様々な通信ネットワークを介して、他の装置との間で情報／データを交換することを可能にする。

計算ユニット７０１は、処理能力および計算能力を備えた様々な汎用および／または専用の処理コンポーネントであり得る。計算ユニット７０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット７０１は、上記様々な方法および処理、例えば、表示方法を実行する。例えば、いくつかの実施例では、表示方法は、記憶ユニット７０８などの機械可読媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実装され得る。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ７０２および／または通信ユニット７０９を介して、デバイス７００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ７０３にロードされ、計算ユニット７０１によって実行されると、上記表示方法の１つまたは複数のステップが実行され得る。あるいは、他の実施例では、計算ユニット７０１は、他の任意の適切な手段（例えば、ファームウェア）を介して、表示方法を実行するように構成され得る。

本明細書に記載のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実装され得る。これらの様々な実施形態は、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信したり、この記憶システム、この少なくとも１つの入力装置、およびこの少なくとも１つの出力装置にデータおよび命令を送信したりすることができる専用又は汎用のプログラマブルプロセッサであり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈され得る１つまたは複数のコンピュータプログラムに実装されることを含み得る。

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせで書かれ得る。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブル表示装置のプロセッサまたはコントローラに提供され得るので、プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図で指定された機能／動作が実行される。プログラムコードは、完全にマシン上で実行され得るか、または部分的にマシン上で実行され得るか、または独立したソフトウェアパッケージとして、部分的にマシン上で、部分的にリモートマシン上で実行され得るか、または完全にリモートマシンまたはサーバ上で実行され得る。

本開示の文脈において、機械可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用するためのプログラムを含むかまたは記憶することができる有形媒体であり得る。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置またはデバイス、または上記の任意の適切な組み合わせを含み得るが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１本または複数本の導線を備えた電気コネクタ、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブル・コンパクト・ディスク・リードオンリメモリ（ＣＤ－ＲＯＭ）、光学メモリ、磁気メモリ、または上記の任意の適切な組み合わせを含む。

ユーザとの対話を提供するために、本明細書に記載のシステムおよび技術は、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザが入力をコンピュータに提供することを可能にするキーボードとポインティングデバイス（例えば、マウスまたはトラックボール）とを備えたコンピュータに実装され得る。他のタイプの装置は、ユーザとの対話を提供するためにも使用されており、例えば、任意の形態の感覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック）をユーザに提供したり、任意の形態（音響入力、音声入力、および触覚入力を含む形態）を使用してユーザからの入力を受信したりするために使用され得る。

本明細書に記載のシステムおよび技術は、バックエンドコンポーネント（例えば、データサーバ）を含むコンピュータシステム、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むコンピュータシステム、フロントエンドコンポーネント（例えば、ユーザが本明細書に記載のシステムおよび技術の実施形態と対話することを可能にするグラフィカルユーザインターフェースまたはウェブブラウザを備えたユーザコンピュータ）を含むコンピュータシステム、または、これらバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムに実装され得る。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）を介して互いに接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびインターネットを含む。

コンピュータシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは通常、互いに遠く離れており、通信ネットワークを介して対話する。クライアントとサーバとの関係は、対応するコンピュータで実行され、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであり得るか、または分散型システムのサーバ、またはブロックチェーンを組み合わせたサーバであり得る。

ステップの並べ替え、追加、または削除は、上記様々な形態のプロセスによって実行され得ることを理解されたい。例えば、本開示に記載の各ステップは、本開示に開示された技術的解決手段の所望の結果が達成できる限り、並行して、順次に、または異なる順序で実行され得るが、本明細書に限定されない。

上記特定の実施形態は、本開示の保護範囲を限定するものではない。設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的組み合わせおよび置換を行うことができることは、当業者にとって明らかであろう。本開示の精神と原則の範囲内で行われた修正、同等置換、改良などは、本開示の保護範囲に含まれるべきである。

Claims (17)

1. 運転者の眼球状態画像である第一画像を取得することと、
   運転者が乗っている車両の周囲環境画像である第二画像を取得することと、
   前記第一画像および前記第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定することと、
   前記ＰＯＩオブジェクトのターゲット表示位置を決定して、前記ターゲット表示位置に前記ＰＯＩオブジェクトを表示することと、
   を含む表示方法。
2. 前述した前記第一画像および前記第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定することは、
   前記第一画像に基づいて前記運転者の視線方向を決定することと、
   前記視線方向に基づいて前記第二画像内のＰＯＩオブジェクトを決定することと、
   を含む請求項１に記載の方法。
3. 前述した前記視線方向に基づいて前記第二画像内のＰＯＩオブジェクトを決定することは、
   前記視線方向にはターゲットオブジェクトがあるか否かを判断することと、
   判断結果に基づいて前記第二画像内のＰＯＩオブジェクトを決定することと、
   を含む請求項２に記載の方法。
4. 前述した前記視線方向にはターゲットオブジェクトがあるか否かを判断することは、
   前記視線方向に基づいて世界座標系内の第一ターゲット領域を決定することと、
   前記世界座標系と前記第二画像に対応する画像座標系との対応関係に基づいて、前記第一ターゲット領域に対応する前記第二画像内の第二ターゲット領域を決定することと、
   前記第二ターゲット領域にはターゲットオブジェクトがあるか否かを判断することと、
   を含む請求項３に記載の方法。
5. 前述した判断結果に基づいて前記第二画像内のＰＯＩオブジェクトを決定することは、
   前記第二ターゲット領域にはターゲットオブジェクトがあり、前記運転者の視線が前記ターゲットオブジェクトに所定時間滞在する場合、前記ターゲットオブジェクトを前記ＰＯＩオブジェクトとして決定することと、
   そうでない場合、所定のルールに基づいて前記第二画像内のＰＯＩオブジェクトを決定することと、
   を含む請求項４に記載の方法。
6. 前述した前記ＰＯＩオブジェクトのターゲット表示位置を決定することは、
   前記画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、前記ヘッドアップ表示画面内の前記ＰＯＩオブジェクトのターゲット表示位置を決定すること、
   を含む請求項５に記載の方法。
7. 前述した前記第一画像および前記第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定することの後に、前記方法は、
   車両の現在位置情報を取得することと、
   前記現在位置情報に基づいて前記ＰＯＩオブジェクトの属性情報を取得することと、をさらに含み、
   前述した前記ターゲット表示位置に前記ＰＯＩオブジェクトを表示することは、
   前記ターゲット表示位置に前記ＰＯＩオブジェクトを表示することと、
   前記属性情報を前記ＰＯＩオブジェクトに重畳表示することと、を含む、
   請求項１－６のいずれか一項に記載の方法。
8. 運転者の眼球状態画像である第一画像を取得するように構成された第一取得モジュールと、
   運転者が乗っている車両の周囲環境画像である第二画像を取得するように構成された第二取得モジュールと、
   前記第一画像および前記第二画像に基づいてポイントオブインタレストＰＯＩオブジェクトを決定するように構成された第一決定モジュールと、
   前記ＰＯＩオブジェクトのターゲット表示位置を決定して、前記ターゲット表示位置に前記ＰＯＩオブジェクトを表示するように構成された第二決定モジュールと、
   を含む表示装置。
9. 前記第一決定モジュールは、
   前記第一画像に基づいて前記運転者の視線方向を決定するように構成された第一決定サブモジュールと、
   前記視線方向に基づいて前記第二画像内のＰＯＩオブジェクトを決定するように構成された第二決定サブモジュールと、
   を含む請求項８に記載の装置。
10. 前記第二決定サブモジュールは、
    前記視線方向にはターゲットオブジェクトがあるか否かを判断するように構成された判断ユニットと、
    判断結果に基づいて前記第二画像内のＰＯＩオブジェクトを決定するように構成された決定ユニットと、
    を含む請求項９に記載の装置。
11. 前記判断ユニットは、
    前記視線方向に基づいて世界座標系内の第一ターゲット領域を決定するように構成された第一決定サブユニットと、
    前記世界座標系と前記第二画像に対応する画像座標系との対応関係に基づいて、前記第一ターゲット領域に対応する前記第二画像内の第二ターゲット領域を決定するように構成された第二決定サブユニットと、
    前記第二ターゲット領域にはターゲットオブジェクトがあるか否かを判断するように構成された判断サブユニットと、
    を含む請求項１０に記載の装置。
12. 前記決定ユニットは、
    前記第二ターゲット領域にはターゲットオブジェクトがあり、前記運転者の視線が前記ターゲットオブジェクトに所定時間滞在する場合、前記ターゲットオブジェクトを前記ＰＯＩオブジェクトとして決定するように構成された第三決定サブユニットと、
    そうでない場合、所定のルールに基づいて前記第二画像内のＰＯＩオブジェクトを決定するように構成された第四決定サブユニットと、
    を含む請求項１１に記載の装置。
13. 前記第二決定モジュールは、
    前記画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、前記ヘッドアップ表示画面内の前記ＰＯＩオブジェクトのターゲット表示位置を決定するように構成された第三決定サブモジュール、
    を含む請求項１２に記載の装置。
14. 前記装置は、
    車両の現在位置情報を取得するように構成された第三取得モジュールと、
    前記現在位置情報に基づいて前記ＰＯＩオブジェクトの属性情報を取得するように構成された第四取得モジュールと、をさらに含み、
    前記第二決定モジュールは、
    前記ターゲット表示位置に前記ＰＯＩオブジェクトを表示するように構成された第一表示サブモジュールと、
    前記属性情報を前記ＰＯＩオブジェクトに重畳表示するように構成された第二表示サブモジュールと、を含む、
    請求項８－１３のいずれか一項に記載の装置。
15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリと、を含み、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は、前記少なくとも１つのプロセッサが請求項１－７のいずれか一項に記載の方法を実行できるように前記少なくとも１つのプロセッサによって実行される、
    端末デバイス。
16. 請求項１－７のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体。
17. プロセッサによって実行されると、請求項１－７のいずれか一項に記載の方法を実行するコンピュータプログラム。

Images