JP2022550895A - 道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品 - Google Patents

道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品 Download PDF

Info

Publication number
JP2022550895A
JP2022550895A JP2022520723A JP2022520723A JP2022550895A JP 2022550895 A JP2022550895 A JP 2022550895A JP 2022520723 A JP2022520723 A JP 2022520723A JP 2022520723 A JP2022520723 A JP 2022520723A JP 2022550895 A JP2022550895 A JP 2022550895A
Authority
JP
Japan
Prior art keywords
target object
obstacle avoidance
class
avoidance device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022520723A
Other languages
English (en)
Inventor
殷▲衛▼▲華▼
邵巾▲るい▼
▲藺▼▲穎▼
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022550895A publication Critical patent/JP2022550895A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本発明は、道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品を提供し、当該道路状況のプロンプト方法は、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得することと、前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することと、決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することと、を含む。

Description

関連出願への相互参照
本願は、２０２０年０８月２８日に中国特許局に提出された、中国出願番号が２０２０１０８８７５７６．Ｘであり、出願名称が「道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品」であり、出願人が北京市商湯科技開発有限公司である中国特許出願の優先権を主張し、その全ての内容が参照によって本願に組み込まれる。
本発明は、盲導の技術分野に関し、特に、道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品に関する。
世界保健機関の統計によれば、世界には約２億８５００万人の視覚障害者がいて、視覚障害者は通常の視力を失い、色、形、距離、移動を理解することが困難であり、特に不慣れな屋外の外出環境では、日常生活や外出などの利便性に大きな影響を与えるようになっている。
従来の視覚障害者の外出は、主に盲人用杖や盲導犬の誘導などに依存し、盲人用杖の補助による外出は検出範囲が制限され、盲導犬の誘導による補助を介して外出は使用シナリオが制限されている。
したがって、視覚障害者の外出を補助するために効果的な盲導方式が緊急に必要とされている。
本発明の実施例は、少なくとも道路状況のプロンプト方案を提供する。
第１態様において、本発明の実施例は、道路状況のプロンプト方法を提供し、当該方法は、
障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得することと、
前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することと、
決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することと、を含む。
本発明の実施例では、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び目標対象に対応する距離情報を取得でき、同時に目標対象に対応する対象属性情報及び距離情報に基づいて目標対象のリスク情報を決定し、それにより、目標対象のリスク情報を正確に決定できる。例示的に、障害物回避機器は、視覚障害者が着用している障害物回避眼鏡であり得、目標対象は、視覚障害者が歩いている道路上の障害物であり得る。このようにして、障害物に対応する対象属性情報及び距離情報を取得した後、当該視覚障害者に対する障害物のリスク情報を正確に決定でき、それにより、当該リスク情報に基づいて道路状況のプロンプトを実行し、視覚障害者の外出安全性を向上させることができる。
第２態様において、本発明の実施例は、道路状況のプロンプト装置を提供し、当該装置は、
障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得するように構成される、取得部と、
前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定するように構成される、決定部と、
決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行するように構成される、プロンプト部とを備える。
第３態様において、本発明の実施例は、プロセッサ、メモリ及びバスを備える、電子機器を提供し、前記メモリには、前記プロセッサ実行可能な機器可読命令が記憶され、前記電子機器が実行するときに、前記プロセッサと前記メモリとは、前記バスを介して通信し、前記プロセッサが前記機器可読命令を実行するときに、第１態様に記載の道路状況のプロンプト方法のステップを実行する。
第４態様において、本発明の実施例は、コンピュータプログラムが記憶された、コンピュータ記憶媒体を提供し、当該コンピュータプログラムは、プロセッサによって実行されるときに、第１態様に記載の道路状況のプロンプト方法のステップを実行する。
第５態様において、本発明の実施例は、コンピュータ可読コードを含む、コンピュータプログラム製品を提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、第１態様に記載の道路状況のプロンプト方法を実行する。
本発明の上記の目的、特徴及び利点をより理解しやすくするために、以下では、添付の図面を参照して好ましい実施例を詳細に説明する。
本発明の実施例の技術的解決策をより明確に説明するために、以下では、実施例の説明に必要な図面を簡単に説明する。ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の技術的解決策を説明するために使用される。以下の図面は、本発明の実施例の一部のみを示すだけで、本実施例の保護範囲を限定するものと見なされるべきではなく、当業者にとっては、創造的な労力なしに、これらの図面に基づいて他の関連図面を得ることもできることを理解されたい。
本発明の実施例による道路状況のプロンプト方法のフローチャートである。 本発明の実施例による目標対象のリスク情報を決定する方法のフローチャートである。 本発明の実施例による第１クラスの目標対象に対する言語プロンプト方法のフローチャートである。 本発明の実施例による第２クラスの目標対象に対する言語プロンプト方法のフローチャートである。 本発明の実施例による障害物回避機器の所在位置に対応する道路シナリオのタイプを決定するための第１の方法のフローチャートである。 本発明の実施例による障害物回避機器の所在位置に対応する道路シナリオのタイプを決定するための第２の方法のフローチャートである。 本発明の実施例による第１クラスの音声プロンプト情報及び第２クラスの音声プロンプト情報に対する音声再生方法のフローチャートである。 本発明の実施例による特定の道路状況のプロンプト方案の概略図である。 本発明の実施例による道路状況のプロンプト装置の例示的な構造図である。 本発明の実施例による電子機器の例示的な構造図である。
本発明の実施例の目的、技術的解決策及び利点をより明確にするために、以下では、本発明の実施例の図面を参照して、本発明の実施例の技術的解決策を明確且つ完全に説明する。明らかに、説明される実施例は、本発明の実施例の一部であり、全部の実施例ではない。通常、本明細書の図面に記載及び図示された本発明の実施例の構成要素は、様々な異なる構成で配置及び設計することができる。したがって、添付の図面による本発明の実施例の以下の詳細な説明は、請求される本発明の保護範囲を限定することを意図するものではなく、単に本発明の選択された実施例を示すものである。本発明の実施例に基づいて、創造的な作業なしに当業者によって得られた他のすべての実施例は、本発明の保護範囲に含まれる。
類似した参照数字及び文字は、以下の図面で類似したアイテムを示し、したがって、あるアイテムが１つの図面で定義されると、後続の図面でアイテムを定義して解釈する必要がないことに留意されたい。
本明細書における「及び／又は」という用語は、関連付けられた関係についてのみを説明し、３つの関係が存在し得ることを表示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢの両方が存在する場合、Ｂが独立で存在する場合の３つの場合を表示することができる。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つ又は複数のうちの少なくとも２つの任意の組み合わせを表示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣで構成されるセットから選択された任意の１つ又は複数の要素を含むことを表示する。
外出の分野の場合、道路状況情報の正確なプロンプトは、交通安全分野で非常に重要であり、従来の視覚障害者の外出は、主に盲人用杖や盲導犬の誘導などに依存し、盲人用杖の補助による外出は検出範囲が制限され、盲導犬の誘導の補助による外出は使用シナリオが制限されているため、視覚障害者の外出を補助するために効果的な盲導方式が至急必要とされている。
本発明の実施例は、効果的に視覚障害者の外出を補助できる道路状況のプロンプト方法を提供する。当該方法は、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び目標対象に対応する距離情報を取得でき、同時に目標対象に対応する対象属性情報及び距離情報に基づいて目標対象のリスク情報を決定し、それにより、当該リスク情報に基づいて道路状況のプロンプトを実行し、視覚障害者の外出安全性を向上させることができる。
本発明の実施例の理解を容易にするために、まず、本発明の実施例で開示される道路状況のプロンプト方法を詳細に説明する。本発明の実施例によって提供される道路状況のプロンプト方法の実行主体は、一般的に特定のコンピューティング機能を備えたコンピュータ機器であり、当該コンピュータ機器は、端末機器又はサーバ又は他の処理機器などを含み、端末機器は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、携帯電話（Ｍｏｂｉｌｅ Ｐｈｏｎｅ）などのハンドヘルドデバイス、タブレットＰＣ（Ｐａｄ）、無線トランシーバ機能を備えたＰＣ、ポケットＰＣ、デスクトップＰＣ、携帯情報端末、携帯メディアプレーヤ、スマートスピーカ、ナビゲーション装置、スマートウォッチ、スマートグラス、スマートネックレスなどのウェアラブル機器、歩数計、デジタルＴＶ、仮想現実（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、ＶＲ）端末機器、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）端末機器、産業用制御（Ｉｎｄｕｓｔｒｉａｌ Ｃｏｎｔｒｏｌ）における無線端末、自動運転（Ｓｅｌｆ Ｄｒｉｖｉｎｇ）における無線端末、遠隔医療手術（Ｒｅｍｏｔｅ Ｍｅｄｉｃａｌ Ｓｕｒｇｅｒｙ）における無線端末、スマートグリッド（Ｓｍａｒｔ Ｇｒｉｄ）における無線端末、輸送安全（Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓａｆｅｔｙ）における無線端末、スマートシティ（Ｓｍａｒｔ Ｃｉｔｙ）における無線端末、スマートホーム（Ｓｍａｒｔ Ｈｏｍｅ）における無線端末、カーネットワーキングシステム（Ｃａｒ Ｎｅｔｗｏｒｋｉｎｇ Ｓｙｓｔｅｍ）における車、車載機器、車載モジュールなどのうちの１つであり得る。ここで、本発明の実施例によって提供される道路状況のプロンプト方法の実行主体は、障害物回避機器と同じでもよいし、異なってもよい。いくつかの可能な実施形態では、当該道路状況のプロンプト方法は、プロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すことによって実現することができる。
図１を参照すると、図１は、本発明の実施例による道路状況のプロンプト方法のフローチャートであり、以下のステップＳ１０１～ステップＳ１０３を含み得る。
ステップＳ１０１において、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び目標対象に対応する距離情報を取得する。
ここで、本発明の実施例によって提供される道路状況のプロンプト方法の実行主体は、障害物回避機器であってもよいし、障害物回避機器と通信できる上記の他の機器であってもよい。通常、他の機器は、障害物回避機器との通信接続を維持したり、データ伝送が必要なときに通信接続を確立したりできるが、ここでは限定しない。
例示的に、本発明の実施例によって提供される道路状況のプロンプト方法が盲導分野に適用される場合、障害物回避機器は、障害物回避眼鏡及びモバイル機器のうちの少なくとも１つを含み得、又は障害物回避眼鏡及び他の機器のうちの少なくとも１つを含み得、又は障害物回避眼鏡及びクラウド機器のうちの少なくとも１つを含み得る。いくつかの実施形態では、障害物回避機器は、障害物回避眼鏡などのウェアラブルデバイスを別個に指し得る。
例示的に、異なる適用シナリオの場合、目標対象は、事前に設定された、適用シナリオと一致する障害物、道路状況によって示される物体、歩行者のうちの少なくとも１つを含み得、例えば、道路シナリオを例として、目標対象は、信号機及び横断歩道のうちの少なくとも１つなど、道路シナリオでのユーザの歩き方に対して交通指示を実行するために使用される物体又は指示信号などを含み得、さらに、ユーザが前進する過程で、例えば、車両、歩行者、階段、障害物、電柱、木のうちの少なくとも１つなど、衝突を引き起こす可能性のある障害物を含み得る。
これに対応して、目標対象の対象属性情報は、適用シナリオ内に含まれる異なる目標対象を事前に属性に基づいて実行した分類に応じて取得した目標対象の属性特徴を表すために使用される情報を含み得る。例えば、動的自動車、動的非自動車、及び静的物体のうちの少なくとも１つを含み得る、道路シナリオに含まれる目標対象に対応する対象属性情報を含んでもよい。異なる対象属性情報に対応する危険係数は異なり、これについては後文で詳しく説明する。
例示的に、ここで、目標検出方法を採用して、障害物回避機器によって撮影されたシナリオ画像に対して目標検出を実行することができる。例えば、道路シナリオの場合、適用シナリオと一致する事前に設定された目標対象を含むか否かを決定し、障害物回避機器がシナリオ画像を撮影した後、事前にトレーニングされた目標検出ニューラルネットワークに基づいて、当該シナリオ画像に車両、歩行者、手すり、木、階段、障害物、電柱のうちの少なくとも１つが含まれるか否かを検出できる。
例示的に、障害物回避機器には画像収集部材を設置でき、当該画像収集部材は、障害物回避機器に取り付けられた１台又は複数のカメラを含み得、ここで、カメラは、パノラマカメラ、又は収集範囲が広いカメラであり得、障害物回避機器が障害物回避眼鏡である場合、ユーザがいる道路シナリオのシナリオ画像を収集するために、各カメラを障害物回避眼鏡の異なる位置に配置できる。
ここで、障害物回避機器に対応する距離の設定範囲内の目標対象は、障害物回避機器との距離が設定範囲内にある目標対象であり得、障害物回避機器の画像収集部材を介してシナリオ画像を収集した後、当該シナリオ画像に従って障害物回避機器との距離が設定範囲内にある目標対象を取得できる。ここで、設定範囲の境界と障害物回避機器との間の距離は事前に設定された範囲内にあり、当該事前に設定された範囲は、障害物回避機器の画像収集部材の内部パラメータに関連し、画像収集部材の内部パラメータを決定した後、当該画像収集部材が撮影できる最遠距離は、事前に設定された範囲に対応する距離を示すことができる。
例示的に、目標対象に対応する距離情報は、目標対象と障害物回避機器との間の距離を示すことができ、当該距離は、レーザー測距法（ｌａｓｅｒ ｄｉｓｔａｎｃｅ ｍｅａｓｕｒｉｎｇ）又は光パルスの飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、ＴＯＦ）を測定する方法などの様々な方法で、目標対象と障害物回避機器との間の距離情報を決定でき、これについては後文で詳細に説明する。
ステップＳ１０２において、目標対象に対応する対象属性情報及び距離情報に基づいて、目標対象のリスク情報を決定する。
盲導分野では、目標対象とユーザとの間の距離が近いほど、ユーザに対するリスクも高くなる。まず、障害物を例として、障害物とユーザとの距離が近い場合、衝突する可能性が高くなる。交通指示に対する物体又は指示信号などの場合、例えば信号機を例として、信号機の指示に従わずに歩くと、危険発生の確率も高くなるため、目標対象に対応する距離情報は、目標対象のリスク情報を測定する指標として使用できる。さらに、異なる対象属性情報の目標対象がユーザに対するリスクも異なり、例えば、目標対象が高速自動車であり、及び目標対象が静的物体である場合を例として、ユーザとの衝突時の自動車の危険度が、ユーザとの衝突時の静的物体の危険度より高いため、ここで、目標対象に対応する対象属性情報も、目標対象のリスク情報を測定する指標として使用できる。即ち、目標対象の対象属性情報がそれぞれ自動車及び静的物体である場合、属性情報によってユーザに対する目標対象のリスクの度合いを判別できる。
ステップＳ１０３において、決定された目標対象のリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行する。
目標対象のリスク情報を取得した後、目標対象に対して道路状況のプロンプトを実行でき、例示的に、複数の目標対象が存在する場合、各目標対象のリスク情報が異なることを考慮して、各目標対象のリスク情報に従って、リスクの高い目標対象を選択してユーザに対して道路状況のプロンプトを実行するなど、ユーザに対して選択的なプロンプトを実行することにより、ユーザの外出安全性を確保できる。
いくつかの実施形態では、障害物回避機器を介して道路状況のプロンプトを実行することは、音声及び振動のうちの少なくとも１つの形でプロンプトを実行することを含み得る。
例えば、「前方に障害物があるので、減速して避けてください」という音声、又は振動を介して、前方に障害物があることをユーザにプロンプトする。
本発明の実施例では、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び目標対象に対応する距離情報を取得でき、同時に目標対象に対応する対象属性情報及び距離情報に基づいて目標対象のリスク情報を決定し、それにより、目標対象のリスク情報を正確に決定できる。例示的に、障害物回避機器は、視覚障害者が着用する障害物回避眼鏡であり得、目標対象は、視覚障害者が歩いている道路上の障害物であり得る。このように、障害物に対応する対象属性情報及び距離情報を取得した後、視覚障害者に対する当該障害物のリスク情報を正確に決定でき、それにより、当該リスク情報に基づいて道路状況のプロンプトを実行し、視覚障害者の外出安全性を向上させることができる。
以下では、実施例を参照して上記のステップＳ１０１～ステップＳ１０３について詳細に説明する。
上記のステップＳ１０１の場合、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報を取得することは、以下のステップＳ１０１１～ステップＳ１０１２を含み得る。
ステップＳ１０１１において、障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像を取得する。
ステップＳ１０１２において、シナリオ画像に対して目標検出を実行することにより、シナリオ画像に含まれる目標対象、及び目標対象に対応する対象属性情報を決定する。
例示的に、障害物回避機器の画像収集部材は、ＲＧＢ画像を収集するためのカメラを含み得、当該カメラは、目標道路状況シナリオのＲＧＢシナリオ画像を収集でき、当該ＲＧＢシナリオ画像の場合、事前にトレーニングされた目標検出ニューラルネットワークに従って、当該ＲＧＢシナリオ画像に含まれる目標対象に対して目標検出を実行し、それにより、当該ＲＧＢシナリオ画像に含まれる目標対象、及び目標対象に対応する対象属性情報を決定することができる。
例示的に、道路シナリオに対応する多くのサンプル画像に基づいて、設定された目標対象を検出できるニューラルネットワークを事前にトレーニングでき、例えば、自動車、自転車、歩行者、交通指示タイプの障害物（交通信号インジケータ）、交通標識（横断歩道）、木、電柱、階段などのうちの少なくとも１つの障害物を検出できるニューラルネットワークをトレーニングできる。
本発明の実施例では、障害物回避機器を介してシナリオ画像を直接撮影して取得でき、ユーザが障害物回避機器を着用している場合、ユーザの外出シナリオに対応するシナリオ画像を直接取得でき、シナリオ画像を取得した後、シナリオ画像に従って目標対象及び対応する対象属性情報を決定できる。例示的に、事前にトレーニングされた目標検出ニューラルネットワークに基づいて、シナリオ画像に対して目標検出を直接実行して目標対象を取得できる。このようにして、障害物回避機器にシナリオ画像を取得できるカメラを設置し、障害物回避機器の体積を節約でき、ユーザの持ち運びが便利になる。
１つの実施形態では、上記のステップＳ１０１の場合、目標対象に対応する距離情報を取得する場合、以下のステップＳ１０１３～ステップＳ１０１４を含み得る。
ステップＳ１０１３において、障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像及び深度画像を取得する。
ステップＳ１０１４において、シナリオ画像及び深度画像に基づいて、目標対象に対応する距離情報を決定する。
例示的に、障害物回避機器は、目標道路状況シナリオに対応するＲＧＢシナリオ画像を取得するためのＲＧＢカメラ以外にも、深度画像を収集するためのカメラも設置され得、深度画像を収集するためのカメラは、両眼立体視（Ｂｉｎｏｃｕｌａｒ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ）カメラ又は飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、ＴＯＦ）型カメラを含み得る。
例示的に、障害物回避機器がＴＯＦカメラを含む場合、飛行時間測距法を採用して目標道路状況シナリオに対応する深度画像を取得でき、例えば、光パルスを放射してから光パルスを受信するまでの時間間隔、及び光パルスの伝送速度に従って、目標道路状況シナリオに対応する深度画像を生成できる。
目標道路状況シナリオに対応する深度画像を取得した後、当該目標道路状況シナリオに対応する深度画像とシナリオ画像を整列して、ＲＧＢカメラがＴＯＦカメラと同じ座標系にあるようにし、次に、整列された深度画像及びシナリオ画像に基づいて、各目標対象と障害物回避機器との間の距離情報を決定できる。
本発明の実施例では、障害物回避機器を介して目標道路状況シナリオに対応する深度画像を取得することを提案し、さらに、当該目標道路状況シナリオに対応するシナリオ画像と組み合わせて各目標対象に対応する距離情報を迅速に決定できる。
上記の目標対象及び目標対象に対応する対象属性情報を決定するプロセス、即ちステップＳ１０１１～ステップＳ１０１２のプロセスと、目標対象に対応する距離情報を決定するプロセス、即ち上記のステップＳ１０１３～ステップＳ１０１４のプロセスとの間の順序は限定されなく、シナリオ画像に含まれる各目標対象に対応する距離情報を先に決定して、次にどの対象が目標対象であるかを決定してもよいし、又は、目標対象を先に決定して、次に目標対象に対応する距離情報を決定してもよい。
いくつかの実施形態では、上記のステップＳ１０１４の場合、シナリオ画像及び深度画像に基づいて、目標対象に対応する距離情報を決定することは、以下のステップＳ１０１４１～ステップＳ１０１４２を含む。
ステップＳ１０１４１において、シナリオ画像及び深度画像に含まれる標定特徴点をそれぞれ抽出する。
ステップＳ１０１４２において、シナリオ画像の標定特徴点及び深度画像の標定特徴点に基づいて、シナリオ画像と深度画像を整列し、深度画像からシナリオ画像に含まれる目標対象の深度情報を抽出して、目標対象に対応する距離情報を取得する。
例示的に、シナリオ画像及び深度画像の両方に含まれる同じ建物のいくつかのエッジ位置点を標定特徴点として選択でき、例えば、シナリオ画像に建物Ａが含まれ、深度画像にも建物Ａが含まれる場合、建物Ａの輪郭を構成する特徴点を標定特徴点として使用して、シナリオ画像と深度画像が整列されるようにする。このようにして、深度画像からシナリオ画像に含まれる目標対象に対応する深度情報を決定し、当該深度情報を目標対象に対応する距離情報として使用できる。
本発明の実施例では、シナリオ画像の標定特徴点及び深度画像の標定特徴点に基づいて、シナリオ画像と深度画像を整列し、これにより、シナリオ画像と深度画像を整列する方法を提供し、且つ整列の精度が高い。
上記のステップＳ１０２の場合、目標対象に対応する対象属性情報及び距離情報に基づいて、目標対象のリスク情報を決定することは、図２に示されるように、以下のステップＳ２０１ないしステップＳ２０３を含み得る。
ステップＳ２０１において、目標対象に対応する対象属性情報に基づいて、目標対象に対応する第１危険係数を決定する。
ステップＳ２０２において、目標対象に対応する距離情報によって指示される目標対象と障害物回避機器との距離に従って、目標対象に対応する第２危険係数を決定する。
ステップＳ２０３において、距離情報、第１危険係数及び第２危険係数に基づいて、目標対象のリスク情報を決定する。
例示的に、各種対象属性情報の危険度に従って、各種対象属性情報のために対応する第１危険係数を事前に設定し、及び異なる距離間隔に対応する危険度に従って、各距離間隔のために対応する第２危険係数を事前に設定できる。
いくつかの実施形態では、ユーザに対する動的自動車危険度が、動的非自動車の危険度よりが高く、ユーザに対する動的非自動車の危険度が静的物体危険度より高いため、自動車やオートバイなどの動的自動車の第１危険係数は、人や自転車などの動的非自動車の第１危険係数より大きく、動的非自動車の第１危険係数は、手すりや木などの静的物体の第１危険係数より大きい。
例示的に、距離間隔に対応する第２危険係数の場合、異なる距離間隔に対応する第２危険係数を事前に設定でき、例えば、距離間隔は、０．５メートルより大きく且つ１メートルより小さいか等しい間隔、１メートルより大きく且つ３メートルより小さいか等しい間隔、３メートルより大きい間隔を含み得、各種距離間隔は、すべて異なる第２危険係数に対応する。
異なる対象属性情報に対応する危険度は異なることを考慮して、異なる距離間隔に対応する危険度は異なるため、各目標対象の場合、当該目標対象と障害物回避機器との間の距離、当該目標対象に対応する第１危険係数及び第２危険係数に従って、目標対象のリスク情報を共同で決定できる。
本発明の実施例では、目標対象に対応するリスク情報を決定する場合、目標対象に対応する対象属性情報、及び当該目標対象と障害物回避機器との間の距離情報を総合的に考慮して、ユーザに対する当該目標対象のリスク情報を共同で決定できる。
いくつかの実施形態では、上記のステップＳ２０３の場合、距離情報、第１危険係数及び第２危険係数に基づいて、目標対象のリスク情報を決定することは、以下のステップＳ２０３１ないしステップＳ２０３２を含み得る。
ステップＳ２０３１において、障害物回避機器の撮影範囲に対応する最遠距離及び距離情報に基づいて目標距離差を決定する。
ステップＳ２０３２において、目標距離差、第１危険係数及び第２危険係数の積を目標対象のリスク情報として使用する。
ここで、障害物回避機器のカメラの撮影範囲に対応する最遠距離は、カメラの内部パラメータに関連し、当該最遠距離は固定パラメータであり、当該最遠距離及び目標対象に対応する距離情報によって指示される距離に従って、当該目標対象と最遠距離との間の目標距離差を決定する。
いくつかの実施形態では、目標対象に対応する目標距離差、第１危険係数及び第２危険係数に従って、目標対象のリスク情報を示すリスク値を決定し、複数の目標対象を含む場合、同じ方式に従って各目標対象に対応するリスク値を決定でき、以下の式１に従って当該目標対象ｉのリスク値
Figure 2022550895000002
 を決定する。
Figure 2022550895000003
 ここで、
Figure 2022550895000004
 は障害物回避機器の撮影範囲に対応する最遠距離を示し、
Figure 2022550895000005
 は目標対象ｉと障害物回避機器との間の距離を示し、
Figure 2022550895000006
 は目標対象ｉに対応する第１危険係数を示し、
Figure 2022550895000007
 は目標対象ｉに対応する第２危険係数を示す。
１つの実施形態では、本発明の実施例によって提供される道路状況のプロンプト方法は、
目標対象に対応する対象属性情報に基づいて、目標対象に対応するカテゴリ情報を決定することを更に含み、当該カテゴリ情報は、交通指示カテゴリと非交通指示カテゴリのうちの少なくとも１つを含む。
例示的に、外出の安全性及び有効性を向上させるために、本発明の実施例は、対象属性情報に従って、目標対象を交通指示カテゴリの目標対象及び非交通指示カテゴリの目標対象に分類できることを提案し、交通指示カテゴリの目標対象は、例えば、交通信号インジケータ及び交通インデックスライン（例えば、信号機及び横断歩道のうちの少なくとも１つ）を含み、非交通指示カテゴリの目標対象は、自動車、オートバイなどの動的自動車、歩行者や自転車などの動的非自動車、及び手すり、木などの静的非交通指示カテゴリの物体のうちの少なくとも１つを含み得る。
決定されたリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行することは、目標対象に対応するカテゴリ情報及びリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行することを含み得る。
本発明の実施例では、ユーザに対して道路状況のプロンプトを実行する場合、目標対象に対応するカテゴリ情報及びリスク情報に基づいて、道路状況のプロンプト情報を決定し、その後、道路状況のプロンプト情報に従って、ユーザに対してプロンプトを実行して、ユーザの外出安全性を向上させることができる。
１つの実施形態では、取得された目標対象に対応する対象属性情報に従って、目標対象は、交通指示カテゴリに属する第１クラスの目標対象及び非交通指示カテゴリに属する第２クラスの目標対象に分けられ、道路シナリオにおける交通指示カテゴリの目標対象の重要性の場合、即ち、交通ルールを指示するために使用される。このようにして、道路状況のプロンプトのプロンプト順序において、交通指示カテゴリに属する第１クラスの目標対象の優先度は、非交通指示カテゴリに属する第２クラスの目標対象の優先度より高いか等しい。
第１クラスの目標対象のプロンプト順序と第２クラスの目標対象のプロンプト順序を区別するために、上記式１に基づいて目標対象のリスク値を決定する場合、第１クラスの目標対象に対する第１クラス係数は負数であり、第２クラスの目標対象に対する第１クラス係数は正数である。道路状況のプロンプトを実行する場合、まず、リスク値が負数である第１クラスの目標対象を再生し、次に、リスク値が正数である第２クラスの目標対象を再生する。
例示的に、外出環境における視覚障害のあるユーザに対する交通指示カテゴリの目標対象の重要性を考慮して、例えば、ユーザが道路を渡る場合、信号機インジケータが指示する情報を優先してユーザにプロンプトでき、ユーザは当該情報に基づいて渡るか否か決定し、その後、道路上に存在する非交通指標カテゴリの目標対象に対してプロンプトを実行する。このようにして、ユーザが道路シナリオで安全に外出するのに役立つ。
いくつかの実施形態では、目標対象に対応するカテゴリ情報及びリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行することは、図３に示されるように、以下のステップＳ３０１ないしステップＳ３０２を含み得る。
ステップＳ３０１において、目標対象が交通指示カテゴリに属する第１クラスの目標対象を含む場合、第１クラスの目標対象のリスク情報に基づいて、第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定する。
ステップＳ３０２において、決定されたプロンプト順序に従って、障害物回避機器を介して第１クラスの目標対象に対して道路状況のプロンプトを実行する。
ここで、まず、第１クラスの目標対象に対して道路状況のプロンプトを実行する方法について説明する。
いくつかの実施形態では、複数の第１クラスの目標対象を含む場合、上記の式１に従って各第１クラスの目標対象のリスク情報を決定し、その後、リスクの降順に従って各第１クラスの目標対象を並べ替えて、各第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を取得できる。
いくつかの実施形態では、上記のステップＳ３０１の場合、第１クラスの目標対象のリスク情報に基づいて、第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定することは、以下のステップＳ３０１１ないしステップＳ３０１４を含む。
ステップＳ３０１１において、障害物回避機器によって撮影されたシナリオ画像、第１クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定する。
例示的に、障害物回避機器に対応するパラメータ情報は、画像座標系をカメラ座標系に変換するために使用される内部パラメータ、及びカメラ座標系を世界座標系に変換するために使用される外部パラメータのうちの少なくとも１つを含み得る。
例示的に、第１クラスの目標対象を指す障害物回避機器の第１方向情報は、世界座標系での第１クラスの目標対象と障害物回避機器との方向関係を示すために使用でき、例えば、第１クラスの目標対象が、世界座標系でＸ軸に沿って障害物回避機器の正の方向に位置し、当該Ｘ軸の正の方向が東を指す場合、第１クラスの目標対象は障害物回避機器の東方向に位置する。
いくつかの実施形態では、障害物回避機器によって撮影されたシナリオ画像、第１クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定することは、以下の（１）ないし（４）の方式を含み得る。
（１）障害物回避機器によって撮影されたシナリオ画像に基づいて、現実シナリオに対応する世界座標系での障害物回避機器のポーズ情報を決定する。
例示的に、ここで、障害物回避機器によって撮影されたシナリオ画像、及び事前に確立された現実シナリオを表す三次元シナリオ地図に基づいて、現実シナリオに対応する世界座標系での障害物回避機器のポーズ情報を決定できる。世界座標系では、現実シナリオを表す三次元シナリオ地図は、現実シナリオと完全に重合できるため、障害物回避機器によって撮影されたシナリオ画像及び三次元シナリオ地図に基づいて、現実シナリオに対応する世界座標系での障害物回避機器のポーズ情報を決定できる。
いくつかの実施形態では、現実シナリオに対応する世界座標系での障害物回避機器のポーズ情報は、世界座標系での障害物回避機器の位置座標値及び／又は向きの角度を含み得、ここで、向きの角度は、世界座標系の座標軸の間の夾角を介して示すことができる。
（２）シナリオ画像に対して目標検出を実行することにより、シナリオ画像に対応する画像座標系での第１クラスの目標対象の二次元検出情報を決定する。
例示的に、ここで、事前にトレーニングされた目標検出ニューラルネットワークを介して、シナリオ画像に含まれる目標対象、及び目標対象に対応する検出ボックスの画像座標系での画素座標を検出でき、ここで、検出ボックスの中心点に対応する画素座標を、シナリオ画像に対応する画像座標系での第１クラスの目標対象の二次元検出情報として使用できる。
（３）二次元検出情報、第１クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、世界座標系での第１クラスの目標対象のポーズ情報を決定する。
いくつかの実施形態では、シナリオ画像に対応する画像座標系での第１クラスの目標対象の二次元検出情報、及び障害物回避機器に対応する内部パラメータ（事前に記憶された内部パラメータ）に基づいて、障害物回避機器に対応するカメラ座標系でのＸ軸とＹ軸に沿った第１クラスの目標対象の座標値を決定でき、その後、第１クラスの目標対象に対応する距離情報に基づいて、障害物回避機器に対応するカメラ座標系でのＺ軸に沿った第１クラスの目標対象の座標値を決定でき、その後、障害物回避機器に対応する外部パラメータ（現実シナリオに対応する世界座標系での障害物回避機器のポーズ情報を介して決定できる）と組み合わせて、世界座標系での第１クラスの目標対象のポーズ情報を決定する。
例示的に、ここで、世界座標系での第１クラスの目標対象のポーズ情報は、世界座標系での当該第１クラスの目標対象の位置座標値を含み得る。
（４）障害物回避機器に対応するポーズ情報、及び第１クラスの目標対象に対応するポーズ情報に基づいて、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定する。
いくつかの実施形態では、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定する場合、世界座標系での障害物回避機器及び第１クラスの目標対象の位置座標値に基づいて決定できる。
ステップＳ３０１２において、障害物回避機器によって撮影された複数のシナリオ画像に基づいて、障害物回避機器の移動方向を決定する。
例示的に、複数のシナリオ画像に基づいて、世界座標系での障害物回避機器の位置座標値の変化を決定でき、さらに、障害物回避機器の移動方向を取得する。
ステップＳ３０１３において、第１クラスの目標対象を複数含む場合、第１クラスの目標対象に対応する第１方向情報、及び障害物回避機器の移動方向に基づいて、第１クラスの目標対象からプロンプトされる第１クラスの目標対象を決定し、プロンプトされる第１クラスの目標対象に対応する第１方向情報によって指示される方向と、障害物回避機器の移動方向との間の第１角度は設定された角度閾値より小さい。
第１クラスの目標対象を複数含む場合、障害物回避機器が近づく傾向がある第１クラスの目標対象をプロンプトされる第１クラスの目標対象として使用でき、例えば、３つの第１クラスの目標対象が検出され、それぞれ第１クラスの目標対象Ａ、第１クラスの目標対象Ｂ及び第１クラスの目標対象Ｃとして表記する。障害物回避機器の移動方向が第１クラスの目標対象Ａに向かっていて、第１クラスの目標対象Ｂ及び第１クラスの目標対象Ｃから離れている場合、第１クラスの目標対象Ａを、プロンプトされる第１クラスの目標対象として使用する。
ステップＳ３０１４において、プロンプトされる第１クラスの目標対象のリスク情報に基づいて、プロンプトされる第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定する。
複数の第１クラスの目標対象から、プロンプトされる第１クラスの目標対象を選別した後、プロンプトされる第１クラスの目標対象のリスク情報に基づいて、プロンプトされる第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定できる。
例示的に、第１クラスの目標対象が信号機及び横断歩道を含み、信号機と障害物回避機器との間の距離が、横断歩道と障害物回避機器との間の距離より小さいと決定した場合、上記式１に従って、信号機に対応するリスク値が横断歩道に対応するリスク値より大きいと決定でき、信号機のプロンプト順序が横断歩道のプロンプト順序より優先していると決定できる。
いくつかの実施形態では、決定されたプロンプト順序に従って、障害物回避機器を介して第１クラスの目標対象に対して道路状況のプロンプトを実行することは、
決定されたプロンプトされる第１クラスの目標対象に対応するプロンプト順序に従って、プロンプトされる第１クラスの目標対象に対応する距離情報によって指示された、プロンプトされる第１クラスの目標対象と障害物回避機器との距離が、第１プリセット距離閾値より小さい場合、障害物回避機器を介して第１クラスの目標対象に対して道路状況のプロンプトを実行することを含む。
例示的に、ユーザが運転中に、プロンプトされる第１クラスの目標対象との距離が遠い位置で事前にルートを変更するか、停止して前進しないことを考慮して、この場合、プロンプトされる第１クラスの目標対象は、ユーザに対してもう危険ではなくなり、プロンプトを実行する必要がない。これに対して、本発明の実施例は、障害物回避機器を介してプロンプトされる第１クラスの目標対象の道路状況を、ユーザに対してプロンプトを実行する場合、ユーザとプロンプトされる第１クラスの目標対象との距離が第１プリセット距離閾値より小さい場合、再度プロンプトを実行することを提案している。ここで、ユーザが緊急事態に遭遇した場合の歩行状態緊急調整に必要な距離を、第１プリセット距離閾値として使用し、第１プリセット距離閾値の設定は、ビッグデータに従って事前に統計して取得できる。
本発明の実施例では、複数の第１クラスの目標対象を含む場合、障害物回避機器に近い第１クラスの目標対象を、プロンプトされる目標対象として優先選択し、障害物回避機器と第１クラスの目標対象との間の距離が第１プリセット距離閾値より小さいと決定した場合、再度プロンプトを実行し、無効なプロンプトを減らし、これにより、ユーザに対する道路状況のプロンプトの過程で、道路状況のプロンプトの精度を向上させる。
別の実施形態では、目標対象に対応するカテゴリ情報及びリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行することは、図４に示されるように、以下のステップＳ４０１ないしステップＳ４０２を含み得る。
ステップＳ４０１において、目標対象が非交通指示カテゴリに属する第２クラスの目標対象を含む場合、第２クラスの目標対象のリスク情報に基づいて、第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定する。
道路環境を有効的なプロンプトを実行するために、第２クラスの目標対象のリスク情報の場合、ユーザの外出に危険を及ぼす可能性の高い第２クラスの目標対象を、プロンプトされる第２クラスの目標対象として使用できる。
ステップＳ４０２において、プロンプトされる第２クラスの目標対象に対応する距離情報によって指示された、プロンプトされる第２クラスの目標対象と障害物回避機器との距離が、第２プリセット距離閾値より小さい場合、障害物回避機器を介して第２クラスの目標対象に対して道路状況のプロンプトを実行する。
例示的に、ここで、第２プリセット距離閾値は、上記の第１プリセット距離閾値と同じでもよいし、異なってもよい。上記のプロンプトされる第１クラスの目標対象のプロンプト過程と類似し、プロンプトされる第２クラスの目標対象に対して道路状況のプロンプトを実行する場合、障害物回避機器と第２クラスの目標対象との間の距離が第２プリセット距離閾値より小さいと決定した場合、再度障害物回避機器を介して第２クラスの目標対象に対して道路状況のプロンプトを実行し、同様に、無効なプロンプトを減らし、これにより、道路状況のプロンプトの過程で、道路状況のプロンプトの精度を向上させる。
いくつかの実施形態では、上記のステップＳ４０１の場合、第２クラスの目標対象のリスク情報に基づいて、第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定することは、以下のステップＳ４０１１ないしステップＳ４０１４を含み得る。
ステップＳ４０１１において、障害物回避機器によって撮影されたシナリオ画像、第２クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、第２クラスの目標対象を指す障害物回避機器の第２方向情報を決定する。
ここで、第２クラスの目標対象を指す障害物回避機器の第２方向情報を決定する方式は、上記の第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定する方式と類似している。
ステップＳ４０１２において、障害物回避機器によって撮影された複数のシナリオ画像に基づいて、障害物回避機器の移動方向を決定する。
ここで、障害物回避機器の移動方向を決定する詳細については、上記の説明を参照できる。
Ｓ４０１３において、第２クラスの目標対象に対応する第２方向情報、及び障害物回避機器の移動方向に基づいて、第２方向情報によって指示される第２方向と障害物回避機器の移動方向との間の第２角度を決定する。
例示的に、第２角度を介して、障害物回避機器が第２クラスの目標対象に向かって移動するか否かを決定でき、例えば、第２角度が小さいほど、障害物回避機器が第２クラスの目標対象に向かって移動する確率が高い。
ステップＳ４０１４において、第２クラスの目標対象を複数含む場合、第２クラスの目標対象から決定された第２角度がプリセット角度閾値より小さい少なくとも１つの第２クラスの目標対象を、プロンプトされる第２クラスの目標対象として使用し、少なくとも１つの第２クラスの目標対象に対応するリスク情報によって指示されるリスクの度合いは、第２クラスの目標対象のうちのプロンプトされる第２クラスの目標対象を除いた他の目標対象に対応するリスク情報によって指示されるリスクの度合いより高い。
第２クラスの目標対象を複数含む場合、同時に第２角度及び第２クラスの目標対象に対応するリスク情報に基づいてプロンプトされる第２クラスの目標対象を選択でき、例えば、障害物回避機器によって徐々に近づいている、且つ対応するリスク情報によって指示されるリスクの度合いの高い第２クラスの目標対象を、プロンプトされる第２クラスの目標対象として使用できる。
本発明の実施例では、障害物回避機器の移動方向及び第２クラスの目標対象障害物回避機器との間の距離を組み合わせて、プロンプトされる第２クラスの目標対象を選別することにより、ユーザの外出に危険を及ぼす可能性の高い第２クラスの目標対象を選択してプロンプトを実行し、ユーザの外出安全性を向上させることができる。
１つの実施形態では、ユーザが道路シナリオで遭遇する目標対象を考慮するほか、例えば、歩道道路シナリオのタイプ、交差点シナリオのタイプ、陸橋地下道シナリオのタイプ、ステーションシナリオのタイプなどの道路シナリオのタイプも考慮でき、視覚障害のあるユーザの安全な外出を補助するために、ユーザが遭遇する目標対象に対してプロンプトするほか、ユーザが現在置かれている道路シナリオのタイプに対してもプロンプトを実行して、ユーザが外出道路上で置かれている道路シナリオのタイプをより正確に判断できるようにし、これにより、外出安全性を向上させることができる。これに対して、本発明の実施例によって提供される道路状況のプロンプト方法は、
障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することを更に含む。
例示的に、道路シナリオのタイプは、異なる方式を介して取得でき、例えば、障害物回避機器がナビゲーションコンポーネントを含む場合、ユーザが現在置かれている道路シナリオのタイプは、ナビゲーションコンポーネントと事前に選択されたナビゲーションルートに基づいて決定するか、又は障害物回避機器によって撮影されたシナリオ標識を介して決定でき、ユーザが現在置かれている道路シナリオのタイプを決定する方式については後文で説明する。
上記の決定されたリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行することは、決定されたリスク情報及び道路シナリオのタイプに基づいて、障害物回避機器を介して道路状況のプロンプトを実行することを含む。
例示的に、道路状況のプロンプトを実行する場合、目標対象に対して先にプロンプトを実行し、次に道路シナリオのタイプに対してプロンプトを実行するか、又は、道路シナリオのタイプに対して先にプロンプトを実行し、次に目標対象に対してプロンプトを実行できる。
１つの可能な実施形態では、障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することは、図５に示されるように、以下のステップＳ５０１ないしステップＳ５０２を含み得る。
ステップＳ５０１において、障害物回避機器の位置情報を取得する。
ステップＳ５０２において、障害物回避機器によって事前に設定されたナビゲーションパスから、障害物回避機器の位置情報に対応する道路シナリオのタイプを決定する。
例示的に、障害物回避機器のナビゲーションコンポーネントを介して障害物回避機器の位置情報を取得するか、又は障害物回避機器によって撮影されたシナリオ画像に基づいて障害物回避機器の位置情報を決定でき、当該方式については、上記の説明を参照できる。
例示的に、障害物回避機器は、携帯電話、タブレットなどのモバイル機器を含み得、ナビゲーションコンポーネントは、携帯電話又はタブレットのナビゲーションコンポーネントである。
例示的に、ユーザは出発の前に、障害物回避機器を介して目的地までのナビゲーションパスを選択でき、当該ナビゲーションパスは、複数の道路シナリオ及び各種道路シナリオに対応する位置情報を含み得、障害物回避機器の位置情報が、いずれか１つの道路シナリオに対応する位置情報と一致すると決定した場合、障害物回避機器の所在位置に対応する道路シナリオのタイプを決定できる。
別の実施形態では、障害物回避機器の所在位置に対応する道路シナリオのタイプを取得する場合、図６に示されるように、以下のステップＳ６０１ないしステップＳ６０２を含み得る。
ステップＳ６０１において、障害物回避機器によって撮影されたバス停の表示板画像を取得する。
ステップＳ６０２において、バス停の表示板画像に対してシナリオ標識認識を実行して、障害物回避機器の所在領域に対応する道路シナリオのタイプを決定する。
例示的に、バス停の表示板画像は、障害物回避機器の画像収集部材を介して収集して取得でき、事前にトレーニングされた標識識別ニューラルネットワークに基づいて当該バス停の表示板画像に対して識別を実行して、障害物回避機器の所在領域に対応する道路シナリオのタイプを決定できる。
例えば、バス停の表示板画像に対してシナリオ標識認識を実行して、当該バス停の表示板画像上のシナリオ標識が「中関村駅」であると決定する場合、当該障害物回避機器の所在領域に対応する道路シナリオのタイプは、ステーションシナリオのタイプであると決定できる。
いくつかの実施形態では、図７に示されるように、決定されたリスク情報及び道路シナリオのタイプに基づいて、障害物回避機器を介して道路状況のプロンプトを実行することは、以下のステップＳ７０１ないしステップＳ７０３を含み得る。
ステップＳ７０１において、決定された目標対象のリスク情報に基づいて、第１クラスのプロンプト情報を生成する。
ステップＳ７０２において、道路シナリオのタイプに基づいて、第２クラスのプロンプト情報を生成する。
ステップＳ７０３において、事前に設定されたプロンプト順序に基づいて、障害物回避機器を介して第１クラスのプロンプト情報及び第２クラスのプロンプト情報に対して道路状況のプロンプトを実行する。
ここで、決定されたリスク情報に基づいて、障害物回避機器の第１クラスのプロンプト情報を生成する方式については、上記の説明を参照できる。例示的に、目標対象の目標対象カテゴリ情報、対象属性情報、及び障害物回避機器との間の距離に基づいて、障害物回避機器の第１クラスのプロンプト情報を生成できる。
例示的に、障害物回避機器の第２クラスのプロンプト情報は、ユーザが置かれている道路シナリオのタイプをプロンプトするために使用でき、これは、ユーザが自分がいる道路シナリオのタイプを判断するのに便利であり、これにより、走行速度を調整するか否かを決定して、外出安全性を向上させることができる。
例示的に、事前に設定した第１クラスのプロンプト情報と第２クラスのプロンプト情報との間のプロンプト順序において、第２クラスのプロンプト情報が第１クラスのプロンプト情報より優先である場合、第２クラスのプロンプト情報を先に再生し、次に第１クラスのプロンプト情報を再生する。これは、ユーザが、自分がいる道路シナリオのタイプを先に判断し、次に当該道路シナリオのタイプで遭遇する障害物を決定するのに便利であり、これにより、歩行速度及び方向を時間内に調整し、外出安全性を向上させることができる。
関連技術では、盲人の外出歩行シナリオにおいて、使用される障害物回避機器は、主に超音波技術、レーザー測距技術、両眼視技術、全球測位システム技術を応用し、これらの技術は、単純に物体、人体の識別を実行するのみであり、どの物体が最初に到着するかは判断できないし、この物体が視覚障害者の歩行に危険を及ぼすか否かも判断できない。
関連技術でのこのような状況（単純に物体、人体の識別を実行するのみであり、どの物体が最初に到着するかが判断できないし、この物体が視覚障害者の歩行に危険を及ぼすか否かも判断できない）を改善するために、本発明の実施例は、盲人が自動選別を実行するのに役立つ技術案（最初に到着する１番目の物体、２番目の物体、３番目の物体などの物体の危険度を同時に判断する）を採用する。
本発明の実施例によって提供される道路状況のプロンプト方法を介して、前方障害物情報を選別し、多くの情報再生による干渉を低減し、異なる距離にある異なる重み値を組み合わせて、物体リスク評価を実行でき、最高リスクの物体のみを再生する。
以下では、図８を参照しながら、本発明の実施例によって提供される道路状況をプロンプトについて説明する。
図８に示されるように、ユーザが視覚障害者であり、障害物回避機器が障害物回避メガネ及び端末機器を含むことを例として、ユーザが障害物回避眼鏡を着用して道路シナリオで歩行する場合、障害物回避眼鏡に設置されたＲＧＢカメラを介してビデオ収集を実行して、道路シナリオに対応するシナリオ画像を収集する。その後、端末機器を介して当該シナリオ画像に対して目標検出を実行し、シナリオ画像に含まれる目標対象を決定できる。例えば、歩道／ブラインドウェイ、自動車／非自動車、地下鉄駅／バス停、歩行者／動物、陸橋／地下道、スロープ／階段／エレベーター、駅の標識、電柱／木、斜面／水たまりなどのうちの少なくとも１つの目標対象に対して識別を実行して、シナリオ画像に含まれる目標対象を決定でき、同時に、ＴＯＦカメラに基づいて距離収集を実行して、道路シナリオに対応する深度画像も収集できる。
その後、取得したシナリオ画像に対して物体識別を実行し、深度画像に対して深度識別を実行し、シナリオ画像及び深度画像に対して整列処理した後、目標画像の距離情報を取得する。目標画像の距離情報を取得することは、目標対象に対応する距離情報を決定すること、即ち、検出された目標対象と障害物回避眼鏡との距離情報決定することを含む。さらに、上記のシナリオ画像及び深度画像に基づいて、世界座標系での目標対象の位置座標値を決定することにより、目標対象の空間位置も決定できる。
さらに、端末機器は地図の位置に従ってナビゲーションルート案内を判断でき、１つの実施形態では、ナビゲーションルートに基づいて現在の位置を決定することにより、現在の位置に基づいてシナリオ認識を実行できる。例えば、ユーザの位置情報及び事前に設定されたナビゲーションルートに基づいて、ユーザが置かれている道路シナリオのタイプを決定でき、例えば、歩道の歩行シナリオのタイプ、交差点を渡るシナリオのタイプ、陸橋地下道を歩くシナリオのタイプ、バス地下鉄を待つシナリオのタイプなどを識別できるか、又は、バス停の表示板標識に基づいて置かれているシナリオのタイプのうちの少なくとも１つを決定できる。１つの実施形態では、ナビゲーションルートに基づいてナビゲーションパス計画を決定し、ナビゲーションパス計画に基づいて音声プロンプト情報を生成できる。
ユーザが置かれている道路シナリオのタイプを決定した後、シナリオ認識に基づいてユーザが置かれている道路シナリオのタイプ及び目標対象の距離情報を取得し、各目標対象がユーザに対する潜在的なリスクの度合いを判断し、その後、リスクの度合いに基づいて音声プロンプト情報を生成できる。例えば、道路シナリオのタイプ、目標対象に対応する対象属性情報、目標対象と障害物回避機器との間の距離情報に基づいて、ユーザのための音声プロンプト情報を生成できる。音声プロンプト情報を取得した後、当該音声プロンプト情報に基づいて、ユーザに対して音声プロンプトを実行することにより、ユーザの外出安全性を向上させることができる。
いくつかの実施形態では、障害物回避機器を介してユーザに対して音声プロンプトを実行できる。別のいくつかの実施形態では、端末機器を介してユーザに対して音声プロンプトを実行できる。
当業者なら自明であるが、上記の特定の実施形態における方法において、各ステップの記述順序は、厳しい実行順序により実施プロセスを制限するものではなく、各ステップの具体的な実行順序は、その機能と可能な内部ロジックによって決定される必要がある。
同じ発明概念に基づいて、本発明の実施例は、道路状況のプロンプト方法に対応する道路状況のプロンプト装置をさらに提供し、問題を解決するための本発明の実施例における装置の原理は、本発明の実施例の上記の道路状況のプロンプト方法に類似しているので、装置の実施は上記方法の実施例を参照でき、ここでは繰り返して説明しない。
図９を参照すると、図９は、本発明の実施例によって提供される道路状況のプロンプト装置８００の例示的な構造図であり、当該道路状況のプロンプト装置８００は、
障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び目標対象に対応する距離情報を取得するように構成される、取得部８０１と、
目標対象に対応する対象属性情報及び距離情報に基づいて、目標対象のリスク情報を決定するように構成される、決定部８０２と、
決定されたリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行するように構成される、プロンプト部８０３とを備える。
１つの可能な実施形態では、取得部８０１は、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報を取得する場合、
障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像を取得し、
シナリオ画像に対して目標検出を実行することにより、シナリオ画像に含まれる目標対象、及び目標対象に対応する対象属性情報を決定するように構成される。
１つの可能な実施形態では、取得部８０１は、目標対象に対応する距離情報を決定する場合、
障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像及び深度画像を取得し、
シナリオ画像及び深度画像に基づいて、目標対象に対応する距離情報を決定するように構成され、距離情報は、目標対象と障害物回避機器との距離を含む。
１つの可能な実施形態では、取得部８０１は、シナリオ画像及び深度画像に基づいて、目標対象に対応する距離情報を決定する場合、
シナリオ画像及び深度画像に含まれる標定特徴点をそれぞれ抽出し、
シナリオ画像の標定特徴点及び深度画像の標定特徴点に基づいて、シナリオ画像と深度画像を整列し、深度画像からシナリオ画像に含まれる目標対象の深度情報を抽出して、目標対象に対応する距離情報を取得するように構成される。
１つの可能な実施形態では、決定部８０２は、目標対象に対応する対象属性情報及び距離情報に基づいて、目標対象のリスク情報を決定する場合、
目標対象に対応する対象属性情報に基づいて、目標対象に対応する第１危険係数を決定し、
目標対象に対応する距離情報によって指示される目標対象と障害物回避機器との距離に従って、目標対象に対応する第２危険係数を決定し、
距離情報、第１危険係数及び第２危険係数に基づいて、目標対象のリスク情報を決定するように構成される。
１つの可能な実施形態では、決定部８０２は、距離情報、第１危険係数及び第２危険係数に基づいて、目標対象のリスク情報を決定する場合、
障害物回避機器の撮影範囲に対応する最遠距離及び距離情報に基づいて目標距離差を決定し、
目標距離差、第１危険係数及び第２危険係数の積を目標対象のリスク情報として使用するように構成される。
１つの可能な実施形態では、決定部８０２はさらに、
目標対象に対応する対象属性情報に基づいて、目標対象に対応するカテゴリ情報を決定するように構成され、当該カテゴリ情報は、交通指示カテゴリと非交通指示カテゴリのうちの少なくとも１つを含む。
プロンプト部８０３は、決定されたリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行する場合、
目標対象に対応するカテゴリ情報及びリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行するように構成される。
１つの可能な実施形態では、道路状況のプロンプトのプロンプト順序において、交通指示カテゴリに属する第１クラスの目標対象の優先度は、非交通指示カテゴリに属する第２クラスの目標対象の優先度より高いか等しい。
１つの可能な実施形態では、プロンプト部８０３は、目標対象に対応するカテゴリ情報及びリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行する場合、
目標対象が交通指示カテゴリに属する第１クラスの目標対象を含む場合、第１クラスの目標対象のリスク情報に基づいて、第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定し、
決定されたプロンプト順序に従って、障害物回避機器を介して第１クラスの目標対象に対して道路状況のプロンプトを実行するように構成される。
１つの可能な実施形態では、プロンプト部８０３は、第１クラスの目標対象のリスク情報に基づいて、第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定する場合、
障害物回避機器によって撮影されたシナリオ画像、第１クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定し、
障害物回避機器によって撮影された複数のシナリオ画像に基づいて、障害物回避機器の移動方向を決定し、
第１クラスの目標対象を複数含む場合、第１クラスの目標対象に対応する第１方向情報及び障害物回避機器の移動方向に基づいて、第１クラスの目標対象からプロンプトされる第１クラスの目標対象を決定し、プロンプトされる第１クラスの目標対象に対応する第１方向情報によって指示される方向と障害物回避機器の移動方向との間の第１角度は設定された角度閾値より小さいし、
プロンプトされる第１クラスの目標対象のリスク情報に基づいて、プロンプトされる第１クラスの目標対象が障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定するように構成される。
プロンプト部８０３は、決定されたプロンプト順序に従って、障害物回避機器を介して第１クラスの目標対象に対して道路状況のプロンプトを実行する場合、
決定されたプロンプトされる第１クラスの目標対象に対応するプロンプト順序に従って、プロンプトされる第１クラスの目標対象に対応する距離情報によって指示された、プロンプトされる第１クラスの目標対象と障害物回避機器との距離が、第１プリセット距離閾値より小さい場合、障害物回避機器を介して第１クラスの目標対象に対して道路状況のプロンプトを実行するように構成される。
１つの可能な実施形態では、プロンプト部８０３は、障害物回避機器によって撮影されたシナリオ画像、第１クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定する場合、
障害物回避機器によって撮影されたシナリオ画像に基づいて、現実シナリオに対応する世界座標系での障害物回避機器のポーズ情報を決定し、
シナリオ画像に対して目標検出を実行することにより、シナリオ画像に対応する画像座標系での第１クラスの目標対象の二次元検出情報を決定し、
二次元検出情報、第１クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、世界座標系での第１クラスの目標対象のポーズ情報を決定し、
障害物回避機器に対応するポーズ情報及び第１クラスの目標対象に対応するポーズ情報に基づいて、第１クラスの目標対象を指す障害物回避機器の第１方向情報を決定するように構成される。
１つの可能な実施形態では、プロンプト部８０３は、目標対象に対応するカテゴリ情報及びリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行する場合、
目標対象が非交通指示カテゴリに属する第２クラスの目標対象を含む場合、第２クラスの目標対象のリスク情報に基づいて、第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定し、
プロンプトされる第２クラスの目標対象に対応する距離情報によって指示された、プロンプトされる第２クラスの目標対象と障害物回避機器との距離が、第２プリセット距離閾値より小さい場合、障害物回避機器を介して第２クラスの目標対象に対して道路状況のプロンプトを実行するように構成される。
１つの可能な実施形態では、プロンプト部８０３は、第２クラスの目標対象のリスク情報に基づいて、第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定する場合、
障害物回避機器によって撮影されたシナリオ画像、第２クラスの目標対象に対応する距離情報及び障害物回避機器に対応するパラメータ情報に基づいて、第２クラスの目標対象を指す障害物回避機器の第２方向情報を決定し、
障害物回避機器によって撮影された複数のシナリオ画像に基づいて、障害物回避機器の移動方向を決定し、
第２クラスの目標対象に対応する第２方向情報及び障害物回避機器の移動方向に基づいて、第２方向情報によって指示される第２方向と障害物回避機器の移動方向との間の第２角度を決定し、
第２クラスの目標対象を複数含む場合、第２クラスの目標対象から決定された第２角度がプリセット角度閾値より小さい少なくとも１つの第２クラスの目標対象を、プロンプトされる第２クラスの目標対象として使用するように構成され、少なくとも１つの第２クラスの目標対象に対応するリスク情報によって指示されるリスクの度合いは、第２クラスの目標対象のうちプロンプトされる第２クラスの目標対象を除いた他の目標対象に対応するリスク情報によって指示されるリスクの度合いより高い。
１つの可能な実施形態では、取得部８０１はさらに、
障害物回避機器の所在位置に対応する道路シナリオのタイプを取得するように構成され、
プロンプト部８０３は、決定されたリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行する場合、
決定されたリスク情報及び道路シナリオのタイプに基づいて、障害物回避機器を介して道路状況のプロンプトを実行するように構成される。
１つの可能な実施形態では、取得部８０１は、障害物回避機器の所在位置に対応する道路シナリオのタイプを取得する場合、
障害物回避機器の位置情報を取得し、
障害物回避機器によって事前に設定されたナビゲーションパスから、障害物回避機器の位置情報に対応する道路シナリオのタイプを決定するように構成される。
１つの可能な実施形態では、取得部８０１は、障害物回避機器の所在位置に対応する道路シナリオのタイプを取得する場合、
障害物回避機器によって撮影されたバス停の表示板画像を取得し、
バス停の表示板画像に対してシナリオ標識認識を実行して、障害物回避機器の所在領域に対応する道路シナリオのタイプを決定するように構成される。
１つの可能な実施形態では、プロンプト部８０３は、決定されたリスク情報及び道路シナリオのタイプに基づいて、障害物回避機器を介して道路状況のプロンプトを実行する場合、
決定された目標対象のリスク情報に基づいて、第１クラスのプロンプト情報を生成し、
道路シナリオのタイプに基づいて、第２クラスのプロンプト情報を生成し、
事前に設定されたプロンプト順序に基づいて、障害物回避機器を介して第１クラスのプロンプト情報及び第２クラスのプロンプト情報に対して道路状況のプロンプトを実行するように構成される。
装置内の各部の処理フロー及び各部間の相互作用フローの説明については、前記方法の実施例における関連する説明を参照し、ここでは繰り返して説明しない。
図１の道路状況のプロンプト方法に対応して、本発明の実施例は、電子機器９００を提供し、図１０に示されるように、図１０は、本発明の実施例によって提供される電子機器９００の概略構造図であり、当該電子機器９００は、
プロセッサ９１、コンピュータ可読命令が記憶されたメモリ９２、及びバス９３を備え、前記電子機器が実行されるときに、前記プロセッサ９１は前記メモリ９２と前記バス９３を介して通信し、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、上記実施例における道路状況のプロンプト方法を実行させる。
メモリ９２は、実行命令を記憶するように構成され、メモリ９２１及び外部メモリ９２２を備え、メモリ９２１は、内部メモリとも呼ばれ、プロセッサ９１内の計算データと、ハードディスクなどの外部メモリ９２２と交換するデータを一時的に記憶するように構成され、プロセッサ９１は、メモリ９２１を介して外部メモリ９２２とデータを交換するように構成され、コンピュータ機器１２００が実行されるときに、プロセッサ９１とメモリ９２はバス９３を介して通信することにより、プロセッサ９１に以下の命令を実行させる。当該命令は、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び目標対象に対応する距離情報を取得することと、目標対象に対応する対象属性情報及び距離情報に基づいて、目標対象のリスク情報を決定することと、決定されたリスク情報に基づいて、障害物回避機器を介して道路状況のプロンプトを実行することと、を含む。
さらに、電子機器９００は、上記実施例のいずれかにおける道路状況のプロンプト方法を実行できる。
本発明の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、当該コンピュータプログラムがプロセッサによって実行されるときに、上記実施例における道路状況のプロンプト方法を実行する。ここで、当該記憶媒体揮発性又は不揮発性コンピュータ可読記憶媒体であり得る。
本発明によって提供される道路状況のプロンプト方法のコンピュータプログラム製品は、コンピュータプログラム命令を含み、当該コンピュータプログラム命令は、コンピュータが実行するときに、上記実施例における道路状況のプロンプト方法を実現する。
本発明の実施例は、コンピュータプログラムをさらに提供し、当該コンピュータプログラムはプロセッサによって実行されるときに、上記の実施例によるいずれか１つの方法を実現する。当該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はそれらの組み合わせの方式によって実現され得る。１つの代替実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として実現され、別の代替実施例では、コンピュータプログラム製品は、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として実現される。
当業者なら明確に理解できるが、説明の便宜及び簡潔のために、上記に説明されたシステム、装置及びユニットの具体的な作業プロセスは、前述の方法の実施例における対応するプロセスを参照することができる。本発明で提供されるいくつかの実施例では、開示されたシステム、装置及び方法は、他の方式で実現できることを理解されたい。以上で説明された装置の実施例は、例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法を採用することができ、例えば、複数のユニット又はコンポーネントを組み合わせたり、別のシステムに統合したり、又は一部の特徴を無視するか実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置又はユニット間の間接的な結合又は通信接続は、電気的、機械的又は他の形態であり得る。
前記個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。
さらに、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、又は各ユニットが物理的に別々に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに統合されてもよい。
前記機能が、ソフトウェア機能ユニットの形態で実現され、独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであり得る）に、本発明の各実施例に記載の方法の全部又は一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。
最後に、上記の実施例は、本発明の実施形態の実装のみであり、本発明の実施例における技術的解決策を説明するために使用され、本発明の実施例の保護範囲はこれに限定されない。本発明の実施例は、上記の実施例を参照して詳細に説明されているが、当業者は、本発明の実施例で開示される技術的範囲内で、上記の実施例に記載の技術的解決策は、修正又は容易に想到し得る変更、又は、その技術的特徴の一部を同等置換することができこれらの修正、変更、又は置換は、対応する技術的解決策の本質を本発明の実施例の技術的解決策の精神及び範囲から逸脱するものではなく、すべて本発明の実施例の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
本発明の実施例は、道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品を提供し、ここで、道路状況のプロンプト方法は、障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得することと、前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することと、決定された前記リスク情報に基づいて前記障害物回避機器を介して道路状況のプロンプトを実行することと、を含む。上記の技術案は、視覚障害者に対する当該障害物のリスク情報を正確に決定でき、これにより、当該リスク情報に基づいて道路状況のプロンプトを実行し、視覚障害者の外出安全性を向上させることができる。
本発明の上記の目的、特徴及び利点をより理解しやすくするために、以下では、添付の図面を参照して好ましい実施例を詳細に説明する。
例えば、本願は以下の項目を提供する。
（項目１）
道路状況のプロンプト方法であって、
障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得することと、
前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することと、
決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することと、を含む、前記道路状況のプロンプト方法。
（項目２）
前記障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報を取得することは、
前記障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像を取得することと、
前記シナリオ画像を目標検出して、前記シナリオ画像に含まれる前記目標対象及び前記目標対象に対応する対象属性情報を決定することと、を含む、
項目１に記載の道路状況のプロンプト方法。
（項目３）
前記目標対象に対応する距離情報を取得することは、
前記障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像及び深度画像を取得することと、
前記シナリオ画像及び前記深度画像に基づいて、前記目標対象に対応する距離情報を決定することと、を含み、前記距離情報は、前記目標対象と前記障害物回避機器との距離を含む、
項目１又は２に記載の道路状況のプロンプト方法。
（項目４）
前記シナリオ画像及び前記深度画像に基づいて、前記目標対象に対応する距離情報を決定することは、
前記シナリオ画像及び前記深度画像に含まれる標定特徴点をそれぞれ抽出することと、
前記シナリオ画像の標定特徴点及び前記深度画像の標定特徴点に基づいて、前記シナリオ画像と前記深度画像を整列し、前記深度画像から前記シナリオ画像に含まれる前記目標対象の深度情報を抽出して、前記目標対象に対応する距離情報を取得することと、を含む、
項目３に記載の道路状況のプロンプト方法。
（項目５）
前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することは、
前記目標対象に対応する前記対象属性情報に基づいて、前記目標対象に対応する第１危険係数を決定することと、
前記目標対象に対応する距離情報によって指示される前記目標対象と前記障害物回避機器との距離に従って、前記目標対象に対応する第２危険係数を決定することと、
前記距離情報、前記第１危険係数及び前記第２危険係数に基づいて、前記目標対象のリスク情報を決定することと、を含む、
項目１ないし４のいずれか一項に記載の道路状況のプロンプト方法。
（項目６）
前記距離情報、前記第１危険係数及び前記第２危険係数に基づいて、前記目標対象のリスク情報を決定することは、
前記障害物回避機器の撮影範囲に対応する最遠距離及び前記距離情報に基づいて、目標距離差を決定することと、
前記目標距離差、前記第１危険係数及び前記第２危険係数の積を前記目標対象のリスク情報として使用することと、を含む、
項目５に記載の道路状況のプロンプト方法。
（項目７）
前記道路状況のプロンプト方法は、
前記目標対象に対応する対象属性情報に基づいて、前記目標対象に対応するカテゴリ情報を決定することを更に含み、前記カテゴリ情報は、交通指示カテゴリと非交通指示カテゴリのうちの少なくとも１つを含み、
前記決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することは、
前記目標対象に対応する前記カテゴリ情報及び前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することを含む、
項目１ないし６のいずれか一項に記載の道路状況のプロンプト方法。
（項目８）
前記道路状況のプロンプトのプロンプト順序において、前記交通指示カテゴリに属する第１クラスの目標対象の優先度は、前記非交通指示カテゴリに属する第２クラスの目標対象の優先度より高いか等しい、
項目７に記載の道路状況のプロンプト方法。
（項目９）
前記目標対象に対応する前記カテゴリ情報及び前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することは、
前記目標対象が前記交通指示カテゴリに属する第１クラスの目標対象を含む場合、前記第１クラスの目標対象のリスク情報に基づいて、前記第１クラスの目標対象が前記障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定することと、
決定された前記プロンプト順序に従って、前記障害物回避機器を介して前記第１クラスの目標対象に対して道路状況のプロンプトを実行することと、を含む、
項目７又は８に記載の道路状況のプロンプト方法。
（項目１０）
前記第１クラスの目標対象のリスク情報に基づいて、前記第１クラスの目標対象が前記障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定することは、
前記障害物回避機器によって撮影されたシナリオ画像、前記第１クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記第１クラスの目標対象を指す前記障害物回避機器の第１方向情報を決定することと、
前記障害物回避機器によって撮影された複数のシナリオ画像に基づいて、前記障害物回避機器の移動方向を決定することと、
前記第１クラスの目標対象を複数含む場合、前記第１クラスの目標対象に対応する第１方向情報及び前記障害物回避機器の移動方向に基づいて、前記第１クラスの目標対象からプロンプトされる第１クラスの目標対象を決定することであって、前記プロンプトされる第１クラスの目標対象に対応する第１方向情報によって指示される方向と前記障害物回避機器の移動方向との間の第１角度は設定された角度閾値より小さいことと、
前記プロンプトされる第１クラスの目標対象のリスク情報に基づいて、前記プロンプトされる第１クラスの目標対象が前記障害物回避機器を介して前記道路状況のプロンプトを実行する場合のプロンプト順序を決定することと、を含み、
前記決定された前記プロンプト順序に従って、前記障害物回避機器を介して前記第１クラスの目標対象に対して道路状況のプロンプトを実行することは、
決定された前記プロンプトされる第１クラスの目標対象に対応する前記プロンプト順序に従って、前記プロンプトされる第１クラスの目標対象に対応する距離情報によって指示された、前記プロンプトされる第１クラスの目標対象と前記障害物回避機器との距離が、第１プリセット距離閾値より小さい場合、前記障害物回避機器を介して前記プロンプトされる第１クラスの目標対象に対して道路状況のプロンプトを実行することを含む、
項目９に記載の道路状況のプロンプト方法。
（項目１１）
前記障害物回避機器によって撮影されたシナリオ画像、前記第１クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記第１クラスの目標対象を指す前記障害物回避機器の第１方向情報を決定することは、
前記障害物回避機器によって撮影された前記シナリオ画像に基づいて、現実シナリオに対応する世界座標系での前記障害物回避機器のポーズ情報を決定することと、
前記シナリオ画像に対して目標検出を実行することにより、前記シナリオ画像に対応する画像座標系での前記第１クラスの目標対象の二次元検出情報を決定することと、
前記二次元検出情報、前記第１クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記世界座標系での前記第１クラスの目標対象のポーズ情報を決定することと、
前記障害物回避機器に対応するポーズ情報及び前記第１クラスの目標対象に対応するポーズ情報に基づいて、前記第１クラスの目標対象を指す前記障害物回避機器の第１方向情報を決定することと、を含む、
項目１０に記載の道路状況のプロンプト方法。
（項目１２）
前記目標対象に対応する前記カテゴリ情報及び前記リスク情報に基づいて、前記障害物回避機器を介して前記道路状況のプロンプトを実行することは、
前記目標対象が前記非交通指示カテゴリに属する第２クラスの目標対象を含む場合、前記第２クラスの目標対象のリスク情報に基づいて、前記第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定することと、
前記プロンプトされる第２クラスの目標対象に対応する距離情報によって指示された、前記プロンプトされる第２クラスの目標対象と前記障害物回避機器との距離が、第２プリセット距離閾値より小さい場合、前記障害物回避機器を介して前記プロンプトされる第２クラスの目標対象に対して前記道路状況のプロンプトを実行することを含む、
項目７ないし１１のいずれか一項に記載の道路状況のプロンプト方法。
（項目１３）
前記第２クラスの目標対象のリスク情報に基づいて、前記第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定することは、
前記障害物回避機器によって撮影されたシナリオ画像、前記第２クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記第２クラスの目標対象を指す前記障害物回避機器の第２方向情報を決定することと、
前記障害物回避機器によって撮影された複数のシナリオ画像に基づいて、前記障害物回避機器の移動方向を決定することと、
前記第２クラスの目標対象に対応する第２方向情報及び前記障害物回避機器の移動方向に基づいて、前記第２方向情報によって指示される第２方向と前記障害物回避機器の移動方向との間の第２角度を決定することと、
前記第２クラスの目標対象を複数含む場合、前記第２クラスの目標対象から決定された前記第２角度がプリセット角度閾値より小さい少なくとも１つの第２クラスの目標対象を、前記プロンプトされる第２クラスの目標対象として使用することを含み、前記少なくとも１つの第２クラスの目標対象に対応するリスク情報によって指示されるリスクの度合いは、前記第２クラスの目標対象のうちの前記プロンプトされる第２クラスの目標対象を除いた他の目標対象に対応するリスク情報によって指示されるリスクの度合いより高い、
項目１２に記載の道路状況のプロンプト方法。
（項目１４）
前記道路状況のプロンプト方法は、
前記障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することを更に含み、
前記決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することは、
前記決定された前記リスク情報及び前記道路シナリオのタイプに基づいて、前記障害物回避機器を介して前記道路状況のプロンプトを実行することを含む、
項目１ないし１３のいずれか一項に記載の道路状況のプロンプト方法。
（項目１５）
前記障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することは、
前記障害物回避機器の位置情報を取得することと、
前記障害物回避機器によって事前に設定されたナビゲーションパスから、前記障害物回避機器の位置情報に対応する道路シナリオのタイプを決定することと、を含む、
項目１４に記載の道路状況のプロンプト方法。
（項目１６）
前記障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することは、
前記障害物回避機器によって撮影されたバス停の表示板画像を取得することと、
前記バス停の表示板画像に対してシナリオ標識認識を実行して、前記障害物回避機器の所在領域に対応する道路シナリオのタイプを決定することと、を含む、
項目１４又は１５に記載の道路状況のプロンプト方法。
（項目１７）
前記決定された前記リスク情報及び前記道路シナリオのタイプに基づいて、前記障害物回避機器を介して前記道路状況のプロンプトを実行することは、
決定された前記目標対象のリスク情報に基づいて、第１クラスのプロンプト情報を生成することと、
前記道路シナリオのタイプに基づいて、第２クラスのプロンプト情報を生成することと、
事前に設定されたプロンプト順序に基づいて、前記障害物回避機器を介して前記第１クラスのプロンプト情報及び前記第２クラスのプロンプト情報に対して前記道路状況のプロンプトを実行することと、を含む、
項目１４ないし１６のいずれか一項に記載の道路状況のプロンプト方法。
（項目１８）
道路状況のプロンプト装置であって、
障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得するように構成される、取得部と、
前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定するように構成される、決定部と、
決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行するように構成される、プロンプト部とを備える、前記道路状況のプロンプト装置。
（項目１９）
プロセッサ、メモリ及びバスを備える電子機器であって、前記メモリには、前記プロセッサ実行可能な機器可読命令が記憶され、前記電子機器が実行するときに、前記プロセッサと前記メモリとは、前記バスを介して通信し、前記プロセッサが前記機器可読命令を実行するときに、項目１ないし１７のいずれか一項に記載の道路状況のプロンプト方法を実行する、前記電子機器。
（項目２０）
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるときに、項目１ないし１７のいずれか一項に記載の道路状況のプロンプト方法を実行する、前記コンピュータ可読記憶媒体。
（項目２１）
コンピュータ可読コードを含む、コンピュータプログラム製品であって、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサが項目１ないし１７のいずれか一項に記載の道路状況のプロンプト方法を実現する、前記コンピュータプログラム製品。

Claims (21)

  1. 道路状況のプロンプト方法であって、
    障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得することと、
    前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することと、
    決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することと、を含む、前記道路状況のプロンプト方法。
  2. 前記障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報を取得することは、
    前記障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像を取得することと、
    前記シナリオ画像を目標検出して、前記シナリオ画像に含まれる前記目標対象及び前記目標対象に対応する対象属性情報を決定することと、を含む、
    請求項１に記載の道路状況のプロンプト方法。
  3. 前記目標対象に対応する距離情報を取得することは、
    前記障害物回避機器が目標道路状況シナリオを撮影して取得したシナリオ画像及び深度画像を取得することと、
    前記シナリオ画像及び前記深度画像に基づいて、前記目標対象に対応する距離情報を決定することと、を含み、前記距離情報は、前記目標対象と前記障害物回避機器との距離を含む、
    請求項１又は２に記載の道路状況のプロンプト方法。
  4. 前記シナリオ画像及び前記深度画像に基づいて、前記目標対象に対応する距離情報を決定することは、
    前記シナリオ画像及び前記深度画像に含まれる標定特徴点をそれぞれ抽出することと、
    前記シナリオ画像の標定特徴点及び前記深度画像の標定特徴点に基づいて、前記シナリオ画像と前記深度画像を整列し、前記深度画像から前記シナリオ画像に含まれる前記目標対象の深度情報を抽出して、前記目標対象に対応する距離情報を取得することと、を含む、
    請求項３に記載の道路状況のプロンプト方法。
  5. 前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定することは、
    前記目標対象に対応する前記対象属性情報に基づいて、前記目標対象に対応する第１危険係数を決定することと、
    前記目標対象に対応する距離情報によって指示される前記目標対象と前記障害物回避機器との距離に従って、前記目標対象に対応する第２危険係数を決定することと、
    前記距離情報、前記第１危険係数及び前記第２危険係数に基づいて、前記目標対象のリスク情報を決定することと、を含む、
    請求項１ないし４のいずれか一項に記載の道路状況のプロンプト方法。
  6. 前記距離情報、前記第１危険係数及び前記第２危険係数に基づいて、前記目標対象のリスク情報を決定することは、
    前記障害物回避機器の撮影範囲に対応する最遠距離及び前記距離情報に基づいて、目標距離差を決定することと、
    前記目標距離差、前記第１危険係数及び前記第２危険係数の積を前記目標対象のリスク情報として使用することと、を含む、
    請求項５に記載の道路状況のプロンプト方法。
  7. 前記道路状況のプロンプト方法は、
    前記目標対象に対応する対象属性情報に基づいて、前記目標対象に対応するカテゴリ情報を決定することを更に含み、前記カテゴリ情報は、交通指示カテゴリと非交通指示カテゴリのうちの少なくとも１つを含み、
    前記決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することは、
    前記目標対象に対応する前記カテゴリ情報及び前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することを含む、
    請求項１ないし６のいずれか一項に記載の道路状況のプロンプト方法。
  8. 前記道路状況のプロンプトのプロンプト順序において、前記交通指示カテゴリに属する第１クラスの目標対象の優先度は、前記非交通指示カテゴリに属する第２クラスの目標対象の優先度より高いか等しい、
    請求項７に記載の道路状況のプロンプト方法。
  9. 前記目標対象に対応する前記カテゴリ情報及び前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することは、
    前記目標対象が前記交通指示カテゴリに属する第１クラスの目標対象を含む場合、前記第１クラスの目標対象のリスク情報に基づいて、前記第１クラスの目標対象が前記障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定することと、
    決定された前記プロンプト順序に従って、前記障害物回避機器を介して前記第１クラスの目標対象に対して道路状況のプロンプトを実行することと、を含む、
    請求項７又は８に記載の道路状況のプロンプト方法。
  10. 前記第１クラスの目標対象のリスク情報に基づいて、前記第１クラスの目標対象が前記障害物回避機器を介して道路状況のプロンプトを実行する場合のプロンプト順序を決定することは、
    前記障害物回避機器によって撮影されたシナリオ画像、前記第１クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記第１クラスの目標対象を指す前記障害物回避機器の第１方向情報を決定することと、
    前記障害物回避機器によって撮影された複数のシナリオ画像に基づいて、前記障害物回避機器の移動方向を決定することと、
    前記第１クラスの目標対象を複数含む場合、前記第１クラスの目標対象に対応する第１方向情報及び前記障害物回避機器の移動方向に基づいて、前記第１クラスの目標対象からプロンプトされる第１クラスの目標対象を決定することであって、前記プロンプトされる第１クラスの目標対象に対応する第１方向情報によって指示される方向と前記障害物回避機器の移動方向との間の第１角度は設定された角度閾値より小さいことと、
    前記プロンプトされる第１クラスの目標対象のリスク情報に基づいて、前記プロンプトされる第１クラスの目標対象が前記障害物回避機器を介して前記道路状況のプロンプトを実行する場合のプロンプト順序を決定することと、を含み、
    前記決定された前記プロンプト順序に従って、前記障害物回避機器を介して前記第１クラスの目標対象に対して道路状況のプロンプトを実行することは、
    決定された前記プロンプトされる第１クラスの目標対象に対応する前記プロンプト順序に従って、前記プロンプトされる第１クラスの目標対象に対応する距離情報によって指示された、前記プロンプトされる第１クラスの目標対象と前記障害物回避機器との距離が、第１プリセット距離閾値より小さい場合、前記障害物回避機器を介して前記プロンプトされる第１クラスの目標対象に対して道路状況のプロンプトを実行することを含む、
    請求項９に記載の道路状況のプロンプト方法。
  11. 前記障害物回避機器によって撮影されたシナリオ画像、前記第１クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記第１クラスの目標対象を指す前記障害物回避機器の第１方向情報を決定することは、
    前記障害物回避機器によって撮影された前記シナリオ画像に基づいて、現実シナリオに対応する世界座標系での前記障害物回避機器のポーズ情報を決定することと、
    前記シナリオ画像に対して目標検出を実行することにより、前記シナリオ画像に対応する画像座標系での前記第１クラスの目標対象の二次元検出情報を決定することと、
    前記二次元検出情報、前記第１クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記世界座標系での前記第１クラスの目標対象のポーズ情報を決定することと、
    前記障害物回避機器に対応するポーズ情報及び前記第１クラスの目標対象に対応するポーズ情報に基づいて、前記第１クラスの目標対象を指す前記障害物回避機器の第１方向情報を決定することと、を含む、
    請求項１０に記載の道路状況のプロンプト方法。
  12. 前記目標対象に対応する前記カテゴリ情報及び前記リスク情報に基づいて、前記障害物回避機器を介して前記道路状況のプロンプトを実行することは、
    前記目標対象が前記非交通指示カテゴリに属する第２クラスの目標対象を含む場合、前記第２クラスの目標対象のリスク情報に基づいて、前記第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定することと、
    前記プロンプトされる第２クラスの目標対象に対応する距離情報によって指示された、前記プロンプトされる第２クラスの目標対象と前記障害物回避機器との距離が、第２プリセット距離閾値より小さい場合、前記障害物回避機器を介して前記プロンプトされる第２クラスの目標対象に対して前記道路状況のプロンプトを実行することを含む、
    請求項７ないし１１のいずれか一項に記載の道路状況のプロンプト方法。
  13. 前記第２クラスの目標対象のリスク情報に基づいて、前記第２クラスの目標対象からプリセット条件を満たすプロンプトされる第２クラスの目標対象を決定することは、
    前記障害物回避機器によって撮影されたシナリオ画像、前記第２クラスの目標対象に対応する距離情報及び前記障害物回避機器に対応するパラメータ情報に基づいて、前記第２クラスの目標対象を指す前記障害物回避機器の第２方向情報を決定することと、
    前記障害物回避機器によって撮影された複数のシナリオ画像に基づいて、前記障害物回避機器の移動方向を決定することと、
    前記第２クラスの目標対象に対応する第２方向情報及び前記障害物回避機器の移動方向に基づいて、前記第２方向情報によって指示される第２方向と前記障害物回避機器の移動方向との間の第２角度を決定することと、
    前記第２クラスの目標対象を複数含む場合、前記第２クラスの目標対象から決定された前記第２角度がプリセット角度閾値より小さい少なくとも１つの第２クラスの目標対象を、前記プロンプトされる第２クラスの目標対象として使用することを含み、前記少なくとも１つの第２クラスの目標対象に対応するリスク情報によって指示されるリスクの度合いは、前記第２クラスの目標対象のうちの前記プロンプトされる第２クラスの目標対象を除いた他の目標対象に対応するリスク情報によって指示されるリスクの度合いより高い、
    請求項１２に記載の道路状況のプロンプト方法。
  14. 前記道路状況のプロンプト方法は、
    前記障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することを更に含み、
    前記決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行することは、
    前記決定された前記リスク情報及び前記道路シナリオのタイプに基づいて、前記障害物回避機器を介して前記道路状況のプロンプトを実行することを含む、
    請求項１ないし１３のいずれか一項に記載の道路状況のプロンプト方法。
  15. 前記障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することは、
    前記障害物回避機器の位置情報を取得することと、
    前記障害物回避機器によって事前に設定されたナビゲーションパスから、前記障害物回避機器の位置情報に対応する道路シナリオのタイプを決定することと、を含む、
    請求項１４に記載の道路状況のプロンプト方法。
  16. 前記障害物回避機器の所在位置に対応する道路シナリオのタイプを取得することは、
    前記障害物回避機器によって撮影されたバス停の表示板画像を取得することと、
    前記バス停の表示板画像に対してシナリオ標識認識を実行して、前記障害物回避機器の所在領域に対応する道路シナリオのタイプを決定することと、を含む、
    請求項１４又は１５に記載の道路状況のプロンプト方法。
  17. 前記決定された前記リスク情報及び前記道路シナリオのタイプに基づいて、前記障害物回避機器を介して前記道路状況のプロンプトを実行することは、
    決定された前記目標対象のリスク情報に基づいて、第１クラスのプロンプト情報を生成することと、
    前記道路シナリオのタイプに基づいて、第２クラスのプロンプト情報を生成することと、
    事前に設定されたプロンプト順序に基づいて、前記障害物回避機器を介して前記第１クラスのプロンプト情報及び前記第２クラスのプロンプト情報に対して前記道路状況のプロンプトを実行することと、を含む、
    請求項１４ないし１６のいずれか一項に記載の道路状況のプロンプト方法。
  18. 道路状況のプロンプト装置であって、
    障害物回避機器に対応する距離の設定範囲内の目標対象に対応する対象属性情報、及び前記目標対象に対応する距離情報を取得するように構成される、取得部と、
    前記目標対象に対応する前記対象属性情報及び前記距離情報に基づいて、前記目標対象のリスク情報を決定するように構成される、決定部と、
    決定された前記リスク情報に基づいて、前記障害物回避機器を介して道路状況のプロンプトを実行するように構成される、プロンプト部とを備える、前記道路状況のプロンプト装置。
  19. プロセッサ、メモリ及びバスを備える電子機器であって、前記メモリには、前記プロセッサ実行可能な機器可読命令が記憶され、前記電子機器が実行するときに、前記プロセッサと前記メモリとは、前記バスを介して通信し、前記プロセッサが前記機器可読命令を実行するときに、請求項１ないし１７のいずれか一項に記載の道路状況のプロンプト方法を実行する、前記電子機器。
  20. コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１ないし１７のいずれか一項に記載の道路状況のプロンプト方法を実行する、前記コンピュータ可読記憶媒体。
  21. コンピュータ可読コードを含む、コンピュータプログラム製品であって、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサが請求項１ないし１７のいずれか一項に記載の道路状況のプロンプト方法を実現する、前記コンピュータプログラム製品。
JP2022520723A 2020-08-28 2021-05-21 道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品 Withdrawn JP2022550895A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010887576.X 2020-08-28
CN202010887576.XA CN111968376B (zh) 2020-08-28 2020-08-28 一种路况提示方法、装置、电子设备及存储介质
PCT/CN2021/095149 WO2022041869A1 (zh) 2020-08-28 2021-05-21 路况提示方法、装置、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
JP2022550895A true JP2022550895A (ja) 2022-12-05

Family

ID=73400863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022520723A Withdrawn JP2022550895A (ja) 2020-08-28 2021-05-21 道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品

Country Status (4)

Country Link
JP (1) JP2022550895A (ja)
KR (1) KR20220057577A (ja)
CN (1) CN111968376B (ja)
WO (1) WO2022041869A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968376B (zh) * 2020-08-28 2022-06-28 北京市商汤科技开发有限公司 一种路况提示方法、装置、电子设备及存储介质
CN112489460A (zh) * 2020-12-03 2021-03-12 百度国际科技（深圳）有限公司 信号灯信息的输出方法和装置
CN112906625A (zh) * 2021-03-12 2021-06-04 北京市商汤科技开发有限公司 一种避障提示方法、装置、电子设备及存储介质
CN112907757A (zh) * 2021-04-08 2021-06-04 深圳市慧鲤科技有限公司 一种导航提示方法、装置、电子设备及存储介质
CN115148025B (zh) * 2022-06-28 2023-10-20 重庆长安汽车股份有限公司 一种交通目标轨迹预测方法及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013067539A1 (en) * 2011-11-04 2013-05-10 Massachusetts Eye & Ear Infirmary Adaptive visual assistive device
CN105078717A (zh) * 2014-05-19 2015-11-25 中兴通讯股份有限公司 一种智能导盲方法及设备
US20180185232A1 (en) * 2015-06-19 2018-07-05 Ashkon Namdar Wearable navigation system for blind or visually impaired persons with wireless assistance
CN105167967B (zh) * 2015-09-14 2018-04-03 深圳市冠旭电子股份有限公司 一种导盲方法及系统
CN106375448A (zh) * 2016-09-05 2017-02-01 腾讯科技（深圳）有限公司 图像处理方法和装置及系统
CN107976199A (zh) * 2016-10-25 2018-05-01 中兴通讯股份有限公司 无人机导航方法、系统及无人机
JP2018138118A (ja) * 2017-02-24 2018-09-06 シナノケンシ株式会社 視覚障害者歩行支援装置
CN109427343B (zh) * 2017-09-04 2022-06-10 比亚迪股份有限公司 导盲语音处理方法、装置及系统
WO2019084797A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 一种障碍信息显示方法、显示装置、无人机及系统
CN111968376B (zh) * 2020-08-28 2022-06-28 北京市商汤科技开发有限公司 一种路况提示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022041869A1 (zh) 2022-03-03
KR20220057577A (ko) 2022-05-09
CN111968376B (zh) 2022-06-28
CN111968376A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
JP2022550895A (ja) 道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品
US10362429B2 (en) Systems and methods for generating spatial sound information relevant to real-world environments
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
KR102541561B1 (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
KR102070527B1 (ko) 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
CN110347145A (zh) 用于自动驾驶车辆的感知辅助
CN106462232B (zh) 用于在动态环境中确定坐标框架的方法和系统
AU2015262344B2 (en) Processing apparatus, processing system, processing program, and processing method
CN109725634A (zh) 用于自动驾驶车辆的使用分色镜的3d lidar系统
CN109426256A (zh) 自动驾驶车辆的基于驾驶员意图的车道辅助系统
CN114641668A (zh) 拼车应用程序中的增强现实寻路
CN110377024A (zh) 用于自动驾驶车辆的自动数据标注
CN108732589A (zh) 利用3d lidar和定位自动采集用于对象识别的训练数据
EP2860971A1 (en) Display control apparatus, method, recording medium, and vehicle
KR20200029785A (ko) 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
CN109730910B (zh) 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
JP2014181927A (ja) 情報提供装置、及び情報提供プログラム
CN105659304A (zh) 视觉增强导航
WO2021227520A1 (zh) 可视化界面的显示方法、装置、电子设备和存储介质
JP6708785B2 (ja) 走行経路提供システムおよびその制御方法、並びにプログラム
JP6448880B1 (ja) 危険情報収集装置
CN111178286B (zh) 姿态轨迹预测方法、装置及电子设备
KR101281629B1 (ko) 센서를 이용한 운전 안내 시스템
CN112906625A (zh) 一种避障提示方法、装置、电子设备及存储介质
US10642033B2 (en) Image display device and image display method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20221219