JP2022533515A - マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法 - Google Patents

マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法 Download PDF

Info

Publication number
JP2022533515A
JP2022533515A JP2021557063A JP2021557063A JP2022533515A JP 2022533515 A JP2022533515 A JP 2022533515A JP 2021557063 A JP2021557063 A JP 2021557063A JP 2021557063 A JP2021557063 A JP 2021557063A JP 2022533515 A JP2022533515 A JP 2022533515A
Authority
JP
Japan
Prior art keywords
mode
user
display
radar
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021557063A
Other languages
English (en)
Other versions
JP7407200B2 (ja
Inventor
鋭志 林
サチダナンダム,ビグネッシュ
ジュスティ,レオナルド
リエン,ジェイミー
アミフッド,パトリック・エム
プピレフ,アイバン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2022533515A publication Critical patent/JP2022533515A/ja
Application granted granted Critical
Publication of JP7407200B2 publication Critical patent/JP7407200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

この文書は、マルチモードインターフェイス(114)を提供するためのモバイルデバイスベースのレーダーシステム(104)を可能にする手法およびシステムを説明する。ユーザデバイス(102、702)がユーザデバイスの近くのユーザの存在またはしきい値動きを正確に判断することを可能にするために、レーダー場(110)が使用される。ユーザデバイスは、少なくとも第1および第2のモードを有し、第1のモードにおいて黒色表示または低光度表示を提供するマルチモードインターフェイスを提供する。ユーザデバイスは、レーダーデータに基づいて、および第1のモードの間、ユーザデバイスに対するユーザによる存在またはしきい値動きを検出し、それに応答して、マルチモードインターフェイスを第1のモードから第2のモードに変更する。第2のモードへの変更に応答して、ユーザデバイスは、黒色表示または低光度表示の1つ以上の表示パラメータを調節することによって、暗黙的相互作用に対応する視覚フィードバックを提供する。

Description

背景
モバイルデバイスは、仕事および私生活の双方にとってほぼ不可欠になっている。モバイルデバイスおよび他の電子デバイス上のアプリケーションは、ユーザらが通常相互作用する、増え続けるさまざまな生産性機能、娯楽機能、および通信機能を提供する。これらのデバイスは、仕事、遊び、および家庭で、多くの人々の忠実な友である。ユーザらは、声やタッチを介してデバイスとコミュニケーションを取り、デバイスを仮想アシスタントのように扱って、会議やイベントをスケジューリングし、デジタル媒体を消費し、プレゼンテーションおよび文書を共有する。しかしながら、実社会では、コミュニケーションは、人々が使用する言葉以上のものである。人々がどのようにコミュニケーションを取るか、および、コミュニケーションを取る自分の意図をどのように表わすか、ということの大部分は、人々がどのように自分の対人空間を知覚して管理するかに基づく。人々はしばしば、(対人距離または対人志向性などの)空間的関係の変更を、コミュニケーションの暗黙的形式として使用する。たとえば、人々は、親しさに依存して他人からある距離を維持し、他人に話しかけるときに他人の方を向き、自分が興味を持っている物体にさらに近づき、目の前の作業に依存して他人に対して立ったり座ったりする。
機械学習手法の助けにより、モバイルデバイスアプリケーションおよびモバイルデバイス自体は、ユーザらのルーチンや好みにより精通するようになり、おすすめのレストランを提供したり、映画を提案したり、他の態様で独立してコミュニケーションを取ることができる。しかしながら、この計算能力および人工知能にもかかわらず、モバイルデバイスは依然として受け身的な通信機器である。すなわち、スマートフォンがどれほど「スマート」であろうと、また、どれほど多くのユーザらが、モバイルデバイスが人間であるかのようにモバイルデバイスに話しかけようと、モバイルデバイスは依然として起動されることに依存している。モバイルデバイスを起動するために、ユーザは典型的には、まず、モバイルデバイスを使用するユーザの意図をモバイルデバイスに認識させるように、モバイルデバイスに関与する必要がある。そうした後で、モバイルデバイスは、アプリケーションおよび機能性を、ユーザの使用のために利用可能にする。したがって、ユーザがモバイルデバイスに明示的に関与する前にモバイルデバイスによって提供されるユーザ体験は単調であり、幾分空虚であり、豊かさに欠ける。
概要
この文書は、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にする手法およびシステムを説明する。これらの手法およびシステムは、レーダー場を使用して、モバイルデバイスがユーザの存在または不在を正確に判断し、さらに、モバイルデバイスと暗黙的に相互作用するかまたはコミュニケーションを取るためのユーザの動きを判断することを可能にする。これらの手法を使用して、モバイルデバイスは、ユーザの非言語的コミュニケーションキューを勘案して、その環境におけるユーザの認識を判断して維持し、ユーザによる間接的相互作用に応答し、モバイルデバイスがユーザとモバイルデバイスに対するユーザの動きとを認識していることをユーザに教えることができる。応答は、ユーザデバイスに対するユーザの動きまたは位置に基づいてマルチモードインターフェイスを介して表示された視覚フィードバックを使用して提供され得る。マルチモードインターフェイスは「アンビエント」として説明される。なぜなら、それは、モバイルデバイスによって実行されるアプリケーションプログラムとは別個の独立した、モバイルデバイスのデジタル環境の一部として動作し、当該一部として提供されるためである(たとえば、マルチモードインターフェイスは、モバイルデバイスのオペレーティングシステムのための「キャンバス」として考えられてもよい)。
以下に説明される局面は、レーダーシステムと、1つ以上のコンピュータプロセッサと、1つ以上のコンピュータ読取可能媒体とを含む、ユーザデバイスを含む。レーダーシステムは、少なくとも部分的にハードウェアで実現され、レーダー場を提供する。レーダーシステムはまた、レーダー場内のユーザからの反射を検知し、レーダー場内のユーザからの反射を分析し、反射の分析に基づいてレーダーデータを提供する。1つ以上のコンピュータ読取可能媒体には命令が格納され、命令は、レーダーベースの相互作用マネージャを実現するために、1つ以上のコンピュータプロセッサによって実行され得る。レーダーベースの相互作用マネージャは、少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供する。マルチモードインターフェイスは、第1のモードの間、黒色表示または低光度表示を提供する。レーダーベースの相互作用マネージャはまた、レーダーデータに基づいて、および第1のモードの間、ユーザの存在か、または、ユーザデバイスに対するユーザによるしきい値動き(threshold movement)を検出する。ユーザの存在またはユーザのしきい値動きの検出に応答して、レーダーベースの相互作用マネージャは、マルチモードインターフェイスを第1のモードから第2のモードに変更する。第2のモードへの変更に応答して、レーダーベースの相互作用マネージャは、マルチモードインターフェイスに、黒色表示または低光度表示の低光度バージョンの1つ以上の表示パラメータを変更することによって、ユーザの存在またはユーザのしきい値動きに対応する視覚フィードバックを提供させる。
以下に説明される局面はまた、ユーザデバイスで実現される方法を含む。方法は、少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するステップを含み、マルチモードインターフェイスは、第1のモードの間、黒色表示または低光度表示を提供する。方法はまた、ユーザデバイスがロック状態にある場合、レーダーシステムからレーダーデータを取得するステップを含み、レーダーデータは、レーダーシステムによって生成されたレーダー場内のユーザからの反射を表わす。方法は加えて、レーダーデータに基づいて、および第1のモードの間、ユーザの存在か、または、ユーザデバイスに対するユーザによるしきい値動きを検出するステップを含む。さらに、方法は、ユーザの存在またはユーザによるしきい値動きの検出に応答して、マルチモードインターフェイスを第1のモードから第2のモードに変更させるステップを含む。加えて、方法は、第2のモードへの変更に応答して、マルチモードインターフェイスに、黒色表示または低光度表示の1つ以上の表示パラメータを変更することによって、ユーザの存在またはユーザによるしきい値動きに対応する視覚フィードバックを提供させるステップを含む。
以下に説明される局面はまた、レーダーシステムを含むユーザデバイスで実現される方法を含む。方法は、レーダーシステムが、レーダー場を提供するステップと、レーダー場内のユーザからの反射を送信するステップと、レーダー場内のユーザからの反射を分析するステップと、反射の分析に基づいてレーダーデータを提供するステップとを含む。方法はまた、レーダーベースの相互作用マネージャが、少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するステップを含む。局面では、マルチモードインターフェイスは、第1のモードの間、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示を提供する。方法はさらに、レーダーベースの相互作用マネージャが、レーダーデータに基づいて、および第1のモードの間、ユーザの存在か、または、ユーザデバイスに対するユーザのしきい値動きを検出するステップを含む。方法は加えて、ユーザの存在またはユーザのしきい値動きの検出に応答して、レーダーベースの相互作用マネージャが、マルチモードインターフェイスを第1のモードから第2のモードに変更するステップを含む。また、方法は、マルチモードインターフェイスを第2のモードに変更することに応答して、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示の1つ以上の表示パラメータを変更することによって、暗黙的相互作用に対応する視覚フィードバックを提供するステップを含む。
この概要は、以下の詳細な説明および図面においてさらに説明される、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムに関する単純化された概念を紹介するために提供される。この概要は、主張される主題の本質的特徴を識別するよう意図されてはおらず、主張される主題の範囲を定める際に使用するよう意図されてもいない。
この文書では、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムの1つ以上の局面の詳細を、以下の図面を参照して説明する。同様の機能および構成要素に言及するために、同じ番号が図面全体にわたって使用される。
マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にする手法が実現され得る例示的な環境を示す図である。 レーダーシステムを含み、マルチモードインターフェイスを実現できる図1のモバイルデバイスの例示的な実現化例を示す図である。 図2のレーダーシステムの例示的な実現化例を示す図である。 図3のレーダーシステムのための受信アンテナ素子の例示的な配置を示す図である。 図2のレーダーシステムの例示的な実現化例の追加の詳細を示す図である。 図2のレーダーシステムによって実現され得る例示的なスキームを示す図である。 レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの例示的な実現化例を示す図である。 レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの例示的な実現化例を示す図である。 レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの別の例示的な実現化例を示す図である。 レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの別の例示的な実現化例を示す図である。 マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムのための方法を示す図である。 マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムのための方法を示す図である。 ユーザデバイスが、ユーザのユーザデバイスとの暗黙的相互作用に基づいてモードを変更するマルチモードインターフェイスを提供するための方法を示す図である。 ユーザデバイスが、ユーザのユーザデバイスとの暗黙的相互作用に基づいてモードを変更するマルチモードインターフェイスを提供するための方法を示す図である。 ユーザデバイスが、ユーザのユーザデバイスとの暗黙的相互作用に基づいてモードを変更するマルチモードインターフェイスを提供するための方法を示す図である。 マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを実現するか、または、当該レーダーシステムを可能にする手法が実現され得るように、図1~14を参照して説明されるような任意のタイプのクライアント、サーバ、および/または電子デバイスとして実現され得る例示的なコンピューティングシステムを示す図である。
詳細な説明
概略
この文書は、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にする手法およびシステムを説明する。特に、モバイルデバイスベースのレーダーシステムは、ユーザによるモバイルデバイスとの暗黙的相互作用に応答して、マルチモードインターフェイスを使用して視覚フィードバックを提供する。暗黙的相互作用またはコミュニケーションは、モバイルデバイスのまわりのユーザの存在、空間的関係、および手の動きを含む。特に、ユーザによるモバイルデバイスとの暗黙的相互作用は、デバイスに対して機能を開始または実行するよう意図されていない、モバイルデバイスの近くのユーザの動きである。したがって、暗黙的相互作用は、明示的または直接ユーザ入力とは考えられず、代わりに、モバイルデバイスへの入力を間接的に提供する、ユーザによるアクションである。言い換えれば、暗黙的相互作用は、直接入力を提供するよう意図されていないものの、モバイルデバイスが暗黙的または間接入力を判断するかまたは当該入力として解釈するために使用できる、モバイルデバイスの近くのユーザアクションを含む。例示的な暗黙的相互作用は、ユーザがモバイルデバイスのまわりの所定の半径を有する区域(たとえばレーダー場)に入ること、ユーザの手が所定のしきい値距離内のモバイルデバイスに向かって(またはモバイルデバイスから遠ざかって)伸びること、ユーザがモバイルデバイスに目を向けること、ユーザが、モバイルデバイスをより近くで見るなどのために、自分の頭を所定距離内のモバイルデバイスに向かって動かすこと、ユーザがモバイルデバイスに対面しながら自分の頭を縦または横に振ること、ユーザがレーダー場を出ること、などを含む。暗黙的相互作用とは対照的に、明示的ユーザ入力は、モバイルデバイスのタッチスクリーンへのタッチ入力、モバイルデバイス上のボタンの作動、もしくは、モバイルデバイスまたはモバイルデバイスのアプリケーションプログラムかユーザインターフェイス(user-interface:UI)要素と直接相互作用する、モバイルデバイスに対するスワイプ、タップ、ダブルタップ、ウェーブなどのジェスチャーを、特定の機能を開始するためにユーザによって意図されるやり方で含んでいてもよい。
説明される手法およびシステムはレーダーシステムを使用して、明示的ユーザ入力にのみ反応するのではなく、ユーザのモバイルデバイスとの暗黙的相互作用に基づいてモードを変更する豊かなアンビエントマルチモードインターフェイス体験を提供し、デバイスがユーザの動きを認識し検出して面白いやり方で反応できることを示すようにユーザにフィードバックを提供する。ユーザの暗黙的相互作用は、(たとえば、デバイスがロック状態にある場合に)デバイスに対する未認証のユーザの動きを判断することによって識別されてもよい。
マルチモードインターフェイスは、たとえば、休止モード、アンビエントモード、アラートモード、およびアクティブモードを含む、いくつかのモードを含む。マルチモードインターフェイスのどのモードが現在実行中かに基づいて、さまざまなレベルの電力がモバイルデバイスの表示デバイスに提供される。
一例では、レーダーシステムがより低い電力モードである場合、モバイルデバイスも、表示デバイス、タッチスクリーン、マイク、音声アシスタントなどといったさまざまな機能の消費電力をオフにするかまたは他の態様で減少させることによって、より低い電力状態にあり得る。同時に、マルチモードインターフェイスは、インターフェイスが休止状態にあり、パワーオフ表示、たとえば黒色表示を提供するような休止モードであってもよい。場合によっては、マルチモードインターフェイスが、表示デバイスがオフにされ、画素を照明するために電力が表示デバイスに提供されないような休止モードである場合、表示デバイスは「オフ」状態にあると考えられる。ユーザがモバイルデバイスの近くにいない(たとえば、ユーザがモバイルデバイスの所定距離内で検出されない)場合、または、モバイルデバイスがユーザのポケット、ハンドバッグ、またはバッグの中にある(そこでは、デバイスは、それが暗い場所にあり、ユーザはモバイルデバイスと(暗黙的にまたは明示的に)相互作用していないということを検出する)場合、休止モードはマルチモードインターフェイスに適用されてもよい。
レーダーシステムが区域内のユーザを検出すると、相互作用マネージャは、マルチモードインターフェイスを休止モードからアンビエントモードに自律的に移行させる。アンビエントモードでは、モバイルデバイスは、デバイスの所定距離内の(たとえば、レーダーシステムのレーダー場内の)ユーザの存在を検出する。ここで、消費電力を最小化するために、デバイスはより低い電力状態で動作し、ディスプレイスクリーンは低光度に設定される。ここで説明されるように、光度とは、人間によって知覚されるオブジェクトの輝度を指す。光度を修正することは、輝き(たとえば輝度)、コントラスト、および/または不透明性を修正することを含んでいてもよい。低光度とは、最大光度(たとえば100%の光度)に対して定義された定義済しきい値レベルよりも低い光度レベルを指してもよい。低光度のための定義済しきい値レベルの例は、最大光度の約50%、40%、25%、15%などを含んでいてもよい。この定義済しきい値は、製造業者によって設定されてもよく、または、ユーザによって選択された設定によって定義されてもよい。高光度とは、最大光度に対して定義された定義済しきい値レベル以上である光度レベルを指してもよい。高光度のための定義済しきい値レベルの例は、最大光度の約50%、60%、75%、85%、95%、または100%を含んでいてもよい。3(たとえば低、中、高)、4、5、またはそれ以上といった任意の好適な数の光度レベルが、マルチモードインターフェイスのモードの数と相関するように実現され得る。
場合によっては、1つ以上のユーザインターフェイス要素(たとえばクロック、バッテリー充電レベル表示器、ホームボタン、ロックボタンなど)が、低輝度などの低光度でディスプレイスクリーン上に表示される。ディスプレイスクリーンはまた、画像の色あせた、および/またはぼやけた、モノクロ(たとえばグレースケール)のバージョンといった、低光度および彩度を有する画像を表示することができる。しかしながら、低彩度はモノクロに限定されない。むしろ、低彩度は、表示の知覚されたカラフルさが弱められたような暗くなった色調または陰影を有する1つ以上の色を含んでいてもよい。
一局面では、休止モードからアンビエントモードに移行する場合、ディスプレイスクリーンは、ユーザに挨拶するために、所定の持続時間の間、画像を見せる(たとえば、フェードインする)ことによって視覚フィードバックを提供するために高光度で点灯する。このように、表示は、デバイスがユーザの存在を検出し、ユーザの動きに応答する準備ができているということをユーザに通知する。持続時間の満了後、光度は、画像が次第に目立たない状態になるように減少してもよい。たとえば、ディスプレイスクリーンは、消費電力を減少させるように、画像を隠すために、または画像の低光度、低彩度(すなわち彩度低下)バージョンを提供するために暗くされてもよい。いくつかの実現化例では、ユーザインターフェイス要素のうちの1つ以上も、消費電力を減少させるために暗くされ、および/または彩度低下されてもよい。マルチモードインターフェイスがアンビエントモードである場合、レーダーシステムはユーザの動きを検出するために低いサンプルレートを使用してもよく、マルチモードインターフェイスがユーザの動きに断続的に応答するようにする。低いサンプルレートは、モバイルデバイスが低消費電力を維持することを可能にする。
レーダーシステムは、デバイスの所定距離(たとえば、約1.0メートル、0.75メートル、0.5メートル、0.3メートルなど)内の、デバイスに向かって伸びるユーザの手といった物体によるしきい値動き(threshold movement)を検出することができる。レーダーシステムがこのしきい値動きを検出すると、相互作用マネージャは、マルチモードインターフェイスをアンビエントモードからアラートモードに自動的に移行させることができる。アラートモードでは、ユーザがデバイスに向かって手を伸ばすにつれて、デバイスは表示(または少なくとも画像)の光度を増加させる。光度は、ユーザの手がデバイスに近づくにつれて、少なくとも画像が次第により見やすくなるように、ユーザの手とデバイスとの間の距離の減少量および/または減少速度に比例して調節され得る。場合によっては、ユーザの手がデバイスに近づくにつれて、1つ以上の形状またはオブジェクトが、見る、および/または動く(たとえば、シフトする、2次元的および/または3次元的に回転する、伸びる、再形成する、再配置する)ためにフェードインしてもよい。別の例は、ユーザの手がデバイスに近づくにつれて、形状またはオブジェクトが表示デバイスの側部から近寄り、サイズが次第に大きくなり、および/または、より見やすくなることを含む。局面では、形状またはオブジェクトは、ユーザの手がデバイスに向かって動くにつれて、たとえば、ユーザの手に向かってまたはユーザの手から遠ざかって、あるいは、所定のスクリーン上の場所に向かってまたは当該場所から遠ざかって、スクリーン上で動いてもよい。別の例は、表示が、明るい色(たとえば白、黄色、オレンジなど)で表示された1つ以上のUI要素を有する黒色表示または低光度表示から、暗い色(たとえば黒、茶色、濃紺など)で表示された1つ以上のUI要素を有する高光度に移行することを含む。
モバイルデバイスの認証システム(たとえば、レーダーベースの認証、顔認識認証、指紋認識認証、音声認識認証など)がユーザを認可されたユーザとして認識すると、相互作用マネージャは、マルチモードインターフェイスをアクティブモードに移行させる。アクティブモードは、デバイスの完全に動作可能な状態であり、認証されたユーザに完全な権利を提供する。これは、各々、ユーザに完全ではない権利を提供し、モバイルデバイスのロック状態の間に実行される休止モード、アンビエントモード、およびアラートモードとは対照的である。アクティブモードでは、デバイスは、ユーザがデバイスへの完全なアクセスを有する、より高い電力状態で動作する。加えて、アクティブモードは、高光度および彩度表示を提供する。アクティブモードに移行すると(たとえば、ユーザ認識および認証に基づいてデバイスがロック解除すると)、デバイスは、表示の彩度を増加させる。このように、色が画像に流れ込み、ユーザが認識され認証されたこと、およびデバイスがロック解除されたことを示すためにユーザに視覚フィードバックを提供する。いくつかの局面では、光度は、ロック解除状態のデバイスの動作に関連付けられた事前設定光度レベルなどの適切なレベルの光度に到達するまで、彩度の増加とともにさらに増加され得る。
いくつかの従来のモバイルデバイスは、ユーザの場所を判断し、ユーザの近接性に基づいてモバイルデバイスのさまざまな機能を調節するために、カメラまたは近接センサ(たとえば容量性センサ)を使用する場合がある。たとえば、モバイルデバイスは、ユーザが予め定められた距離内にいなければ表示をオフにすることによって、追加のプライバシーまたは美的価値を提供してもよい。しかしながら、従来のモバイルデバイスは典型的には、特にユーザデバイスがロック状態にある場合に、デバイスがユーザの動きを検出でき、面白いやり方で反応できることをユーザに教えることができる豊かなアンビエント体験をユーザに提供することができない。
また、レーダーシステムおよびモバイルデバイス自体(またはモバイルデバイスの少なくとも表示デバイス)の消費電力は、いくつかの表示機能を制御するために常時オン状態のカメラ(または他のセンサあるいはセンサの組合せ)を使用し得るいくつかの従来の手法よりも実質的に少なくなり得る。これは、少なくとも、表示およびレーダーシステムの消費電力が、ユーザがモバイルデバイスの近くにいない場合には減少し、ユーザのモバイルデバイスとの相互作用のレベルに基づいて徐々に増加するためである。これらは、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にするために、説明される手法およびデバイスがどのように使用され得るかについてのほんの数例である。それらの他の例および実現化例が、この文書全体にわたって説明される。文書はここで、例示的な動作環境に変わり、その後、例示的なデバイス、方法、およびシステムが説明される。
動作環境
図1は、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にする手法が実現され得る例示的な環境100を示す。例示的な環境100はユーザデバイス102(たとえば電子デバイス)を含み、それは、レーダーシステム104と、永続的なレーダーベースの相互作用マネージャ106(相互作用マネージャ106)と、オプションの1つ以上の非レーダーセンサ108(非レーダーセンサ108)とを含むかまたはそれらと関連付けられている。非レーダーセンサ108は、音声センサ(たとえばマイク)、タッチ入力センサ(たとえばタッチスクリーン)、または画像取込デバイス(たとえばカメラまたはビデオカメラ)といったさまざまなデバイスのうちのいずれであってもよい。
例示的な環境100では、レーダーシステム104は、図3~6を参照して以下に説明されるように、1つ以上のレーダー信号または波形を送信することによってレーダー場110を提供する。レーダー場110は空間体積であり、そこからレーダーシステム104は、レーダー信号および波形の反射(たとえば、空間体積内の物体から反射されたレーダー信号および波形)を検出することができる。レーダーシステム104はまた、ユーザデバイス102または他の電子デバイスが、レーダー場110内の物体(たとえばユーザ112)からの反射を検知して分析することを可能にする。レーダーシステム104のいくつかの実現化例は、低電力の必要性、処理効率の必要性、アンテナ素子の間隔およびレイアウトにおける制限、および他の問題といった問題が集中するユーザデバイス102などのスマートフォンの状況で適用される際に特に有利であり、細かい手のジェスチャーのレーダー検出が望まれるスマートフォンの特定の状況でさらに有利である。実施形態は、レーダーによって検出される細かい手のジェスチャーが必要とされるスマートフォンの上述の状況で特に有利であるが、本発明の機能および利点の利用可能性は必ずしもそう限定されておらず、他のタイプの電子デバイスを伴う他の実施形態も本教示の範囲内にあってもよいということが理解されるべきである。
物体は、木、プラスチック、金属、布地、人体、または人体部分(たとえば、ユーザデバイス102のユーザの足、手、または指)といった、レーダーシステム104がレーダー反射を検知して分析することができるさまざまな物体のうちのいずれであってもよい。図1に示すように、物体は、ユーザデバイス102のユーザ(たとえばユーザ112)である。反射の分析に基づいて、レーダーシステム104は、図3~6を参照して説明されるように、レーダー場110とユーザ112からの反射とに関連付けられたさまざまなタイプの情報を含むレーダーデータを提供することができる(たとえば、レーダーシステム104は、相互作用マネージャ106などの他のエンティティにレーダーデータを渡すことができる)。
なお、レーダーデータは、レーダー場110内のユーザ112からの検知され分析された反射に基づいて、時間とともに連続的にまたは定期的に提供されてもよい。ユーザ112の位置は時間とともに変わる場合があり(たとえば、ユーザ112はレーダー場110内で動く場合がある)、このため、レーダーデータは、変更された位置、反射、および分析に対応して時間とともに変わる場合がある。レーダーデータは時間とともに変わり得るため、レーダーシステム104は、異なる期間に対応するレーダーデータの1つ以上の部分集合を含むレーダーデータを提供してもよい。たとえば、レーダーシステム104は、第1の期間に対応するレーダーデータの第1の部分集合、第2の期間に対応するレーダーデータの第2の部分集合などを提供してもよい。
相互作用マネージャ106は、ユーザデバイス102のさまざまなコンポーネント(たとえば、モジュール、マネージャ、システム、またはインターフェイス)と相互作用するかまたは当該コンポーネントを制御するために使用され得る。たとえば、相互作用マネージャ106は、マルチモードインターフェイス114と相互作用するかまたはマルチモードインターフェイス114を実現することができる。相互作用マネージャ106は、レーダーシステム104から取得されたレーダーデータに基づいて、マルチモードインターフェイス114を特定のモードで維持するか、または、マルチモードインターフェイス114にモードを変更させることができる。これらのモードは、図7~9を参照して以下にさらに詳細に説明される。
ユーザデバイス102はまた、ディスプレイ116などの表示デバイスを含み得る。ディスプレイ116は、タッチスクリーン、液晶ディスプレイ(liquid crystal display:LCD)、薄膜トランジスタ(thin film transistor:TFT)LCD、イン・プレース・スイッチング(in-place switching:IPS)LCD、容量性タッチスクリーンディスプレイ、有機発光ダイオード(organic light emitting diode:OLED)ディスプレイ、アクティブマトリックス有機発光ダイオード(active-matrix organic light-emitting diode:AMOLED)ディスプレイ、スーパーAMOLEDディスプレイなどといった任意の好適な表示デバイスを含み得る。ディスプレイ116は、マルチモードインターフェイス114をそのさまざまなモードのうちのいずれかで表示するために使用される。
レーダーベースの相互作用マネージャ106は、レーダーシステム104によって提供されたレーダーデータに基づいて、ユーザまたはユーザの手によってなされた動きを判断することができる。相互作用マネージャ106は次に、ユーザが動きを介してユーザデバイス102と暗黙的に相互作用することを可能にするやり方で動きを処理する。たとえば、図3~6を参照して説明されるように、レーダーシステムは、レーダー場を使用して、ユーザの動き認識のための高分解能および精度を可能にするやり方でレーダー場内の物体からの反射を検知して分析することができる。
より詳細には、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを実現できる(レーダーシステム104と相互作用マネージャ106と非レーダーセンサ108とを含む)ユーザデバイス102の例示的な実現化例200を示す図2を考慮されたい。図2のユーザデバイス102は、スマートフォン102-1、タブレット102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピューティングウォッチ102-5、コンピューティング眼鏡102-6、ゲーミングシステム102-7、ホームオートメーションおよび制御システム102-8、ならびに電子レンジ102-9を含むさまざまな例示的デバイスとともに図示される。ユーザデバイス102はまた、テレビ、娯楽システム、オーディオシステム、自動車、ドローン、トラックパッド、ドローイングパッド、ネットブック、電子リーダ、ホームセキュリティシステム、および他の家庭用機器といった他のデバイスを含み得る。なお、ユーザデバイス102はウェアラブルであってもよく、非ウェアラブルであるもののモバイルであってもよく、または、比較的非モバイル(たとえば、デスクトップおよび機器)であってもよい。
なお、ユーザデバイス102の例示的な全体的横寸法は、たとえば、約8センチメートル×約15センチメートルであり得る。レーダーシステム104の例示的な設置面積は、アンテナを含めて約4ミリメートル×6ミリメートルといったように、さらにより制限され得る。電力制限および処理制限と組合された、ユーザデバイス102の多くの他の望ましい機能(たとえば指紋センサ、非レーダーセンサ108など)をそのような空間が制限されたパッケージ内に収容するために必要とされるレーダーシステム104のためのそのような制限された設置面積の要件は、レーダージェスチャー検出の精度および効力における妥協をもたらし得るが、妥協のうちの少なくともいくつかは、ここでの教示に鑑みて克服され得る。
ユーザデバイス102はまた、1つ以上のコンピュータプロセッサ202と1つ以上のコンピュータ読取可能媒体204とを含み、コンピュータ読取可能媒体204は、メモリ媒体と記憶媒体とを含む。コンピュータ読取可能媒体204上のコンピュータ読取可能命令として実現されるアプリケーションおよび/またはオペレーティングシステム(図示せず)は、ここに説明される機能性のうちのいくつかまたはすべてを提供するためにコンピュータプロセッサ202によって実行され得る。ユーザデバイス102はまた、ネットワークインターフェイス206を含んでいてもよい。ユーザデバイス102は、有線ネットワーク、無線ネットワーク、または光ネットワークを通してデータを通信するためにネットワークインターフェイス206を使用することができる。限定ではなく例示として、ネットワークインターフェイス206は、ローカルエリアネットワーク(local-area-network:LAN)、無線ローカルエリアネットワーク(wireless local-area-network:WLAN)、パーソナルエリアネットワーク(personal-area-network:PAN)、ワイドエリアネットワーク(wide-area-network :WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを通してデータを通信してもよい。
レーダーシステム104のさまざまな実現化例は、システム・オン・チップ(System-on-Chip:SoC)、1つ以上の集積回路(Integrated Circuit:IC)、埋込まれたプロセッサ命令を有するかまたはメモリに格納されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋込まれたファームウェアを有するハードウェア、さまざまなハードウェアコンポーネントを有するプリント回路基板、またはそれらの任意の組合せを含み得る。レーダーシステム104は、それ自体のレーダー信号を送受信することによってモノスタティックレーダーとして動作する。いくつかの実現化例では、レーダーシステム104はまた、バイスタティックレーダー、マルチスタティックレーダー、またはネットワークレーダーを実現するために、外部環境内にある他のレーダーシステム104と協働してもよい。しかしながら、ユーザデバイス102の制約または制限は、レーダーシステム104の設計に影響を与える場合がある。ユーザデバイス102は、たとえば、レーダーを動作させるために利用可能な電力の制限、計算能力の制限、サイズ制約、レイアウト制約、レーダー信号を減衰させるかまたは歪める外部ハウジングなどを有する場合がある。レーダーシステム104は、図3に関して以下にさらに説明されるように、これらの制約が存在する状態で高度のレーダー機能性および高性能が実現されることを可能にするいくつかの機能を含む。なお、図2では、レーダーシステム104および相互作用マネージャ106は、ユーザデバイス102の一部として示される。他の実現化例では、レーダーシステム104および相互作用マネージャ106のいずれかまたは双方が、ユーザデバイス102から離れているかまたはリモートであってもよい。
これらのおよび他の能力および構成と、図1のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。これらのエンティティは、さらに分割されたり、組合されたりしてもよい。図1の環境100と、図2~15の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。図3~6は、レーダーシステム104の追加の詳細および機能を説明する。図3~6では、レーダーシステム104はユーザデバイス102の状況で説明されるが、上述のように、説明されるシステムおよび手法の機能および利点の利用可能性は必ずしもそう限定されておらず、他のタイプの電子デバイスを伴う他の実施形態も本教示の範囲内にあってもよい。
図3は、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にするために使用され得るレーダーシステム104の例示的な実現化例300を示す。例300では、レーダーシステム104は、通信インターフェイス302、アンテナアレイ304、トランシーバ306、プロセッサ308、およびシステム媒体310(たとえば、1つ以上のコンピュータ読取可能記憶媒体)というコンポーネントの各々のうちの少なくとも1つを含む。プロセッサ308は、デジタル信号プロセッサ、コントローラ、アプリケーションプロセッサ、他のプロセッサ(たとえば、ユーザデバイス102のコンピュータプロセッサ202)、またはそれらの何らかの組合せとして実現され得る。ユーザデバイス102のコンピュータ読取可能媒体204内に含まれていても、またはコンピュータ読取可能媒体204から離れていてもよいシステム媒体310は、減衰緩和器314、デジタルビーム形成器316、角度推定器318、または電力マネージャ320というモジュールのうちの1つ以上を含む。これらのモジュールは、ユーザデバイス102内へのレーダーシステム104の一体化を補償するかまたは当該一体化の影響を緩和することができ、それにより、レーダーシステム104が、小さいジェスチャーまたは複雑なジェスチャーを認識すること、ユーザの異なる配向を区別すること、外部環境を連続的に監視すること、または、目標誤警報確率を実現することを可能にする。これらの機能を有して、レーダーシステム104は、図2に示すデバイスなどのさまざまな異なるデバイス内で実現され得る。
通信インターフェイス302を使用して、レーダーシステム104はレーダーデータを相互作用マネージャ106に提供することができる。通信インターフェイス302は、レーダーシステム104がユーザデバイス102から離れてまたはユーザデバイス102内に一体化されて実現されることに基づいて、無線または有線インターフェイスであってもよい。アプリケーションに依存して、レーダーデータは、未加工データまたは最小限に処理されたデータ、同相および直交位相(in-phase and quadrature:I/Q)データ、レンジドップラーデータ、目標位置情報(たとえば範囲、方位角、仰角)を含む処理済データ、クラッタマップデータなどを含んでいてもよい。一般に、レーダーデータは、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムのために相互作用マネージャ106によって使用可能な情報を含む。
アンテナアレイ304は、少なくとも1つの送信アンテナ素子(図示せず)と、(図4に示すような)少なくとも2つの受信アンテナ素子とを含む。場合によっては、アンテナアレイ304は、複数の別個の波形(たとえば、送信アンテナ素子ごとに異なる波形)を一度に送信することができるマルチ入力マルチ出力(multiple-input multiple-output:MIMO)レーダーを実現するために、複数の送信アンテナ素子を含んでいてもよい。複数の波形の使用は、レーダーシステム104の測定精度を高め得る。3つ以上の受信アンテナ素子を含む実現化例のために、受信アンテナ素子は、1次元形状(たとえば線)または2次元形状で位置付けられ得る。1次元形状は、レーダーシステム104が1つの角度寸法(たとえば、方位角または仰角)を測定することを可能にし、一方、2次元形状は、2つの角度寸法(たとえば、方位角および仰角の双方)が測定されることを可能にする。受信アンテナ素子の例示的な2次元配置を、図4に関してさらに説明する。
図4は、受信アンテナ素子402の例示的な配置400を示す。アンテナアレイ304がたとえば少なくとも4つの受信アンテナ素子402を含む場合、受信アンテナ素子402は、図4の中央に示されるような矩形配置404-1で配置され得る。これに代えて、アンテナアレイ304が少なくとも3つの受信アンテナ素子402を含む場合、三角形配置404-2またはL字形配置404-3が使用されてもよい。
ユーザデバイス102のサイズまたはレイアウト制約により、受信アンテナ素子402間の素子間隔、または受信アンテナ素子402の数量が、レーダーシステム104が監視する際の角度にとって理想的ではない場合がある。特に、素子間隔は、従来のレーダーがターゲットの角度位置を推定することを困難にする角度曖昧性を存在させる場合がある。従来のレーダーはしたがって、角度曖昧性を有する曖昧なゾーンを回避し、それによって誤検出を減少させるために、視野(たとえば、監視されるべき角度)を制限する場合がある。たとえば、従来のレーダーは、5ミリメートル(mm)の波長および3.5mmの素子間隔(たとえば、素子間隔は波長の70%である)を使用して生じる角度曖昧性を回避するために、視野を約-45度~45度の角度に制限する場合がある。したがって、従来のレーダーは、視野の45度の限度を超えるターゲットを検出できないかもしれない。対照的に、レーダーシステム104はデジタルビーム形成器316と角度推定器318とを含み、それらは角度曖昧性を解決し、レーダーシステム104が、約-90度~90度の角度、または約-180度および180度までの角度といった、45度の限度を超える角度を監視することを可能にする。これらの角度範囲は、1つ以上の方向(たとえば、方位角および/または仰角)にわたって適用され得る。したがって、レーダーシステム104は、レーダー信号の中心波長の半分よりも小さい、または大きい、または当該中心波長の半分と等しい素子間隔を含む、さまざまな異なるアンテナアレイ設計のために、低い誤警報確率を実現することができる。
アンテナアレイ304を使用して、レーダーシステム104は、操向されるかまたは操向されていない、広いかまたは狭い、もしくは(たとえば半球、立方体、扇、円錐、または円筒として)形作られるビームを形成することができる。一例として、1つ以上の送信アンテナ素子(図示せず)は、操向されていない全方向放射パターンを有していてもよく、または、広い送信ビーム406などの広いビームを生成可能であってもよい。これらの手法のいずれも、レーダーシステム104が大きい空間体積を照明することを可能にする。しかしながら、目標角度精度および角度分解能を達成するために、受信アンテナ素子402およびデジタルビーム形成器316は、狭い受信ビーム408などの何千もの狭い操向されているビーム(たとえば2000本のビーム、4000本のビーム、または6000本のビーム)を生成するために使用され得る。このように、レーダーシステム104は、外部環境を効率的に監視し、外部環境内の反射の到来角を正確に判断することができる。
図3に戻って、トランシーバ306は、アンテナアレイ304を介してレーダー信号を送受信するための回路およびロジックを含む。トランシーバ306のコンポーネントは、レーダー信号を調整するための増幅器、ミキサー、スイッチ、アナログ/デジタル変換器、フィルタなどを含み得る。トランシーバ306はまた、変調または復調などの同相/直交位相(I/Q)動作を行なうためのロジックを含み得る。トランシーバ306は、連続波レーダー動作またはパルスレーダー動作のために構成され得る。レーダー信号を生成するために、線形周波数変調、三角形周波数変調、階段状周波数変調、または位相変調を含むさまざまな変調が使用され得る。
トランシーバ306は、1ギガヘルツ(GHz)~400GHz、4GHz~100GHz、または57GHz~63GHzといった、ある範囲の周波数(たとえば周波数スペクトル)内のレーダー信号を生成することができる。周波数スペクトルは、同様の帯域幅または異なる帯域幅を有する複数のサブスペクトルに分割され得る。帯域幅は、約500メガヘルツ(MHz)、1GHz、2GHzなどであり得る。一例として、異なる周波数サブスペクトルは、約57GHz~59GHz、59GHz~61GHz、または61GHz~63GHzの周波数を含んでいてもよい。同じ帯域幅を有し、隣接していても隣接していなくてもよい複数の周波数サブスペクトルはまた、干渉性のために選択されてもよい。複数の周波数サブスペクトルは、単一のレーダー信号または複数のレーダー信号を使用して、同時に送信されてもよく、または時間的に隔てられてもよい。隣接している周波数サブスペクトルは、レーダー信号がより広い帯域幅を有することを可能にし、一方、隣接していない周波数サブスペクトルは、角度推定器318が角度曖昧性を解決することを可能にする振幅および位相の差をさらに強調することができる。減衰緩和器314または角度推定器318は、図5および図6に関してさらに説明されるように、レーダーシステム104の性能を向上させるためにトランシーバ306に1つ以上の周波数サブスペクトルを利用させてもよい。
電力マネージャ320は、レーダーシステム104がユーザデバイス102内で電力を内部または外部で節約することを可能にする。いくつかの実現化例では、電力マネージャ320は、相互作用マネージャ106と通信して、レーダーシステム104またはユーザデバイス102のいずれかまたは双方の内部で電力を節約する。たとえば、内部では、電力マネージャ320は、レーダーシステム104に、定義済電力モードまたは特定のデューティサイクルを使用してデータを収集させ得る。この場合、電力マネージャ320は、環境内での活動に基づいて応答遅延および消費電力がともに管理されるように異なる電力モード間を動的に切り替える。一般に、電力マネージャ320は、電力がいつ、どのように節約され得るかを判断し、レーダーシステム104がユーザデバイス102の電力制限内で動作することを可能にするように消費電力を徐々に調節する。場合によっては、電力マネージャ320は、残りの利用可能電力の量を監視し、それに応じてレーダーシステム104の動作を調節してもよい。たとえば、残りの電力の量が少ない場合、電力マネージャ320は、より高い電力モードに切り替わる代わりに、より低い電力モードで動作し続けてもよい。
より低い電力モードは、たとえば、約数ヘルツ(たとえば約1Hz、または5Hz未満)というより低いデューティサイクルを使用してもよく、それは、消費電力を数ミリワット(mW)(たとえば約2mW~8mW)まで減少させる。一方、より高い電力モードは、約数十ヘルツ(Hz)(たとえば約20Hz、または10Hzを上回る)というより高いデューティサイクルを使用してもよく、それは、レーダーシステム104に、約数ミリワット(たとえば約6mW~20mW)の電力を消費させる。より低い電力モードは、外部環境を監視するかまたは接近するユーザを検出するために使用され得るが、ユーザがジェスチャーを行ない始めているとレーダーシステム104が判断した場合、電力マネージャ320はより高い電力モードに切り替えてもよい。異なるトリガが、電力マネージャ320に、異なる電力モード間を切り替えることを行なわせてもよい。例示的なトリガは、動きまたは動きの欠如、ユーザが現われることまたはいなくなること、ユーザが指定領域(たとえば、範囲、方位角、または仰角によって定義された領域)に入ることまたは当該指定領域から出ること、ユーザに関連付けられた動きの速度の変化、もしくは、(たとえば、レーダー断面の変化による)反射信号強度の変化を含む。一般に、ユーザがユーザデバイス102と相互作用する可能性がより低いこと、または、より長い応答遅延を使用してデータを収集することを好むことを示すトリガは、電力を節約するためにより低い電力モードを起動させてもよい。
電力マネージャ320はまた、非アクティブ期間の間、トランシーバ306内の1つ以上のコンポーネント(たとえば電圧制御発振器、マルチプレクサ、アナログ/デジタル変換器、位相ロックループ、または水晶発振器)をオフにすることによって、電力を節約することができる。これらの非アクティブ期間は、マイクロ秒(μs)、ミリ秒(ms)、または秒(s)のオーダーであり得るレーダー信号をレーダーシステム104がアクティブに送信または受信していない場合に生じる。また、電力マネージャ320は、信号増幅器によって提供される増幅の量を調節することによって、レーダー信号の送信電力を修正することができる。加えて、電力マネージャ320は、電力を節約するために、レーダーシステム104内の異なるハードウェアコンポーネントの使用を制御することができる。プロセッサ308がたとえばより低い電力のプロセッサとより高い電力のプロセッサと(たとえば、異なる量のメモリおよび計算能力を有するプロセッサ)を含む場合、電力マネージャ320は、低レベル分析(たとえば、アイドルモードを実現すること、動きを検出すること、ユーザの場所を判断すること、または環境を監視すること)のためにより低い電力のプロセッサを利用することと、高忠実度のまたは正確なレーダーデータが相互作用マネージャ106によって要求される状況のために(たとえば、注意モードまたは相互作用モード、ジェスチャー認識、またはユーザ配向を実現するために)より高い電力のプロセッサを利用することとを切り替えることができる。
また、電力マネージャ320は、ユーザデバイス102のまわりの環境の状況を判断することができる。その状況から、電力マネージャ320は、どの電力状態が利用可能にされるべきか、および、それらがどのように構成されるかを判断することができる。たとえば、ユーザデバイス102がユーザのポケットの中にある場合、ユーザ112はユーザデバイス102に近接しているとして検出されるものの、レーダーシステム104が高デューティサイクルを有するより高い電力モードで動作する必要はない。したがって、電力マネージャ320は、ユーザがユーザデバイス102に近接しているとして検出されても、レーダーシステム104がより低い電力モードにとどまるようにし、ディスプレイ116がオフ状態にとどまるようにすることができる。ユーザデバイス102は、レーダーシステム104と組合された任意の好適な非レーダーセンサ108(たとえばジャイロスコープ、加速度計、光センサ、近接センサ、静電容量センサなど)を使用して、その環境の状況を判断することができる。状況は、時刻、暦日、明るさ/暗さ、ユーザ112の近くのユーザらの数、周囲の雑音レベル、ユーザデバイス102に対する周囲の物体(ユーザ112を含む)の動きの速度などを含んでいてもよい。
図5は、ユーザデバイス102内のレーダーシステム104の例示的な実現化例500の追加の詳細を示す。例500では、アンテナアレイ304は、ガラスカバーまたは外部ケースといった、ユーザデバイス102の外部ハウジングの下に位置付けられる。その材料特性に依存して、外部ハウジングは減衰器502として作用する場合があり、それは、レーダーシステム104によって送受信されるレーダー信号を減衰させるかまたは歪める。減衰器502は、異なるタイプのガラスまたはプラスチックを含んでいてもよく、それらのいくつかは、ユーザデバイス102のディスプレイスクリーン、外部ハウジング、または他のコンポーネント内で見つかってもよく、約4~10の誘電率(たとえば比誘電率)を有していてもよい。したがって、減衰器502はレーダー信号506に対して不透過性または半透過性であり、送信または受信されたレーダー信号506の一部が(反射部分504によって示されるように)反射されることをもたらし得る。従来のレーダーについては、減衰器502は、監視可能な有効範囲を減少させ、小さいターゲットが検出されることを防止し、または、全体的精度を減少させ得る。
レーダーシステム104の送信電力が制限され、外部ハウジングの再設計が望ましくないと仮定すると、レーダー信号506の1つ以上の減衰依存特性(たとえば、周波数サブスペクトル508または操向角510)、もしくは、減衰器502の減衰依存特性(たとえば、減衰器502とレーダーシステム104との間の距離512、または減衰器502の厚さ514)が、減衰器502の影響を緩和するために調節される。これらの特性のうちのいくつかは、製造中に設定され、または、レーダーシステム104の動作中に減衰緩和器314によって調節され得る。減衰緩和器314はたとえば、トランシーバ306が、選択された周波数サブスペクトル508または操向角510を使用してレーダー信号506を送信するようにし、プラットフォームが、距離512を変更するためにレーダーシステム104を減衰器502に近づくかまたは減衰器502から遠ざかるように動かすようにし、もしくは、ユーザに、減衰器502の厚さ514を増加させるために別の減衰器を適用するよう促し得る。
減衰器502の予め定められた特性(たとえば、ユーザデバイス102のコンピュータ読取可能媒体204に、またはシステム媒体310内に格納された特性)に基づいて、もしくは、減衰器502の1つ以上の特性を測定するためにレーダー信号506のリターンを処理することによって、適切な調節が減衰緩和器314によって行なわれ得る。減衰依存特性のうちのいくつかが固定または制約されても、減衰緩和器314は、これらの制限を考慮に入れて、各パラメータのバランスを取り、目標レーダー性能を達成することができる。その結果、減衰緩和器314は、レーダーシステム104が、減衰器502の反対側に位置するユーザを検出して追跡するための高められた精度およびより大きい有効範囲を実現することを可能にする。これらの手法は、レーダーシステム104の消費電力を増加させる送信電力の増加に対する代替案、または、デバイスがいったん生産され始めると困難で高価になり得る減衰器502の材料特性の変更に対する代替案を提供する。
図6は、レーダーシステム104によって実現される例示的なスキーム600を示す。スキーム600の部分は、プロセッサ308、コンピュータプロセッサ202、または他のハードウェア回路によって行なわれてもよい。スキーム600は、異なるタイプの電子デバイスおよびレーダーベースのアプリケーション(たとえば相互作用マネージャ106)をサポートするためにカスタマイズ可能であり、また、レーダーシステム104が設計制約にもかかわらず目標角度精度を達成することを可能にする。
トランシーバ306は、受信されたレーダー信号に対する受信アンテナ素子402の個々の応答に基づいて、未加工データ602を生成する。受信されたレーダー信号は、角度曖昧性の解決を容易にするために角度推定器318によって選択された1つ以上の周波数サブスペクトル604に関連付けられてもよい。周波数サブスペクトル604はたとえば、サイドローブの量を減少させるように、または、サイドローブの振幅を減少させる(たとえば、振幅を0.5dB、1dB、またはそれ以上減少させる)ように選択されてもよい。周波数サブスペクトルの量は、レーダーシステム104の目標角度精度または計算制限に基づいて判断され得る。
未加工データ602は、受信アンテナ素子402にそれぞれ関連付けられた期間、異なる波数、および複数のチャネルについてのデジタル情報(たとえば、同相および直交位相データ)を含む。未加工データ602に対して高速フーリエ変換(Fast-Fourier Transform:FFT)606が行なわれ、前処理済データ608を生成する。前処理済データ608は、当該期間にわたって、異なる範囲(たとえば、範囲ビン)についての、および当該複数のチャネルについてのデジタル情報を含む。前処理済データ608に対してドップラーフィルタリングプロセス610が行なわれ、レンジドップラーデータ612を生成する。ドップラーフィルタリングプロセス610は、複数の範囲ビン、複数のドップラー周波数についての、および当該複数のチャネルについての振幅および位相情報を生成する別のFFTを含んでいてもよい。レンジドップラーデータ612に基づいて、デジタルビーム形成器316はビーム形成データ614を生成する。ビーム形成データ614は、デジタルビーム形成器316によって異なる操向角またはビームが形成される視野を表わす1組の方位角および/または仰角についてのデジタル情報を含む。図示されていないものの、これに代えて、デジタルビーム形成器316は、前処理済データ608に基づいてビーム形成データ614を生成してもよく、ドップラーフィルタリングプロセス610は、ビーム形成データ614に基づいてレンジドップラーデータ612を生成してもよい。計算量を減少させるために、デジタルビーム形成器316は、対象の範囲、時間、またはドップラー周波数間隔に基づいて、レンジドップラーデータ612または前処理済データ608の一部を処理してもよい。
デジタルビーム形成器316は、シングルルックビーム形成器616、マルチルック干渉計618、またはマルチルックビーム形成器620を使用して実現され得る。一般に、シングルルックビーム形成器616は、決定論的物体(たとえば、単一の位相中心を有するポイントソースターゲット)のために使用され得る。非決定論的ターゲット(たとえば、複数の位相中心を有するターゲット)については、マルチルック干渉計618またはマルチルックビーム形成器620が、シングルルックビーム形成器616と比べて精度を向上させるために使用される。人間は、非決定論的ターゲットの一例であり、624-1および624-2で示されるような異なるアスペクト角に基づいて変わり得る複数の位相中心622を有する。複数の位相中心622によって生成された建設的または相殺的干渉における変動は、従来のレーダーが角度位置を正確に判断することを困難にし得る。しかしながら、マルチルック干渉計618またはマルチルックビーム形成器620は、ビーム形成データ614の精度を高めるために干渉平均化を行なう。マルチルック干渉計618は、2つのチャネルの干渉平均化を行ない、角度情報を正確に判断するために使用され得る位相情報を生成する。一方、マルチルックビーム形成器620は、フーリエ、カポン(Capon)、多重信号分類(multiple signal classification:MUSIC)、または最小分散無歪応答(minimum variance distortion less response:MVDR)といった線形または非線形ビーム形成器を使用して、2つ以上のチャネルの干渉平均化を行なうことができる。マルチルックビーム形成器620またはマルチルック干渉計618を介して提供された精度向上は、レーダーシステム104が小さいジェスチャーを認識するかまたはユーザの複数の部分を区別することを可能にする。
角度推定器318は、ビーム形成データ614を分析して、1つ以上の角度位置を推定する。角度推定器318は、信号処理手法、パターンマッチング手法、または機械学習を利用してもよい。角度推定器318はまた、レーダーシステム104の設計またはレーダーシステム104が監視する視野から生じ得る角度曖昧性を解決する。例示的な角度曖昧性を振幅プロット626内に示す(たとえば振幅応答)。
振幅プロット626は、ターゲットの異なる角度位置について、および異なる操向角510について生じ得る振幅差を示す。第1の振幅応答628-1(実線で図示)が、第1の角度位置630-1に位置付けられたターゲットについて示される。同様に、第2の振幅応答628-2(点線で図示)が、第2の角度位置630-2に位置付けられたターゲットについて示される。この例では、差は、-180度~180度の角度にわたると考えられる。
振幅プロット626に示されるように、2つの角度位置630-1および630-2について曖昧なゾーンが存在する。第1の振幅応答628-1は、第1の角度位置630-1で最も高いピークを有し、第2の角度位置630-2でより低いピークを有する。最も高いピークはターゲットの実際の位置に対応する一方、より低いピークは第1の角度位置630-1を曖昧にする。なぜなら、それは、従来のレーダーが、ターゲットが第1の角度位置630-1にあるかまたは第2の角度位置630-2にあるかを確信を持って判断することができないかもしれない、何らかのしきい値内にあるためである。対照的に、第2の振幅応答628-2は、第2の角度位置630-2でより低いピークを有し、第1の角度位置630-1でより高いピークを有する。この場合、より低いピークはターゲットの場所に対応する。
従来のレーダーは角度位置を判断するために最も高いピーク振幅を使用するよう限定され得るが、角度推定器318は代わりに、振幅応答628-1および628-2の形状の微妙な違いを分析する。形状の特性は、たとえば、ロールオフ、ピークまたはヌルの幅、ピークまたはヌルの角度位置、ピークおよびヌルの高さまたは深さ、サイドローブの形状、振幅応答628-1または628-2内の対称性、もしくは、振幅応答628-1または628-2内の対称性の欠如を含み得る。同様の形状特性は位相応答において分析されてもよく、それは、角度曖昧性を解決するための追加情報を提供することができる。角度推定器318はしたがって、一意的な角度署名またはパターンを角度位置にマッピングする。
角度推定器318は、ユーザデバイス102のタイプ(たとえば計算能力または電力制約)もしくは相互作用マネージャ106のための目標角度分解能に従って選択され得るアルゴリズムまたはツール一式を含み得る。いくつかの実現化例では、角度推定器318は、ニューラルネットワーク632、畳み込みニューラルネットワーク(convolutional neural network:CNN)634、または長短期記憶(long short-term memory:LSTM)ネットワーク636を含み得る。ニューラルネットワーク632は、さまざまな深さまたは数量の隠れ層(たとえば3つの隠れ層、5つの隠れ層、または10個の隠れ層)を有していてもよく、また、異なる数量の接続を含み得る(たとえば、ニューラルネットワーク632は、完全に接続されたニューラルネットワークまたは部分的に接続されたニューラルネットワークを含み得る)。場合によっては、角度推定器318の計算速度を増加させるために、CNN634が使用され得る。LSTMネットワーク636は、角度推定器318がターゲットを追跡することを可能にするために使用され得る。機械学習手法を使用して、角度推定器318は、非線形関数を採用し、振幅応答628-1または628-2の形状を分析して角度確率データ638を生成し、それは、ユーザまたはユーザの部分が角度ビン内にいる可能性を示す。角度推定器318は、ターゲットがユーザデバイス102の左側または右側にある確率を提供するために、2つの角度ビンといった少数の角度ビンについての角度確率データ638を提供してもよく、または、(たとえば、連続的な角度測定についての角度確率データ638を提供するために)何千もの角度ビンについての角度確率データ638を提供してもよい。
角度確率データ638に基づいて、トラッカーモジュール640が角度位置データ642を生成し、それはターゲットの角度位置を識別する。トラッカーモジュール640は、角度確率データ638において最も高い確率を有する角度ビンに基づいて、または、予測情報(たとえば、以前に測定された角度位置情報)に基づいて、ターゲットの角度位置を判断してもよい。トラッカーモジュール640はまた、レーダーシステム104がターゲットを確信を持って区別または識別することを可能にするために、1つ以上の動くターゲットを追跡してもよい。範囲、ドップラー、速度、または加速度を含む他のデータも、角度位置を判断するために使用され得る。場合によっては、トラッカーモジュール640は、アルファ-ベータトラッカー、カルマン(Kalman)フィルタ、多重仮説トラッカー(multiple hypothesis tracker:MHT)などを含み得る。
量子化器モジュール644が、角度位置データ642を取得してデータを量子化し、量子化済角度位置データ646を生成する。量子化は、相互作用マネージャ106のための目標角度分解能に基づいて行なわれ得る。いくつかの状況では、量子化済角度位置データ646が、ターゲットがユーザデバイス102の右側にあるかまたは左側にあるかを示すように、もしくは、ターゲットが位置する90度の象限を識別するように、より少ない量子化レベルが使用され得る。これは、ユーザ近接検出といったいくつかのレーダーベースのアプリケーションにとっては十分かもしれない。他の状況では、量子化済角度位置データ646が、1度の数分の1、1度、5度などといった精度内でターゲットの角度位置を示すように、より多くの量子化レベルが使用され得る。この分解能は、ジェスチャー認識などのより高分解能のレーダーベースのアプリケーションのために、もしくは、ここに説明されるような注意モードまたは相互作用モードの実現化例において使用され得る。いくつかの実現化例では、デジタルビーム形成器316、角度推定器318、トラッカーモジュール640、および量子化器モジュール644は、単一の機械学習モジュールにおいてともに実現される。
これらのおよび他の能力および構成と、図1~6のエンティティが作用し相互作用するやり方とを、以下により詳細に述べる。説明されるエンティティは、さらに分割されたり、組合されたり、他のセンサまたはコンポーネントとともに使用されたりしてもよい。このように、レーダーシステム104および非レーダーセンサの異なる構成を有するユーザデバイス102の異なる実現化例が、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを実現するために使用され得る。図1の例示的な動作環境100と、図2~6の詳細な図示とは、説明される手法を採用することができる多くの可能な環境およびデバイスのうちのいくつかを示す。
例示的なデバイス
上述のように、ここに説明される手法およびシステムはまた、ユーザデバイス102が、ユーザのデバイスとの暗黙的相互作用に基づいて機能性を提供することを可能にすることができる。図7および図8は、レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの例示的な実現化例700および800を示す。例示的な実現化例700および800は、異なる事例702-1、702-2、702-3、702-4、702-5および702-6におけるユーザデバイス702(たとえばユーザデバイス102)を示す。ユーザ112がレーダー場110内で検出されない場合、マルチモードインターフェイス114は休止モード704で動作する。休止モード704では、マルチモードインターフェイス114は休止しており、画像またはオブジェクトがユーザデバイス702-1のディスプレイ116を介して表示されないように黒色表示を提供する。加えて、ディスプレイ116はオフ状態または低電力状態にあってもよく、図1からのレーダーシステム104はアイドルモードであってもよい。これらのモードおよび状態は、低電力動作モードおよび状態である。
ユーザ112がレーダー場110に入ると、レーダーシステム104は、ユーザ112から反射されたレーダー信号に基づいてユーザ112を検出する。相互作用マネージャ106はこのレーダーデータを使用して、レーダー場110内のユーザ112の存在を判断する。ユーザ112の存在の検出に応答して、相互作用マネージャ106は、マルチモードインターフェイス114にモードを変更させる。この事例では、マルチモードインターフェイス114は、休止モード704を出て、アンビエントモード706に入る。マルチモードインターフェイス114がアンビエントモード706に入ると、ユーザに「挨拶する」ために、デフォルトまたは定義済の表示パラメータ(たとえば光度、彩度)が、短い持続時間(たとえば0.5秒、1.0秒、1.25秒、1.5秒、2.0秒など)の間、適用されてもよい。図7では、3次元の星の画像708とロックアイコン710とを含む1つ以上のオブジェクトおよび/または画像が、当該持続時間の間、高光度で提示される。マルチモードインターフェイス114の背景も、デフォルトまたは定義済の光度および彩度で提供されてもよい。クロック要素712(時間および/または暦日付を示す)、もしくは、通知項目(たとえばアイコン、バッジ、バナーなど)、カメラアプリケーションなどの特定のアプリケーションへのアクセスツールなどを含む他の項目(図示せず)といった、他の要素も含まれていてもよい。マルチモードインターフェイス114は画像708に関して説明されるとともに、背景を有すると説明されているが、マルチモードインターフェイス114は表示を提供し、当該表示が画像708と背景とを含んでいてもよい。したがって、画像708に関して説明されるパラメータ調節はまた、または代わりに、マルチモードインターフェイス114によって提供される表示に適用され得る。以下により詳細に説明されるように、マルチモードインターフェイス114は、黒色表示、(低彩度を有するかまたは有さない)低光度表示、(低または高光度を有する)モノクロ表示、または、高光度および彩度表示を提供してもよい。
持続時間の満了に応答して、相互作用マネージャ106は、1つ以上の表示パラメータ(たとえば光度、彩度)を変更してマルチモードインターフェイス114を暗くし(ユーザデバイス702-3に示される)、それは消費電力を減少させる。これは、ユーザデバイス702が、ユーザ112によるユーザデバイス702との明示的相互作用を検出しないことに基づく。マルチモードインターフェイス114のアンビエントモードのこの暗くなった状態では、表示されるオブジェクトおよび画像は、低光度および低彩度(たとえば、白黒、グレースケール、くすんだ色、落ち着いた色を有すること、「それほどカラフルでない」ことなど)で維持されてもよい。たとえば、ユーザデバイス702-3に示されるように、クロック要素712は表示されたままであるものの、ロックアイコン710は除去される。これに代えて、ロックアイコン710(または他の要素)は表示されたままであってもよい。マルチモードインターフェイス114の背景は、光度減少の一環として暗くなる。また、星の画像708は、低光度バージョン(低輝度、低彩度、高または低コントラスト、もしくはそれらの任意の組合せを含む)へと薄れていく。オプションで、画像708は、ユーザ112に見えないように十分に暗くなってもよい。ユーザ112がレーダー場110内に存在し、かつ、ユーザデバイス702に触れたり、ユーザデバイス702のアプリケーションの特定の機能性を起動するためにジェスチャー(たとえば、タップ、ダブルタップ、スワイプ、ウェーブなど)を行なったり、ユーザデバイス702上のボタンを押したりすることによってユーザデバイス702と明示的に相互作用していない間、マルチモードインターフェイス114はアンビエントモード706のままであってもよい。むしろ、ユーザはユーザデバイス702とアクティブにかつ明示的に相互作用していないため、ユーザの存在は暗黙的相互作用であると考えられる。
図8へ進んで、ユーザ112がユーザデバイス702に手を伸ばすと、相互作用マネージャ106は、マルチモードインターフェイスがアンビエントモード706を出てアラートモード802に入るようにする。ユーザの手804がユーザデバイス702に向かって動くにつれて、相互作用マネージャ106は、マルチモードインターフェイス114の光度などの1つ以上の表示パラメータを動的に調節する。これらのパラメータの調節速度は、ユーザの手804とユーザデバイス702との間の距離、その距離が減少する速度(または、ユーザの手804がユーザデバイス702から遠ざかって動いている場合には、その距離が増加する速度)、および/または、ユーザデバイス702に対するユーザの手804の位置を含む、ユーザの手804およびその動きに関連付けられたさまざまな要因に基づいていてもよい。このように、マルチモードインターフェイス114は、ユーザデバイス702に向かう(またはユーザデバイス702から遠ざかる)ユーザの手804の動きに対応する動的視覚フィードバックを提供する。
図示された例では、ユーザの手804がユーザデバイス702-4に向かって伸び始めると、画像708の高光度部分のみが、マルチモードインターフェイス114において見える。ロックアイコン710のぼやけたバージョンも、マルチモードインターフェイス114上で維持される。ユーザの手804がユーザデバイス702により近づくにつれて(たとえば702-5)、画像708は、光度および/または他の表示パラメータに基づいて徐々に明らかにされる。画像708(およびロックアイコン710などの他のオブジェクト)のさまざまな部分がますます見えるようになり、明るくなる。これが生じる速度は、ユーザの手804とユーザデバイス702との間の距離の減少速度(たとえば、ユーザの手804がユーザデバイス702に向かってどれくらい速く動くか)に正比例していてもよい。いくつかの局面では、画像708は彩度低下状態(たとえばグレースケール)のままであり、ユーザの手804がユーザデバイス702-5により近づくにつれて、より多くの色調(たとえばグレーの陰影)が画像708に適用される。オプションで、1つ以上の表示パラメータはまた、マルチモードインターフェイス114の背景を明るくするために調節されてもよい。しかしながら、マルチモードインターフェイス114のアラートモード802は、ユーザデバイス702の低電力動作状態に関連付けられているため、暗い背景を維持することは、マルチモードインターフェイス114(または画像708)の光度および/または他の表示パラメータを増加させる場合に消費電力を最小化するのに役立ち得る。
この点で、ユーザ112が自分の手804をユーザデバイス702-5から遠ざける場合、相互作用マネージャ106は、上述の効果を逆に適用して、マルチモードインターフェイス114を(ユーザデバイス702-4で示された)アラートモード802の暗くなった状態に戻すために、画像708が徐々に暗くなる(たとえば、光度が徐々に減少する)ようにする。ユーザの手804とユーザデバイス702との間の距離がしきい値距離よりも大きくなる場合、相互作用マネージャ106は、マルチモードインターフェイス114がアラートモード802を出てアンビエントモード706に再び入るようにしてもよい。
このように、マルチモードインターフェイス114は、ユーザ112がユーザデバイス702に向かって手を伸ばす(またはユーザデバイス702から手を遠ざける)につれて、ユーザの手804の動きに対する動的視覚応答を提供する。視覚フィードバックの形で提示されるこの動的応答性は、ユーザデバイス702がユーザの動きを「認識」しており、ユーザの動きを現在検出していることをユーザ112が知ることを可能にし、それは、低電力状態またはロック状態にある間のユーザデバイスの認識および能力についてユーザ112に教えるよう機能する。
ユーザデバイス702に対するユーザの動きへのユーザデバイスの応答性に関するユーザ体験をさらに高めるために、相互作用マネージャ106は、ユーザ112がユーザデバイス702に対して認証されたことに応答して、マルチモードインターフェイス114がアクティブモード806に入るようにしてもよい。アラートモード802からアクティブモード806に移行すると、マルチモードインターフェイス114の彩度は、画像708が徐々に色で満たされ、より豊かでより鮮やかになるように増加される。したがって、ユーザデバイス702-6は、ユーザ112がすでに認証されており、ユーザデバイス702への完全なアクセス権が与えられていることを示すために、色の使用を通して視覚フィードバックを提供する。マルチモードインターフェイス114はまた、他の局面において、1つ以上の表示要素の位置を変更するかまたは当該表示要素を置き換える(たとえば、ロックアイコン710をロック解除アイコン808に置き換える)ことなどによって、ユーザ112の認証に基づいて調節され得る。これらの修正は、ユーザデバイス702のホーム画面の提示に先立って、またはホーム画面の提示の一環として生じ得る。ホーム画面および追加のページは、アクティブモード806においてマルチモードインターフェイス114を介して提示されてもよい。画像708および/または他のオブジェクトまたは要素は、ホーム画面および追加のページに表示されたユーザインターフェイス要素と同時に、マルチモードインターフェイス114上で維持されてもよい。
図7および図8に関して説明された画像708は、ユーザデバイス702のオペレーティングシステムのテーマパッケージの一部として選択された静止画像であってもよい。これに代えて、画像708は、コンピュータ読取可能媒体204に格納された、デジタル写真またはデジタル図面といった、ユーザによって選択された静止画像であってもよい。このように、ユーザ112は、ユーザデバイス702のマルチモードインターフェイス114を介して表示される画像をカスタマイズしてもよい。各画像は、それが光度変更に基づいてどのように徐々に明らかにされるかという点で一意的であってもよい。また、ユーザ112がユーザデバイス702に対して認証された場合、各画像は、それが彩度変更に基づいてどのように色で満たされるかという点で一意的であってもよい。
ユーザデバイス702に対するユーザ112の、レーダーによって検出された動きに対応する、マルチモードインターフェイス114の他の視覚効果も考えられる。たとえば、画像708は、静止画像ではなく、画像の監修された集合、関連する画像のファミリー、または一連の画像(たとえば映像)を含んでいてもよい。画像の集合は、ユーザデバイス702に対するユーザの手804の動きおよび位置に関連する微妙なやり方で動くことなどによって、ユーザのユーザデバイス702との暗黙的相互作用に応答する1つ以上のオブジェクトまたは画像を生成するために使用され得る。これのいくつかの例を、図9Aおよび図9Bに示す。
図9Aは、レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの例示的な実現化例900を示す。ここでは、ユーザデバイス702-3は、レーダー場110(図示せず)内でユーザ112の存在が検出されたことに基づいて、マルチモードインターフェイス114がアンビエントモード706(たとえば、暗くなった状態)である状態で図示されている。この例では、マルチモードインターフェイス114を介してオブジェクトが表示されていない。ユーザ112がユーザデバイス702-4に向かって手を伸ばし始めると、相互作用マネージャ106は、マルチモードインターフェイス114がアンビエントモード706を出てアラートモード802に入るようにする。アラートモード802では、小さな泡902などの1つ以上のオブジェクトが、マルチモードインターフェイス114の側部から見え始める。ユーザの手804がユーザデバイス702-5により近づくにつれて、泡902は次第に、ディスプレイ116上の所定の場所または区域に向かって動く。泡が動く速度は、ユーザの手804とユーザデバイス702との間の距離が減少する速度に直接対応していてもよい。いくつかの局面では、ユーザの手804がユーザデバイス702により近づくにつれて、泡902は互いに結合してサイズが大きくなり(結合しつつある泡904として示される)、所定の場所に大きい泡906が1つだけある状態になる。所定の場所に向かうこの動きの間、泡902、904は、特にそれらが互いに結合するにつれて、より明るくなってもよい。ユーザの手804がユーザデバイス702-5から遠ざかって動く場合、泡904は互いから引き離され始め、マルチモードインターフェイス114の側部に向かって戻る。泡902、904の光度も、それらが互いから遠ざかって動くにつれて減少してもよい。
ある点で、ユーザ112は、(たとえば、パスワード、パスコード、指紋などに基づいて)ユーザ認識システムによってユーザデバイス702に対して認証されてもよい。ユーザ112が認証されたことに応答して、マルチモードインターフェイス114はアクティブモード806に入る。アクティブモード806に入ると、相互作用マネージャ106は、彩度などのマルチモードインターフェイス114の表示パラメータを調節する。ここで、1つの大きい泡906はグレースケール(彩度低下または低彩度)からカラー(高彩度)へ徐々に進み、ユーザ112が完全な権利に対して認証されたという表示を提供する。ユーザデバイス702に対するユーザの手804の位置に基づいて、追加の照明効果が適用されてもよい。ここで、ユーザの手804はユーザデバイス702の右下側に位置しており(縦向きモード配向である場合)、この位置付けに基づいて、照明効果は、あたかもユーザの手804が泡906に光を照らす光源であるかのように、泡906に適用される。これに代えて、ユーザの手804の位置付けは、光源がユーザの手804に向かって照らしている視覚効果を生成するように、反対方向の照明効果を適用するために使用され得る。もちろん、照明効果は、任意の好適な方向を使用して適用され得る。
ユーザ112が認証されたことを示す適用された視覚効果の一環として、泡906は異なる場所へ動いてもよい。たとえば、泡906は、ユーザの手804に向かって、またはユーザの手804から遠ざかるように迅速に動いてもよい。泡906はロックアイコン710に向かって動いてロックアイコン710と衝突してもよく、ロックアイコン710がロック解除アイコン808に置き換えられるようにする。これは、泡906によってロックが壊されて開けられるという劇的効果を生み出してもよい。いくつかの局面では、泡906は、形状、サイズ、または色を変更してもよい。したがって、マルチモードインターフェイス114がアクティブモード806に入ることに応答してさまざまな変更が生じてもよく、それらのうちのいくつかは、表示されたオブジェクトがディスプレイ116上の他の表示項目と相互作用するように見えることを含んでいてもよい。
別の例では、画像の監修された集合は、マルチモードインターフェイス114のアラートモード802の間、ユーザの手804の動きおよび相対的な位置付けに基づいて動く、曲がる、および/または再形成する抽象的形状を含み得る。これは、上述のような光度の変更に追加されるものであってもよい。画像の各々は、ユーザデバイス702に対するユーザの手804の位置に対応する一意的な位置決め情報(たとえば、ユーザデバイス702の配向に対するユーザの手804の場所と組合された、ユーザデバイス702とユーザの手804との間の距離)に関連付けられてもよい。これは、ユーザデバイス702に対してユーザの手804がどこに位置付けられるか(近接性および方向)に基づいて、異なる画像が提示されることを可能にする。このように、ユーザデバイス702がロック状態にある間、抽象的形状または他の表示されたオブジェクトは、ユーザデバイス702のまわりのユーザの手の動きに微妙で面白いやり方で反応するように見えてもよい。これの一例を、図9Bに関して以下に説明する。
図9Bは、レーダーデータがユーザのモバイルデバイスとの暗黙的相互作用を示すことに基づいてモードを変更するマルチモードインターフェイスの別の例示的な実現化例950を示す。ここでは、ユーザデバイス702-3は、レーダー場110(図示せず)内でユーザの存在が検出されたことに基づいて、マルチモードインターフェイス114がアンビエントモード706である状態で図示されている。この例では、オブジェクト952が、マルチモードインターフェイス114によって低光度表示で提供される。これらのオブジェクトは、ディスプレイ116を介してレンダリングされる。オブジェクト952は、任意のオブジェクト、形状、または画像であり得る。オブジェクト952は、マルチモードインターフェイス114のアンビエントモード706の間、初期位置を有しており、それの一例を、ユーザデバイス702-3のディスプレイ116上に示す。
ユーザ112がユーザデバイス702-4に向かって手を伸ばし始めると、相互作用マネージャ106は、マルチモードインターフェイス114がアンビエントモード706を出てアラートモード802に入るようにする。アラートモード802では、オブジェクト952のうちの1つ以上が動く。ユーザの手804がユーザデバイス702-5により近づくにつれて、オブジェクト952は動き続ける。オブジェクト952が動く速度および/または距離は、ユーザの手804とユーザデバイス702との間の距離が減少する速度に直接対応していてもよい。オブジェクト952は任意の方向に動くことができ、ユーザの手804がユーザデバイス702にどれくらい近いかに基づいて方向を変更することができる。ある方向にシフトすることに加えて、またはそれに代えて、オブジェクト952の動きは、任意の方向における3D回転を含んでいてもよい。また、各オブジェクト952は、他のオブジェクト952から独立して動いてもよい。また、ユーザの手804がユーザデバイス702に近づくにつれて、オブジェクト952のうちの1つ以上が、その形状またはサイズを変更してもよい。
上述の実現化例と同様に、マルチモードインターフェイス114は、アンビエントモード706の間と、アラートモード802の間の最初とに、低光度表示を提供してもよい。アラートモード802の間の光度は、ユーザデバイス702とユーザの手804との間の変化する距離に基づいて調節可能である。いくつかの局面では、マルチモードインターフェイス114は、アンビエントモード706およびアラートモード802の間、モノクロ表示を提供する。これに代えて、マルチモードインターフェイス114は、これらのモードの間、低彩度表示を提供することができる。
ユーザがユーザデバイス702に対して認証されたことに応答して、マルチモードインターフェイス114はアクティブモード806に入る。アクティブモード806に入ると、相互作用マネージャ106は、彩度などのマルチモードインターフェイス114の表示パラメータを調節する。ここで、オブジェクト952はグレースケールからカラーへ進み、ユーザ112が完全な権利に対して認証されたという視覚表示を提供する。たとえば、ユーザデバイス702-6上に示されるように、マルチモードインターフェイス114は高光度および高彩度表示を提供する。説明された他の実現化例と同様に、追加の照明効果が任意の好適なやり方でオブジェクト952に適用され得る。オブジェクト952はまた、認証に応答してさらに動くことができる。ここで、オブジェクト952は、アンビエントモード706におけるそれらの元の位置に向かって戻る。しかしながら、オブジェクト952は、それらの元の位置に到達しても到達しなくてもよい。
例示的な方法
図10~14は、ユーザのユーザデバイスとの暗黙的相互作用に基づいてモードを変更するマルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にする例示的な方法1000および1200を示す。方法1000および1200は、レーダー場を提供するためのレーダーシステムを使用する電子デバイスを用いて行なわれ得る。レーダー場は、レーダー場内のユーザの存在、および、ユーザデバイスに対するユーザの動きといった、ユーザのユーザデバイスとの暗黙的相互作用を判断するために使用される。ユーザの存在および動きの判断に基づいて、電子デバイスは、マルチモードインターフェイスが異なる機能性モードに出入りし、当該モードに基づいて異なる表示を提供するようにする。
方法1000は、行なわれる動作を特定する1組のブロックとして示されるが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、幅広い追加のおよび/または代替的な方法を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、図2~6に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。
1002で、レーダー場が提供される。このレーダー場は、レーダーシステム(たとえばレーダーシステム104)と、相互作用マネージャ(たとえば、マルチモードインターフェイス114を含み得る相互作用マネージャ106)とを含むかまたはそれらに関連付けられた、さまざまな電子デバイス(たとえば、上述のユーザデバイス102、702)のうちのいずれによっても提供され得る。また、レーダー場は、上述のレーダー場110といった、さまざまなタイプのレーダー場のうちのいずれであってもよい。
1004で、レーダー場内の物体からの反射がレーダーシステムによって検知される。物体は、木材、プラスチック、金属、布地、または有機材料(たとえば、上述のユーザ112などの人間、または、上述のユーザの手804などの人間の身体部分)といった、さまざまな物体のうちのいずれであってもよい。明確にするために、方法1000を説明する間、物体は「ユーザ」または「ユーザら」と呼ばれる。
1006で、レーダー場内の物体からの反射が分析される。分析は、さまざまなエンティティのうちのいずれ(たとえば、レーダーシステム104、相互作用マネージャ106、または他のエンティティ)によっても行なわれてもよく、図3~6を参照して説明されたものなどのさまざまな動作または判断を含んでいてもよい。
1008で、反射の分析に基づいて、レーダーデータ(たとえば、図1~6を参照して説明されたレーダーデータ)が提供される。レーダーデータは、レーダーシステム104、相互作用マネージャ106、または他のエンティティといった、さまざまなエンティティのうちのいずれによっても提供されてもよい。いくつかの実現化例では、レーダーシステムはレーダーデータを提供し、レーダーデータを他のエンティティ(たとえば、説明されたレーダーベースのアプリケーション、相互作用マネージャ、またはモジュールのうちのいずれか)に渡してもよい。方法1000の説明は、図10のブロック1008の後の数字「11」によって示されるように、図11に続く。図10は、図11のブロック1010の前の数字「10」に対応する。
1010で、少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスが提供される。このマルチモードインターフェイス(たとえばマルチモードインターフェイス114)は、ユーザデバイス102の相互作用マネージャ106によって提供されてもよい。第1および第2のモードは、上述の休止モード、アンビエントモード、リーチモード、またはアクティブモードのうちのいずれかを含んでいてもよい。これらのモードは、マルチモードインターフェイスのための異なる機能性を可能にし、それらの例は、図7~9に関して上述されている。
1012で、レーダーシステムからレーダーデータが取得される。たとえば、レーダーベースの相互作用マネージャ106が、レーダーシステム104からレーダーデータを取得する。レーダーデータは、任意の好適なやり方で取得され得る。
1014で、レーダーデータに基づいて、および第1のモードの間、ユーザによるユーザデバイスとの暗黙的相互作用が検出される。暗黙的相互作用は、ユーザデバイス102の相互作用マネージャ106によって検出され得る。局面では、暗黙的相互作用は、レーダー場110に入ること、ユーザデバイス102に向かって手を伸ばす(リーチする)こと(またはユーザデバイス102から手を遠ざけること)といった、ユーザデバイス102に対するユーザ112による動きを含んでいてもよい。
1016で、ユーザによる暗黙的相互作用の検出に応答して、マルチモードインターフェイスは第1のモードから第2のモードに変更される。暗黙的相互作用が何を含むかに依存して、マルチモードインターフェイス114は、休止モード、アンビエントモード、リーチモード、およびアクティブモードのうちのいずれか1つを出て、それらのモードのうちの他のいずれかのモードに入ることができる。たとえば、ユーザがレーダー場110に入ると、相互作用マネージャ106は、マルチモードインターフェイス114が休止モードを出てアンビエントモードに入るようにしてもよい。これに代えて、ユーザデバイス102がユーザのポケットまたはバッグの中に位置し、ユーザがユーザデバイス102をつかむためにポケットまたはバッグに手を突っ込む場合(および、マルチモードインターフェイス114が休止モードである場合)、マルチモードインターフェイス114は、休止モードを出てアラートモードに入ることができる。他の局面では、ユーザがユーザデバイス102に手を伸ばし始めると、相互作用マネージャ106は、マルチモードインターフェイス114がアンビエントモードを出てアラートモードに入るようにしてもよい。ユーザがユーザデバイスを使用するために認証されると、相互作用マネージャ106は、マルチモードインターフェイス114が現在のモード(休止モード、アンビエントモード、またはアラートモード)を出てアクティブモードに入るようにしてもよい。別の例では、ユーザ112が、認証以前に、自分の手をユーザデバイス102から所定の距離しきい値よりも大きい距離まで引き離すと、マルチモードインターフェイス114は、アラートモードを出てアンビエントモードに入ってもよい。距離しきい値は、ユーザ112はユーザデバイス102と相互作用するつもりはないという指標として使用されてもよい。これに代えて、マルチモードインターフェイス114は、ユーザ112が近くにいてデバイス102に手を伸ばしていない状態では、アンビエントモードであってもよく、ユーザ112は(たとえば、生体認識手法に基づいて)認証されてもよく、マルチモードインターフェイス114は、アンビエントモードを出てアクティブモードに入ることができる。
1018で、第2のモードへの変更に応答して、マルチモードインターフェイスに関連付けられた画像の1つ以上のパラメータが調節される。マルチモードインターフェイス114があるモードを出て別のモードに入ると、光度または彩度などのさまざまなパラメータが調節されてもよい。たとえば光度が、アンビエントモードまたは休止モードからアラートモードに入ると増加されてもよく、ユーザ112がユーザデバイス102に向かって手を伸ばすにつれてさらに増加されてもよい。ユーザ112が自分の手をユーザデバイス102から引き離す場合、光度は減少されてもよい。マルチモードインターフェイス114がアクティブモードに入ると、彩度が増加されてもよい。アンビエントモードに入ると、光度は、画像のより高光度のバージョンを提供するために、所定の持続時間の間、高光度(たとえば、所定のしきい値レベル光度よりも高いレベル)に調節されてもよく、持続時間の満了後、光度は、画像のより低光度のバージョンを提供するために、低光度(たとえば、所定のしきい値レベル光度よりも低いレベル)に調節されてもよい。したがって、マルチモードインターフェイス114の動作モードの変更に応答して、さまざまなパラメータが調節されてもよい。
方法1200は、行なわれる動作を特定する1組のブロックとして示されるが、それぞれのブロックによって動作を行なうために示された順序または組合せに必ずしも限定されない。また、幅広い追加のおよび/または代替的な方法を提供するために、動作のうちの1つ以上のうちのいずれかが繰り返され、組合され、再編成され、またはリンクされてもよい。以下の説明の部分では、図1の例示的な動作環境100、もしくは、図2~11に詳述されるようなエンティティまたはプロセスへの言及が行なわれてもよく、これらへの言及は例示のためにのみ行なわれる。手法は、1つのエンティティ、または1つのデバイス上で動作する複数のエンティティによる実行に限定されない。
1202で、ユーザデバイスは、ユーザデバイスのロック状態の間の表示のためにマルチモードインターフェイスを提供する。ユーザデバイスは、さまざまな電子デバイス(たとえば、図1~9に関して説明されたユーザデバイス102、702)のうちのいずれであってもよい。マルチモードインターフェイスは、少なくとも第1のモードと第2のモードとを含む複数の動作モードを含む。マルチモードインターフェイスの例示的なモードは、休止モード、アンビエントモード、アラートモード、およびアクティブモードを含んでいてもよい。これらの例示的なモードは、図7~9に関してさらに詳細に上述されている。
1204で、ユーザデバイスがロック状態にある場合、ユーザデバイスはレーダーシステムからレーダーデータを取得する。このレーダーデータは、レーダーシステムによって生成されたレーダー場内の物体からの反射を表わしていてもよい。物体は、ユーザであってもよく、または、ユーザによって担持された何らかのレーダー検出可能物体であってもよい。
1206で、ユーザデバイスは、レーダーデータに基づいて、物体がユーザデバイスからのしきい値距離内にあり、ユーザデバイスに向かって動いていることを検出する。上述のように、物体は、ユーザの手、または、レーダーシステムによって検出可能な他の物体であってもよい。
1208で、物体がユーザデバイスからのしきい値距離内にあり、ユーザデバイスに向かって動いていることに応答して、ユーザデバイスは、マルチモードインターフェイスが第1のモードを出て第2のモードに入るようにする。マルチモードインターフェイスは、相互作用マネージャ106によって、または他のエンティティによって、第2のモードに入れられてもよい。局面では、第1のモードは、マルチモードインターフェイスが物体の動きに定期的に応答するアンビエントモードであってもよい。第2のモードは、マルチモードインターフェイスが物体の動きに動的に視覚的に応答し、完全ではない権利がユーザに提供されるアラートモードであってもよい。
オプションで、方法1200は、図12のブロック1208の後の数字「13」によって示されるように、図13に進んでもよい。図12は、図13のブロック1210の前の数字「12」に対応する。1210で、ユーザデバイスは、物体がしきい値距離内にあるとの検出に基づいて、ユーザデバイスと物体との間の第1の距離を判定する。
1212で、ユーザデバイスは、ユーザデバイスと物体との間の第1の距離に基づいて、表示のための関連する画像の集合から画像を選択する。画像は、相互作用マネージャ106によって、またはユーザデバイス102の他のエンティティによって選択されてもよい。
1214で、ユーザデバイスと物体との間の第1の距離が第2の距離に変化したことに応答して、ユーザデバイスは、第2の距離に基づいて、画像を、関連する画像の集合から選択された別の画像と置き換える。次に、プロセスは1218に戻り、(1218での)距離判定、(1220での)画像選択、および(1222での)画像置き換えを繰り返して、物体の動きに対応する、表示された画像における動きの視覚効果を生成する。この画像置き換えプロセスの例示的な視覚効果は図9Aおよび図9Bに関して説明されており、そこでは、表示されたオブジェクトは、ユーザの手の動きに関連して動くように見える。この視覚効果は、ユーザの手とユーザデバイスとの間の距離への変更に基づいて画像を繰り返し変更することによって適用可能であり、画像は、ユーザデバイスに対するユーザの手の一意的な位置に各々対応する、関連する画像の集合からのものである。さらに、変更は、表示されたオブジェクトの動きの視覚効果を提供するために円滑に生じる。次に、方法1200は、図13のブロック1214の後の数字「12」によって示されるように、図12に進んでもよい。図13は、図12のブロック1216の前の数字「13」に対応する。
1216で、マルチモードインターフェイスが第2のモードに入ることに応答して、ユーザデバイスは、ユーザデバイスがロック状態にある場合の物体の動きに対応する動的視覚フィードバックを提供するために、マルチモードインターフェイスの(または、マルチモードインターフェイス114によって提供される表示の)1つ以上の表示パラメータを第1の速度で調節し、第1の速度は少なくとも、ユーザデバイスと物体との間の距離を減少させる第2の速度に基づいている。局面では、画像の1つ以上のパラメータを調節する第1の速度は、物体がユーザデバイスに近づいている第2の速度に正比例する。方法1200の説明は、図12のブロック1216の後の数字「14」によって示されるように、図14に続く。図12は、図14のブロック1218の前の数字「12」に対応する。
1218で、ユーザデバイスは、ユーザが完全な権利に対して認証されたという表示を受信する。ユーザは、例が上述された任意の好適なユーザ認識システムを使用して認証されてもよい。
1220で、ユーザデバイスは、ユーザの認証に応答して、マルチモードインターフェイスが第2のモードを出て第3のモードに入るようにする。局面では、この第3のモードは、ユーザデバイス102に対する完全な権利がユーザに提供されるアクティブモードであってもよい。
1222で、マルチモードインターフェイスが第3のモードに入ることに応答して、ユーザデバイスは、ユーザの認証に対応する追加の視覚フィードバックを提供するために、彩度および/または照明効果を画像に適用する。これの例は、図7~9に関して説明されている。彩度および/または照明効果は、完全な権利がユーザに与えられた(たとえば、ユーザはユーザデバイスを使用するために無事認証され、ユーザデバイスはここでロック解除される)ことを示すために、視覚フィードバックをユーザに提供する。
例示的なコンピューティングシステム
図15は、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを実現するために、前述の図1~14を参照して説明されたような任意のタイプのクライアント、サーバ、および/または電子デバイスとして実現され得る例示的なコンピューティングシステム1500のさまざまなコンポーネントを示す。
コンピューティングシステム1500は、デバイスデータ1504(たとえば、レーダーデータ、認証データ、参照データ、受信されたデータ、受信中のデータ、同報通信のためにスケジューリングされたデータ、および、データのデータパケット)の有線および/または無線通信を可能にする通信デバイス1502を含む。デバイスデータ1504または他のデバイスコンテンツは、デバイスの構成設定、デバイス上に格納されたメディアコンテンツ、および/またはデバイスのユーザに関連付けられた情報(たとえば、レーダー場内の人間のアイデンティティ、またはカスタマイズされたジェスチャーデータ)を含み得る。コンピューティングシステム1500上に格納されたメディアコンテンツは、任意のタイプのレーダーデータ、生体認証データ、音声データ、映像データ、および/または画像データを含み得る。コンピューティングシステム1500は1つ以上のデータ入力1506を含み、それを介して、人間の発話、レーダー場との相互作用、タッチ入力、ユーザ選択可能な入力または相互作用(明示的または暗黙的)、メッセージ、音楽、テレビメディアコンテンツ、録画された映像コンテンツ、ならびに、任意のコンテンツおよび/またはデータソースから受信された任意の他のタイプの音声データ、映像データ、および/または画像データといった、任意のタイプのデータ、メディアコンテンツ、および/または入力が受信され得る。
コンピューティングシステム1500はまた、通信インターフェイス1508を含み、それは、シリアルおよび/またはパラレルインターフェイス、無線インターフェイス、任意のタイプのネットワークインターフェイス、モデムのうちのいずれか1つ以上として、および任意の他のタイプの通信インターフェイスとして実現され得る。通信インターフェイス1508は、コンピューティングシステム1500と、他の電子デバイス、コンピューティングデバイス、および通信デバイスがコンピューティングシステム1500とデータを通信するための通信ネットワークとの間に、接続および/または通信リンクを提供する。
コンピューティングシステム1500は、1つ以上のプロセッサ1510(たとえば、マイクロプロセッサ、コントローラ、または他のコントローラのうちのいずれか)を含み、それは、コンピューティングシステム1500の動作を制御するための、および、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムのための手法または当該レーダーシステムが具現化され得る手法を可能にするための、さまざまなコンピュータ実行可能命令を処理することができる。それに代えて、またはそれに加えて、コンピューティングシステム1500は、ハードウェア、ファームウェア、または、概して1512で識別される処理および制御回路に関連して実現される固定論理回路のうちのいずれか1つまたはそれらの組合せを用いて実現され得る。図示されていないものの、コンピューティングシステム1500は、デバイス内のさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを含み得る。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、ならびに/もしくは、さまざまなバスアーキテクチャのうちのいずれかを利用するプロセッサまたはローカルバスといった、異なるバス構造のうちのいずれか1つまたはそれらの組合せを含み得る。
コンピューティングシステム1500はまた、(単なる信号伝送とは対照的な)永続的および/または非一時的なデータ記憶を可能にする1つ以上のメモリデバイスといった、コンピュータ読取可能媒体1514を含み、それの例は、ランダムアクセスメモリ(random access memory:RAM)、不揮発性メモリ(たとえば、読出専用メモリ(read-only memory:ROM)、フラッシュメモリ、EPROM、EEPROMなどのうちのいずれか1つ以上)、およびディスク記憶デバイスを含む。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および/または書換可能コンパクトディスク(compact disc:CD)、任意のタイプのデジタル多用途ディスク(digital versatile disc:DVD)などといった、任意のタイプの磁気または光学記憶デバイスとして実現されてもよい。コンピューティングシステム1500はまた、大容量記憶媒体デバイス(記憶媒体)1516を含み得る。
コンピュータ読取可能媒体1514は、デバイスデータ1504、さまざまなデバイスアプリケーション1518、ならびに、コンピューティングシステム1500の動作局面に関する任意の他のタイプの情報および/またはデータを格納するためのデータ記憶メカニズムを提供する。たとえば、オペレーティングシステム1520は、コンピュータ読取可能媒体1514でコンピュータアプリケーションとして維持され、プロセッサ1510上で実行され得る。デバイスアプリケーション1518は、任意の形の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、抽象化モジュール、ジェスチャー認識モジュール、および他のモジュールといった、デバイスマネージャを含んでいてもよい。デバイスアプリケーション1518はまた、レーダーシステム104または相互作用マネージャ106といった、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを実現するためのシステムコンポーネント、エンジン、モジュール、またはマネージャを含んでいてもよい。コンピューティングシステム1500はまた、1つ以上の機械学習システムを含むか、または、1つ以上の機械学習システムへのアクセスを有していてもよい。
いくつかの例を以下に説明する。
例1
ユーザデバイスであって、
少なくとも部分的にハードウェアで実現されるレーダーシステムを含み、レーダーシステムは、
レーダー場を提供し、
レーダー場内のユーザからの反射を検知し、
レーダー場内のユーザからの反射を分析し、
反射の分析に基づいてレーダーデータを提供するように構成され、ユーザデバイスはさらに、
1つ以上のコンピュータプロセッサと、
命令を格納した1つ以上のコンピュータ読取可能媒体とを含み、命令は、1つ以上のコンピュータプロセッサによる実行に応答して、レーダーベースの相互作用マネージャを実現し、レーダーベースの相互作用マネージャは、
少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するように構成され、マルチモードインターフェイスは、第1のモードの間、黒色表示または低光度表示を提供し、レーダーベースの相互作用マネージャはさらに、
レーダーデータに基づいて、および第1のモードの間、ユーザの存在か、または、ユーザデバイスに対するユーザによるしきい値動きを検出し、
ユーザの存在またはしきい値動きの検出に応答して、マルチモードインターフェイスを第1のモードから第2のモードに変更し、
第2のモードへの変更に応答して、マルチモードインターフェイスに、黒色表示または低光度表示の1つ以上の表示パラメータを変更することによって、ユーザによる存在またはしきい値動きに対応する視覚フィードバックを提供させるように構成される、ユーザデバイス。
例2
第1のモードは、マルチモードインターフェイスが休止状態にあり、黒色表示を提供する休止モードを含み、
第2のモードは、ユーザデバイスがレーダー場内のユーザの存在を検出し、マルチモードインターフェイスが低光度表示を提供するアンビエントモードを含み、
レーダーベースの相互作用マネージャは、低光度表示を提供するために、黒色表示の少なくとも光度を増加させることによって1つ以上の表示パラメータを変更するように構成される、例1に記載のユーザデバイス。
例3
第1のモードは、マルチモードインターフェイスが休止状態にあり、黒色表示を提供する休止モードを含み、
第2のモードは、ユーザがユーザデバイスに向かって手を伸ばしていることをレーダーデータが示し、マルチモードインターフェイスが低光度表示を提供するアラートモードを含み、アラートモードは、ユーザに完全ではない権利を提供し、
マルチモードインターフェイスが、マルチモードインターフェイスにユーザの手の動きに対応する動的応答視覚フィードバックを提供させるために効果的であるアラートモードである場合、レーダーベースの相互作用マネージャは、ユーザデバイスに向かうかまたはユーザデバイスから遠ざかるユーザの手の動きに基づいて、低光度表示の少なくとも光度を動的に調節するように構成される、例1に記載のユーザデバイス。
例4
第1のモードは、マルチモードインターフェイスが休止状態にあり、黒色表示を提供する休止モードを含み、
第1のモードは、ユーザデバイスのユーザに完全ではない権利を提供し、
第2のモードは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含み、
黒色表示の1つ以上の表示パラメータは、高光度および彩度表示を提供するために変更される、例1に記載のユーザデバイス。
例5
第1のモードは、ユーザデバイスがレーダー場内のユーザの存在を検出するアンビエントモードを含み、マルチモードインターフェイスは、第1のモードの間、低光度表示を提供し、
第2のモードは、ユーザがユーザデバイスに向かって手を伸ばしていることをレーダーデータが示すアラートモードを含み、マルチモードインターフェイスは、アラートモードの間、最初に低光度表示を提供し、アラートモードは、レーダーベースの相互作用マネージャが、ユーザデバイスに向かうかまたはユーザデバイスから遠ざかるユーザの手の動きに基づいて、低光度表示の少なくとも光度を調節することを可能にし、マルチモードインターフェイスにユーザの手の動きに対応する動的応答視覚フィードバックを提供させるために効果的である、例1に記載のユーザデバイス。
例6
第1のモードは、ユーザデバイスがレーダー場内のユーザの存在を検出するアンビエントモードを含み、第1のモードは、ユーザへの完全ではない権利と低光度表示とを提供し、低光度表示は低彩度を有し、
第2のモードは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含み、
レーダーベースの相互作用マネージャは、低光度表示から高光度および彩度表示に移行するように光度および彩度を増加させることによって、低光度表示の1つ以上のパラメータを変更する、例1に記載のユーザデバイス。
例7
第1のモードは、ユーザがユーザデバイスに向かって手を伸ばしていることをレーダーデータが示すアラートモードを含み、アラートモードは、ユーザへの完全ではない権利と低光度表示とを提供し、低光度表示は低彩度を有し、
アラートモードは、レーダーベースの相互作用マネージャが、低光度表示の少なくとも光度を調節することと、低光度表示の少なくとも光度への調節に基づいて、マルチモードインターフェイスに、ユーザデバイスに向かうかまたはユーザデバイスから遠ざかるユーザの手の動きに対応する動的応答視覚フィードバックを提供させることとを可能にし、
第2のモードは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含み、
レーダーベースの相互作用マネージャは、高光度および彩度表示に移行するように低光度表示の光度および彩度を増加させることによって、1つ以上のパラメータを変更するように構成される、例1に記載のユーザデバイス。
例8
第1のモードは、マルチモードインターフェイスが休止状態にあり、黒色表示を提供する休止モードを含み、
第2のモードは、ユーザデバイスがレーダー場内のユーザの存在を検出するアンビエントモードを含み、マルチモードインターフェイスは、アンビエントモードの間、低光度表示を提供し、
マルチモードインターフェイスは、マルチモードインターフェイスが、ユーザの動きに対応する低光度表示の少なくとも光度の調節に基づいて、ユーザデバイスに向かうかまたはユーザデバイスから遠ざかるユーザの動きに応答する動的視覚フィードバックを提供するアラートモードを含む第3のモードを含み、
レーダーベースの相互作用マネージャはさらに、
ユーザによるユーザデバイスとの第2の暗黙的相互作用の検出に応答して、マルチモードインターフェイスがアンビエントモードを出てアラートモードに入るようにし、
マルチモードインターフェイスがアラートモードに入ることに応答して、低光度表示の1つ以上の追加パラメータを調節するように構成される、例1に記載のユーザデバイス。
例9
第1のモードは、マルチモードインターフェイスが休止状態にあり、黒色表示を提供する休止モードを含み、
第2のモードは、ユーザデバイスがレーダー場内のユーザの存在を検出し、マルチモードインターフェイスが低光度表示を提供するアンビエントモードを含み、低光度表示は低彩度を有し、
第1のモードおよび第2のモードは各々、ユーザに完全ではない権利を提供し、
マルチモードインターフェイスは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含む第3のモードを含み、
レーダーベースの相互作用マネージャはさらに、
ユーザデバイスに対するユーザの認証に応答して、マルチモードインターフェイスがアンビエントモードを出てアクティブモードに入るようにし、
マルチモードインターフェイスがアクティブモードに入ることに応答して、マルチモードインターフェイスに、高光度および彩度表示に移行するように低光度表示の光度および彩度を変更することによって、ユーザの認証に対応する視覚フィードバックを提供させるように構成される、例1に記載のユーザデバイス。
例10
第1のモードは、ユーザデバイスがレーダー場内のユーザの存在を検出し、マルチモードインターフェイスが低光度表示を提供するアンビエントモードを含み、低光度表示は、アンビエントモードの間、低彩度を有し、
第2のモードは、ユーザがユーザデバイスに向かって手を伸ばしていることをレーダーデータが示し、レーダーベースの相互作用マネージャがユーザデバイスに対するユーザの動きに基づいて画像の少なくとも光度を調節し、マルチモードインターフェイスがユーザデバイスに対するユーザの動きに応答する動的視覚フィードバックを提供するアラートモードを含み、
アンビエントモードおよびアラートモードは双方とも、ユーザに完全ではない権利を提供し、
マルチモードインターフェイスは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含む第3のモードを含み、
永続的なレーダーベースの相互作用マネージャはさらに、
ユーザデバイスに対するユーザの認証に応答して、マルチモードインターフェイスがアラートモードを出てアクティブモードに入るようにし、
マルチモードインターフェイスがアクティブモードに入ることに応答して、高光度および彩度表示を提供するために低光度表示の光度および彩度を増加させるように構成される、例1に記載のユーザデバイス。
例11
低光度は、定義済しきい値レベルよりも低い光度レベルによって定義され、定義済しきい値レベルは、最大光度の約50%、40%、25%、または15%に対応する、例1に記載のユーザデバイス。
例12
ユーザデバイスで実現される方法であって、方法は、
少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するステップを含み、マルチモードインターフェイスは、第1のモードの間、黒色表示または低光度表示を提供し、方法はさらに、
ユーザデバイスがロック状態にある場合、レーダーシステムからレーダーデータを取得するステップを含み、レーダーデータは、レーダーシステムによって生成されたレーダー場内のユーザからの反射を表わし、方法はさらに、
レーダーデータに基づいて、および第1のモードの間、ユーザデバイスに対するユーザによる存在またはしきい値動きを検出するステップと、
ユーザによる存在またはしきい値動きの検出に応答して、マルチモードインターフェイスを第1のモードから第2のモードに変更させるステップと、
第2のモードへの変更に応答して、マルチモードインターフェイスに、黒色表示または低光度表示の1つ以上の表示パラメータを変更することによって、ユーザによる存在またはしきい値動きに対応する視覚フィードバックを提供させるステップとを含む、方法。
例13
マルチモードインターフェイスを第1のモードから第2のモードに変更させるステップは、マルチモードインターフェイスが休止モードを出てアンビエントモードに入るようにするステップを含み、
休止モードでは、マルチモードインターフェイスは休止状態にあり、黒色表示が提供され、
アンビエントモードでは、ユーザデバイスはユーザデバイスから所定距離内のユーザの存在を検出し、低光度表示が提供される、例12に記載の方法。
例14
マルチモードインターフェイスがアンビエントモードに変更されることに応答して、高光度表示を提供するために、所定の持続時間の間、黒色表示の光度を増加させるステップと、
所定の持続時間の満了に応答して、低光度表示を提供するために、高光度表示の光度を減少させるステップとをさらに含む、例13に記載の方法。
例15
マルチモードインターフェイスを第1のモードから第2のモードに変更させるステップは、マルチモードインターフェイスがアンビエントモードを出てアラートモードに入るようにするステップを含み、
アンビエントモードでは、ユーザデバイスはユーザデバイスから定義済の距離内のユーザの存在を検出し、マルチモードインターフェイスは黒色表示を提供し、
アラートモードでは、レーダーベースの相互作用マネージャは、マルチモードインターフェイスに、レーダーシステムからのレーダーデータに対応する低光度表示の少なくとも光度の調節に基づいて、ユーザデバイスに向かうかまたはユーザデバイスから遠ざかるように動くユーザの手の動きに応答する動的視覚フィードバックを提供させるように構成される、例12に記載の方法。
例16
マルチモードインターフェイスがアラートモードに入ることに応答して、ユーザの手の動きに対応する動的視覚フィードバックを提供するために効果的である低光度表示の少なくとも光度を第1の速度で調節するステップをさらに含み、第1の速度は少なくとも、ユーザデバイスとユーザの手との間の距離を減少させる第2の速度に基づいている、例15に記載の方法。
例17
マルチモードインターフェイスを第1のモードから第2のモードに変更させるステップは、マルチモードインターフェイスがアラートモードを出てアクティブモードに入るようにするステップを含み、
アラートモードでは、マルチモードインターフェイスは低彩度を有する低光度表示を提供し、レーダーベースの相互作用マネージャは、ユーザデバイスに向かうかまたはユーザデバイスから遠ざかるように動くユーザの手の動きに基づいて、低光度表示の少なくとも光度を調節し、マルチモードインターフェイスは、低光度表示の少なくとも光度への調節に基づいて、ユーザの手の動きに対応する動的応答視覚フィードバックを提供し、アラートモードは、ユーザに完全ではない権利を提供し、
アクティブモードは、ユーザデバイスに対するユーザの認証に基づいて、ユーザに完全な権利を提供し、
マルチモードインターフェイスは、アクティブモードの間、高光度および彩度表示を提供する、例12に記載の方法。
例18
マルチモードインターフェイスがアクティブモードに入ることに応答して、ユーザの認証に対応する追加の視覚フィードバックを提供するために効果的な高光度および彩度表示に移行するように、彩度または照明効果を低光度表示に適用するステップをさらに含む、例17に記載の方法。
例19
レーダーシステムを含むユーザデバイスで実現される方法であって、方法は、
レーダーシステムが、レーダー場を提供するステップと、
レーダーシステムが、レーダー場内のユーザからの反射を検知するステップと、
レーダーシステムが、レーダー場内のユーザからの反射を分析するステップと、
レーダーシステムが、反射の分析に基づいて、レーダーデータを提供するステップと、
レーダーベースの相互作用マネージャが、少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するステップとを含み、マルチモードインターフェイスは、第1のモードの間、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示を提供し、方法はさらに、
レーダーベースの相互作用マネージャが、レーダーデータに基づいて、および第1のモードの間、ユーザデバイスに対するユーザの存在またはしきい値動きを検出するステップと、
ユーザの存在またはしきい値動きの検出に応答して、レーダーベースの相互作用マネージャが、マルチモードインターフェイスを第1のモードから第2のモードに変更するステップと、
マルチモードインターフェイスを第2のモードに変更するステップに応答して、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示の1つ以上の表示パラメータを変更することによって、暗黙的相互作用に対応する視覚フィードバックを提供するステップとを含む、方法。
例20
第1のモードは、休止モード、アンビエントモード、アラートモード、およびアクティブモードのうちの1つを含み、
休止モードでは、マルチモードインターフェイスは休止状態にあり、黒色表示を提供し、
アンビエントモードでは、ユーザデバイスはレーダー場内のユーザの存在を検出し、マルチモードインターフェイスは、アンビエントモードの間、低光度表示を提供し、
アラートモードでは、レーダーデータは、ユーザがユーザデバイスに向かって手を伸ばしていることを示し、アラートモードは、ユーザデバイスに対するユーザの動きに対応する動的応答視覚フィードバックを提供し、マルチモードインターフェイスは、アラートモードの間、低光度表示またはモノクロ表示を提供し、
アクティブモードは、認証されたユーザに完全な権利を提供し、マルチモードインターフェイスは、アクティブモードの間、高光度および彩度表示を提供し、
休止モード、アンビエントモード、およびアラートモードは各々、ユーザに完全ではない権利を提供し、
第2のモードは、休止モード、アンビエントモード、アラートモード、またはアクティブモードのうち、第1のモードとは異なる別のモードを含む、例19に記載の方法。
結論
マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムのための手法および当該レーダーシステムを可能にする装置の実現化例が、機能および/または方法に特有の文言で説明されてきたが、請求項の主題は説明された特定の機能または方法に必ずしも限定されないということが理解されるべきである。むしろ、特定の機能および方法は、マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステムを可能にする例示的な実現化例として開示されている。

Claims (20)

  1. ユーザデバイスであって、
    少なくとも部分的にハードウェアで実現されるレーダーシステムを含み、前記レーダーシステムは、
    レーダー場を提供し、
    前記レーダー場内のユーザからの反射を検知し、
    前記レーダー場内の前記ユーザからの前記反射を分析し、
    前記反射の前記分析に基づいてレーダーデータを提供するように構成され、前記ユーザデバイスはさらに、
    1つ以上のコンピュータプロセッサと、
    命令を格納した1つ以上のコンピュータ読取可能媒体とを含み、前記命令は、前記1つ以上のコンピュータプロセッサによる実行に応答して、レーダーベースの相互作用マネージャを実現し、前記レーダーベースの相互作用マネージャは、
    少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するように構成され、前記マルチモードインターフェイスは、前記第1のモードの間、黒色表示または低光度表示を提供し、前記レーダーベースの相互作用マネージャはさらに、
    前記レーダーデータに基づいて、および前記第1のモードの間、前記ユーザの存在か、または、前記ユーザデバイスに対する前記ユーザによるしきい値動きを検出し、
    前記ユーザの前記存在またはしきい値動きの検出に応答して、前記マルチモードインターフェイスを前記第1のモードから前記第2のモードに変更し、
    前記第2のモードへの変更に応答して、前記マルチモードインターフェイスに、前記黒色表示または前記低光度表示の1つ以上の表示パラメータを変更することによって、前記ユーザによる前記存在またはしきい値動きに対応する視覚フィードバックを提供させるように構成される、ユーザデバイス。
  2. 前記第1のモードは、前記マルチモードインターフェイスが休止状態にあり、前記黒色表示を提供する休止モードを含み、
    前記第2のモードは、前記ユーザデバイスが前記レーダー場内の前記ユーザの前記存在を検出し、前記マルチモードインターフェイスが前記低光度表示を提供するアンビエントモードを含み、
    前記レーダーベースの相互作用マネージャは、前記低光度表示を提供するために、前記黒色表示の少なくとも光度を増加させることによって前記1つ以上の表示パラメータを変更するように構成される、請求項1に記載のユーザデバイス。
  3. 前記第1のモードは、前記マルチモードインターフェイスが休止状態にあり、前記黒色表示を提供する休止モードを含み、
    前記第2のモードは、前記ユーザが前記ユーザデバイスに向かって手を伸ばしていることを前記レーダーデータが示し、前記マルチモードインターフェイスが前記低光度表示を提供するアラートモードを含み、前記アラートモードは、前記ユーザに完全ではない権利を提供し、
    前記マルチモードインターフェイスが、前記マルチモードインターフェイスに前記ユーザの手の動きに対応する動的応答視覚フィードバックを提供させるために効果的である前記アラートモードである場合、前記レーダーベースの相互作用マネージャは、前記ユーザデバイスに向かうかまたは前記ユーザデバイスから遠ざかる前記ユーザの前記手の前記動きに基づいて、前記低光度表示の少なくとも光度を動的に調節するように構成される、請求項1に記載のユーザデバイス。
  4. 前記第1のモードは、前記マルチモードインターフェイスが休止状態にあり、前記黒色表示を提供する休止モードを含み、
    前記第1のモードは、前記ユーザデバイスのユーザに完全ではない権利を提供し、
    前記第2のモードは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含み、
    前記黒色表示の前記1つ以上の表示パラメータは、前記高光度および彩度表示を提供するために変更される、請求項1に記載のユーザデバイス。
  5. 前記第1のモードは、前記ユーザデバイスが前記レーダー場内の前記ユーザの前記存在を検出するアンビエントモードを含み、前記マルチモードインターフェイスは、前記第1のモードの間、前記低光度表示を提供し、
    前記第2のモードは、前記ユーザが前記ユーザデバイスに向かって手を伸ばしていることを前記レーダーデータが示すアラートモードを含み、前記マルチモードインターフェイスは、前記アラートモードの間、最初に前記低光度表示を提供し、前記アラートモードは、前記レーダーベースの相互作用マネージャが、前記ユーザデバイスに向かうかまたは前記ユーザデバイスから遠ざかる前記ユーザの手の動きに基づいて、前記低光度表示の少なくとも光度を調節することを可能にし、前記マルチモードインターフェイスに前記ユーザの手の前記動きに対応する動的応答視覚フィードバックを提供させるために効果的である、請求項1に記載のユーザデバイス。
  6. 前記第1のモードは、前記ユーザデバイスが前記レーダー場内の前記ユーザの前記存在を検出するアンビエントモードを含み、前記第1のモードは、前記ユーザへの完全ではない権利と前記低光度表示とを提供し、前記低光度表示は低彩度を有し、
    前記第2のモードは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含み、
    前記レーダーベースの相互作用マネージャは、前記低光度表示から前記高光度および彩度表示に移行するように光度および彩度を増加させることによって、前記低光度表示の前記1つ以上のパラメータを変更する、請求項1に記載のユーザデバイス。
  7. 前記第1のモードは、前記ユーザが前記ユーザデバイスに向かって手を伸ばしていることを前記レーダーデータが示すアラートモードを含み、前記アラートモードは、前記ユーザへの完全ではない権利と前記低光度表示とを提供し、前記低光度表示は低彩度を有し、
    前記アラートモードは、前記レーダーベースの相互作用マネージャが、前記低光度表示の少なくとも光度を調節することと、前記低光度表示の少なくとも前記光度への調節に基づいて、前記マルチモードインターフェイスに、前記ユーザデバイスに向かうかまたは前記ユーザデバイスから遠ざかる前記ユーザの手の動きに対応する動的応答視覚フィードバックを提供させることとを可能にし、
    前記第2のモードは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含み、
    前記レーダーベースの相互作用マネージャは、前記高光度および彩度表示に移行するように前記低光度表示の光度および彩度を増加させることによって、前記1つ以上のパラメータを変更するように構成される、請求項1に記載のユーザデバイス。
  8. 前記第1のモードは、前記マルチモードインターフェイスが休止状態にあり、前記黒色表示を提供する休止モードを含み、
    前記第2のモードは、前記ユーザデバイスが前記レーダー場内の前記ユーザの前記存在を検出するアンビエントモードを含み、前記マルチモードインターフェイスは、前記アンビエントモードの間、前記低光度表示を提供し、
    前記マルチモードインターフェイスは、前記マルチモードインターフェイスが、前記ユーザの動きに対応する前記低光度表示の少なくとも光度の調節に基づいて、前記ユーザデバイスに向かうかまたは前記ユーザデバイスから遠ざかる前記ユーザの前記動きに応答する動的視覚フィードバックを提供するアラートモードを含む第3のモードを含み、
    前記レーダーベースの相互作用マネージャはさらに、
    前記ユーザによる前記ユーザデバイスとの第2の暗黙的相互作用の検出に応答して、前記マルチモードインターフェイスが前記アンビエントモードを出て前記アラートモードに入るようにし、
    前記マルチモードインターフェイスが前記アラートモードに入ることに応答して、前記低光度表示の1つ以上の追加パラメータを調節するように構成される、請求項1に記載のユーザデバイス。
  9. 前記第1のモードは、前記マルチモードインターフェイスが休止状態にあり、前記黒色表示を提供する休止モードを含み、
    前記第2のモードは、前記ユーザデバイスが前記レーダー場内の前記ユーザの前記存在を検出し、前記マルチモードインターフェイスが前記低光度表示を提供するアンビエントモードを含み、前記低光度表示は低彩度を有し、
    前記第1のモードおよび前記第2のモードは各々、前記ユーザに完全ではない権利を提供し、
    前記マルチモードインターフェイスは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含む第3のモードを含み、
    前記レーダーベースの相互作用マネージャはさらに、
    前記ユーザデバイスに対する前記ユーザの認証に応答して、前記マルチモードインターフェイスが前記アンビエントモードを出て前記アクティブモードに入るようにし、
    前記マルチモードインターフェイスが前記アクティブモードに入ることに応答して、前記マルチモードインターフェイスに、前記高光度および彩度表示に移行するように前記低光度表示の光度および彩度を変更することによって、前記ユーザの前記認証に対応する視覚フィードバックを提供させるように構成される、請求項1に記載のユーザデバイス。
  10. 前記第1のモードは、前記ユーザデバイスが前記レーダー場内の前記ユーザの前記存在を検出し、前記マルチモードインターフェイスが前記低光度表示を提供するアンビエントモードを含み、前記低光度表示は、前記アンビエントモードの間、低彩度を有し、
    前記第2のモードは、前記ユーザが前記ユーザデバイスに向かって手を伸ばしていることを前記レーダーデータが示し、前記レーダーベースの相互作用マネージャが前記ユーザデバイスに対する前記ユーザの動きに基づいて画像の少なくとも光度を調節し、前記マルチモードインターフェイスが前記ユーザデバイスに対する前記ユーザの前記動きに応答する動的視覚フィードバックを提供するアラートモードを含み、
    前記アンビエントモードおよび前記アラートモードは双方とも、前記ユーザに完全ではない権利を提供し、
    前記マルチモードインターフェイスは、認証されたユーザへの完全な権利と高光度および彩度表示とを提供するアクティブモードを含む第3のモードを含み、
    永続的な前記レーダーベースの相互作用マネージャはさらに、
    前記ユーザデバイスに対する前記ユーザの認証に応答して、前記マルチモードインターフェイスが前記アラートモードを出て前記アクティブモードに入るようにし、
    前記マルチモードインターフェイスが前記アクティブモードに入ることに応答して、前記高光度および彩度表示を提供するために前記低光度表示の光度および彩度を増加させるように構成される、請求項1に記載のユーザデバイス。
  11. 低光度は、定義済しきい値レベルよりも低い光度レベルによって定義され、前記定義済しきい値レベルは、最大光度の約50%、40%、25%、または15%に対応する、請求項1に記載のユーザデバイス。
  12. ユーザデバイスで実現される方法であって、前記方法は、
    少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するステップを含み、前記マルチモードインターフェイスは、前記第1のモードの間、黒色表示または低光度表示を提供し、前記方法はさらに、
    前記ユーザデバイスがロック状態にある場合、レーダーシステムからレーダーデータを取得するステップを含み、前記レーダーデータは、前記レーダーシステムによって生成されたレーダー場内のユーザからの反射を表わし、前記方法はさらに、
    前記レーダーデータに基づいて、および前記第1のモードの間、前記ユーザデバイスに対する前記ユーザによる存在またはしきい値動きを検出するステップと、
    前記ユーザによる前記存在またはしきい値動きの検出に応答して、前記マルチモードインターフェイスを前記第1のモードから前記第2のモードに変更させるステップと、
    前記第2のモードへの変更に応答して、前記マルチモードインターフェイスに、前記黒色表示または前記低光度表示の1つ以上の表示パラメータを変更することによって、前記ユーザによる前記存在またはしきい値動きに対応する視覚フィードバックを提供させるステップとを含む、方法。
  13. 前記マルチモードインターフェイスを前記第1のモードから前記第2のモードに変更させるステップは、前記マルチモードインターフェイスが休止モードを出てアンビエントモードに入るようにするステップを含み、
    前記休止モードでは、前記マルチモードインターフェイスは休止状態にあり、前記黒色表示が提供され、
    前記アンビエントモードでは、前記ユーザデバイスは前記ユーザデバイスから所定距離内の前記ユーザの前記存在を検出し、前記低光度表示が提供される、請求項12に記載の方法。
  14. 前記マルチモードインターフェイスが前記アンビエントモードに変更されることに応答して、高光度表示を提供するために、所定の持続時間の間、前記黒色表示の光度を増加させるステップと、
    前記所定の持続時間の満了に応答して、前記低光度表示を提供するために、前記高光度表示の光度を減少させるステップとをさらに含む、請求項13に記載の方法。
  15. 前記マルチモードインターフェイスを前記第1のモードから前記第2のモードに変更させるステップは、前記マルチモードインターフェイスがアンビエントモードを出てアラートモードに入るようにするステップを含み、
    前記アンビエントモードでは、前記ユーザデバイスは前記ユーザデバイスから定義済の距離内の前記ユーザの前記存在を検出し、前記マルチモードインターフェイスは前記黒色表示を提供し、
    前記アラートモードでは、レーダーベースの相互作用マネージャは、前記マルチモードインターフェイスに、前記レーダーシステムからの前記レーダーデータに対応する前記低光度表示の少なくとも光度の調節に基づいて、前記ユーザデバイスに向かうかまたは前記ユーザデバイスから遠ざかるように動くユーザの手の動きに応答する動的視覚フィードバックを提供させるように構成される、請求項12に記載の方法。
  16. 前記マルチモードインターフェイスが前記アラートモードに入ることに応答して、前記ユーザの手の前記動きに対応する前記動的視覚フィードバックを提供するために効果的である前記低光度表示の少なくとも前記光度を第1の速度で調節するステップをさらに含み、前記第1の速度は少なくとも、前記ユーザデバイスと前記ユーザの手との間の距離を減少させる第2の速度に基づいている、請求項15に記載の方法。
  17. 前記マルチモードインターフェイスを前記第1のモードから前記第2のモードに変更させるステップは、前記マルチモードインターフェイスがアラートモードを出てアクティブモードに入るようにするステップを含み、
    前記アラートモードでは、前記マルチモードインターフェイスは低彩度を有する前記低光度表示を提供し、レーダーベースの相互作用マネージャは、前記ユーザデバイスに向かうかまたは前記ユーザデバイスから遠ざかるように動く前記ユーザの手の動きに基づいて、前記低光度表示の少なくとも光度を調節し、前記マルチモードインターフェイスは、前記低光度表示の少なくとも前記光度への調節に基づいて、前記ユーザの手の前記動きに対応する動的応答視覚フィードバックを提供し、前記アラートモードは、前記ユーザに完全ではない権利を提供し、
    前記アクティブモードは、前記ユーザデバイスに対する前記ユーザの認証に基づいて、前記ユーザに完全な権利を提供し、
    前記マルチモードインターフェイスは、前記アクティブモードの間、高光度および彩度表示を提供する、請求項12に記載の方法。
  18. 前記マルチモードインターフェイスが前記アクティブモードに入ることに応答して、前記ユーザの前記認証に対応する追加の視覚フィードバックを提供するために効果的な前記高光度および彩度表示に移行するように、彩度または照明効果を前記低光度表示に適用するステップをさらに含む、請求項17に記載の方法。
  19. レーダーシステムを含むユーザデバイスで実現される方法であって、前記方法は、
    前記レーダーシステムが、レーダー場を提供するステップと、
    前記レーダーシステムが、前記レーダー場内のユーザからの反射を検知するステップと、
    前記レーダーシステムが、前記レーダー場内の前記ユーザからの前記反射を分析するステップと、
    前記レーダーシステムが、前記反射の前記分析に基づいて、レーダーデータを提供するステップと、
    レーダーベースの相互作用マネージャが、少なくとも第1のモードと第2のモードとを有するマルチモードインターフェイスを提供するステップとを含み、前記マルチモードインターフェイスは、前記第1のモードの間、黒色表示、低光度表示、モノクロ表示、または、高光度および彩度表示を提供し、前記方法はさらに、
    前記レーダーベースの相互作用マネージャが、前記レーダーデータに基づいて、および前記第1のモードの間、前記ユーザデバイスに対する前記ユーザの存在またはしきい値動きを検出するステップと、
    前記ユーザの前記存在またはしきい値動きの検出に応答して、前記レーダーベースの相互作用マネージャが、前記マルチモードインターフェイスを前記第1のモードから前記第2のモードに変更するステップと、
    前記マルチモードインターフェイスを前記第2のモードに変更するステップに応答して、前記黒色表示、前記低光度表示、前記モノクロ表示、または、前記高光度および彩度表示の1つ以上の表示パラメータを変更することによって、暗黙的相互作用に対応する視覚フィードバックを提供するステップとを含む、方法。
  20. 前記第1のモードは、休止モード、アンビエントモード、アラートモード、およびアクティブモードのうちの1つを含み、
    前記休止モードでは、前記マルチモードインターフェイスは休止状態にあり、前記黒色表示を提供し、
    前記アンビエントモードでは、前記ユーザデバイスは前記レーダー場内の前記ユーザの前記存在を検出し、前記マルチモードインターフェイスは、前記アンビエントモードの間、前記低光度表示を提供し、
    前記アラートモードでは、前記レーダーデータは、前記ユーザが前記ユーザデバイスに向かって手を伸ばしていることを示し、前記アラートモードは、前記ユーザデバイスに対する前記ユーザの動きに対応する動的応答視覚フィードバックを提供し、前記マルチモードインターフェイスは、前記アラートモードの間、前記低光度表示または前記モノクロ表示を提供し、
    前記アクティブモードは、認証されたユーザに完全な権利を提供し、前記マルチモードインターフェイスは、前記アクティブモードの間、前記高光度および彩度表示を提供し、
    前記休止モード、前記アンビエントモード、および前記アラートモードは各々、前記ユーザに完全ではない権利を提供し、
    前記第2のモードは、前記休止モード、前記アンビエントモード、前記アラートモード、または前記アクティブモードのうち、前記第1のモードとは異なる別のモードを含む、請求項19に記載の方法。
JP2021557063A 2019-05-20 2019-05-20 マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法 Active JP7407200B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/033116 WO2020236148A1 (en) 2019-05-20 2019-05-20 Mobile device-based radar system for providing a multi-mode interface and method therefor

Publications (2)

Publication Number Publication Date
JP2022533515A true JP2022533515A (ja) 2022-07-25
JP7407200B2 JP7407200B2 (ja) 2023-12-28

Family

ID=66794108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557063A Active JP7407200B2 (ja) 2019-05-20 2019-05-20 マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法

Country Status (7)

Country Link
US (1) US11550048B2 (ja)
EP (1) EP3928182A1 (ja)
JP (1) JP7407200B2 (ja)
KR (1) KR20210125577A (ja)
CN (1) CN113614676B (ja)
BR (1) BR112021019115A2 (ja)
WO (1) WO2020236148A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
EP3928182A1 (en) 2019-05-20 2021-12-29 Google LLC Mobile device-based radar system for providing a multi-mode interface and method therefor
WO2020256692A1 (en) 2019-06-17 2020-12-24 Google Llc Mobile device-based radar system for applying different power modes to a multi-mode interface
US11487363B2 (en) * 2019-07-29 2022-11-01 Qualcomm Incorporated Gesture detection in interspersed radar and network traffic signals
WO2021118570A1 (en) 2019-12-12 2021-06-17 Google Llc Radar-based monitoring of a fall by a person
US11832961B2 (en) 2020-08-11 2023-12-05 Google Llc Contactless sleep detection and disturbance attribution
US11754676B2 (en) 2020-08-11 2023-09-12 Google Llc Precision sleep tracking using a contactless sleep tracking device
US11406281B2 (en) 2020-08-11 2022-08-09 Google Llc Contactless cough detection and attribution
US11808839B2 (en) 2020-08-11 2023-11-07 Google Llc Initializing sleep tracking on a contactless health tracking device
WO2023132376A1 (ko) * 2022-01-04 2023-07-13 엘지전자 주식회사 Tv 및 그 제어 방법
WO2023219974A2 (en) * 2022-05-10 2023-11-16 Apple Inc. Low power display state
KR102507499B1 (ko) * 2022-05-17 2023-03-07 세종대학교산학협력단 양방향 채널을 이용하는 에어갭 환경에서의 공격 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337401A (ja) * 1993-05-28 1994-12-06 Matsushita Electric Ind Co Ltd 液晶ディスプレイ
JP2010191288A (ja) * 2009-02-19 2010-09-02 Autonetworks Technologies Ltd 表示制御装置
JP2012133524A (ja) * 2010-12-21 2012-07-12 Sony Corp 画像表示制御装置および画像表示制御方法
KR20130001420A (ko) * 2011-06-27 2013-01-04 엘지전자 주식회사 사용자의 위치를 표시하는 장치 및 방법
JP2015052982A (ja) * 2013-09-09 2015-03-19 パイオニア株式会社 表示制御装置
US20180329049A1 (en) * 2017-05-10 2018-11-15 Google Llc Low-Power Radar
US20190114021A1 (en) * 2017-10-14 2019-04-18 Qualcomm Incorporated Managing And Mapping Multi-Sided Touch

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843351A (en) 1987-08-28 1989-06-27 Hewlett-Packard Company Vector modulation signal generator
US4912477A (en) 1988-11-18 1990-03-27 Grumman Aerospace Corporation Radar system for determining angular position utilizing a linear phased array antenna
FI956060A (fi) 1995-12-15 1997-06-16 Nokia Telecommunications Oy Sektoroitu tukiasema
JP4232879B2 (ja) 1999-09-02 2009-03-04 パナソニック株式会社 通信装置
IL134518A0 (en) 2000-02-13 2001-04-30 Hexagon System Engineering Ltd Integrated radar and communication system
US6636574B2 (en) 2001-05-31 2003-10-21 Motorola, Inc. Doppler spread/velocity estimation in mobile wireless communication devices and methods therefor
US7092690B2 (en) 2002-03-13 2006-08-15 Gregory Zancewicz Genetic algorithm-based adaptive antenna array processing method and system
US6816116B2 (en) 2002-03-22 2004-11-09 Quanta Computer, Inc. Smart antenna for portable devices
US6633254B1 (en) 2002-08-15 2003-10-14 Bae Systems Information And Electronics Systems Integration Inc. Self-modulating remote moving target detector
GB0325622D0 (en) 2003-11-03 2003-12-10 Cambridge Consultants System for determining positional information
US7120439B2 (en) 2003-11-13 2006-10-10 Motorola, Inc. Method and apparatus for mobile radio velocity estimation
JP2005181193A (ja) 2003-12-22 2005-07-07 Tdk Corp パルス波レーダー装置
KR100592767B1 (ko) 2003-12-26 2006-06-26 한국전자통신연구원 개선된 전력증폭기 효율을 가진 듀얼 안테나 다이버시티송신기 및 시스템
JPWO2006013615A1 (ja) 2004-08-02 2008-05-01 三菱電機株式会社 レーダ装置
JP2007180597A (ja) 2004-09-01 2007-07-12 Nokia Corp 中継器及び中継方法
JP2007232498A (ja) 2006-02-28 2007-09-13 Hitachi Ltd 障害物検知システム
US8254865B2 (en) 2006-04-07 2012-08-28 Belair Networks System and method for frequency offsetting of information communicated in MIMO-based wireless networks
US8169358B1 (en) 2007-06-25 2012-05-01 Bbn Technologies Coherent multi-band radar and communications transceiver
JP4575409B2 (ja) 2007-08-22 2010-11-04 株式会社東芝 無線通信装置
US7782251B2 (en) 2007-10-06 2010-08-24 Trex Enterprises Corp. Mobile millimeter wave imaging radar system
US8254433B2 (en) 2008-01-08 2012-08-28 Raytheon Company Non-federated multi-function Ka-band exciter system and method
DE102008038365A1 (de) 2008-07-02 2010-01-07 Adc Automotive Distance Control Systems Gmbh Fahrzeug-Radarsystem und Verfahren zur Bestimmung einer Position zumindest eines Objekts relativ zu einem Fahrzeug
CN101354438B (zh) 2008-08-28 2011-12-28 阮树成 毫米波时分线性调频多目标检测汽车防撞雷达
US8588805B2 (en) 2008-12-13 2013-11-19 Broadcom Corporation Receiver utilizing multiple radiation patterns to determine angular position
WO2010099268A1 (en) 2009-02-25 2010-09-02 Xanthia Global Limited Wireless physiology monitor
US8994536B2 (en) 2009-02-25 2015-03-31 Xanthia Global Limited Wireless physiology monitor
US9086476B1 (en) 2009-03-25 2015-07-21 Raytheon Company Method and apparatus for rejecting intermodulation products
US9041806B2 (en) 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
CN102087362B (zh) 2009-12-08 2014-04-16 北京邮电大学 信号跟踪的方法和装置
US20110140949A1 (en) 2009-12-16 2011-06-16 Electronics And Telecommunications Research Institute Mimo radar apparatus and wireless communication method using the same
US9113190B2 (en) 2010-06-04 2015-08-18 Microsoft Technology Licensing, Llc Controlling power levels of electronic devices through user interaction
US8519885B2 (en) 2011-09-21 2013-08-27 Mobile Joose, Inc. Combination hand-held phone and radar system
US8775836B2 (en) 2010-12-23 2014-07-08 Intel Corporation Method, apparatus and system to save processor state for efficient transition between processor power states
WO2012124586A1 (ja) 2011-03-14 2012-09-20 古河電気工業株式会社 直交復調装置
CN103534664B (zh) 2011-05-12 2016-08-31 苹果公司 存在感测
JP5083447B1 (ja) 2011-06-27 2012-11-28 富士ゼロックス株式会社 画像形成装置、画像形成装置用の人検知装置および画像形成装置用の制御装置
JP2013044881A (ja) 2011-08-23 2013-03-04 Panasonic Corp 電子看板装置
BR112014005656A2 (pt) * 2011-09-15 2017-03-28 Koninklijke Philips Nv sistema com uma interface de usuário sem contato; software de controle em um meio legível por computador; método para permitir que um usuário controle uma funcionalidade de um sistema através de uma interação sem contato com o sistema; e interface de usuário
US8798695B1 (en) 2012-09-17 2014-08-05 Amazon Technologies, Inc. Proximity sensor using antennas of a user device
DE112013006096T5 (de) 2012-12-19 2015-08-27 Sony Corporation Verfahren zum Betreiben einer tragbaren Abtasteinrichtung und eine tragbare Abtasteinrichtung
US10794984B2 (en) 2013-05-22 2020-10-06 New York University System, method and computer-readable medium for estimating direction of arrival of a signal incident on at least one antenna array
KR102454196B1 (ko) 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
US10436888B2 (en) 2014-05-30 2019-10-08 Texas Tech University System Hybrid FMCW-interferometry radar for positioning and monitoring and methods of using same
US9746901B2 (en) 2014-07-31 2017-08-29 Google Technology Holdings LLC User interface adaptation based on detected user location
KR102214194B1 (ko) 2014-08-19 2021-02-09 삼성전자 주식회사 Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법
US9813222B2 (en) 2014-08-28 2017-11-07 Toyota Jidosha Kabushiki Kaisha Single channel full-duplex joint radar and communication
US9618611B2 (en) 2014-09-24 2017-04-11 Nxp B.V. Personal radar assistance
US9983300B2 (en) 2014-10-17 2018-05-29 Qualcomm Incorporated Systems, methods, and apparatus for living object protection in wireless power transfer applications
JP6463135B2 (ja) 2015-01-07 2019-01-30 キヤノン株式会社 電子機器及び表示制御方法
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US9977122B2 (en) 2015-03-27 2018-05-22 The Boeing Company Multi-function shared aperture array
WO2017019570A1 (en) 2015-07-29 2017-02-02 Lattice Semiconductor Corporation Angle and position sensing using arrays of antennas
US9277418B1 (en) 2015-07-21 2016-03-01 RadComm, Inc. Methods, devices and systems for separating overlappingly transmitted signals and enabling joint spectrum access
EP3347996B1 (en) 2015-09-08 2022-10-19 Beammwave AB Analog processing system for massive-mimo
US20170086202A1 (en) 2015-09-21 2017-03-23 Qualcomm Incorporated Wi-fi indoor radar
US10324166B2 (en) 2015-09-28 2019-06-18 Rockwell Collins, Inc. Affordable combined pulsed/FMCW radar AESA
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
WO2017175190A1 (en) 2016-04-07 2017-10-12 Uhnder, Inc. Adaptive transmission and interference cancellation for mimo radar
US9945935B2 (en) 2016-04-25 2018-04-17 Uhnder, Inc. Digital frequency modulated continuous wave radar using handcrafted constant envelope modulation
US10141993B2 (en) 2016-06-16 2018-11-27 Intel Corporation Modular antenna array beam forming
US10598763B2 (en) 2016-07-27 2020-03-24 Raytheon Company System and method for concurrent communication of different signal types by a radar
KR101809371B1 (ko) 2016-07-29 2017-12-14 전자부품연구원 고속 첩 신호를 이용한 차량용 RadCom 시스템 및 방법
JP6091693B1 (ja) 2016-09-21 2017-03-08 京セラ株式会社 電子機器
US10754005B2 (en) 2017-05-31 2020-08-25 Google Llc Radar modulation for radar sensing using a wireless communication chipset
US10795009B2 (en) 2017-05-31 2020-10-06 Google Llc Digital beamforming for radar sensing using wireless communication chipset
US10782390B2 (en) 2017-05-31 2020-09-22 Google Llc Full-duplex operation for radar sensing using wireless communication chipset
EP3928182A1 (en) 2019-05-20 2021-12-29 Google LLC Mobile device-based radar system for providing a multi-mode interface and method therefor
WO2020256692A1 (en) 2019-06-17 2020-12-24 Google Llc Mobile device-based radar system for applying different power modes to a multi-mode interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337401A (ja) * 1993-05-28 1994-12-06 Matsushita Electric Ind Co Ltd 液晶ディスプレイ
JP2010191288A (ja) * 2009-02-19 2010-09-02 Autonetworks Technologies Ltd 表示制御装置
JP2012133524A (ja) * 2010-12-21 2012-07-12 Sony Corp 画像表示制御装置および画像表示制御方法
KR20130001420A (ko) * 2011-06-27 2013-01-04 엘지전자 주식회사 사용자의 위치를 표시하는 장치 및 방법
JP2015052982A (ja) * 2013-09-09 2015-03-19 パイオニア株式会社 表示制御装置
US20180329049A1 (en) * 2017-05-10 2018-11-15 Google Llc Low-Power Radar
US20190114021A1 (en) * 2017-10-14 2019-04-18 Qualcomm Incorporated Managing And Mapping Multi-Sided Touch

Also Published As

Publication number Publication date
JP7407200B2 (ja) 2023-12-28
BR112021019115A2 (pt) 2021-11-30
KR20210125577A (ko) 2021-10-18
CN113614676B (zh) 2024-03-26
US11550048B2 (en) 2023-01-10
WO2020236148A1 (en) 2020-11-26
US20210088643A1 (en) 2021-03-25
EP3928182A1 (en) 2021-12-29
CN113614676A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
JP7407200B2 (ja) マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法
KR102661485B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
JP7163513B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
JP7270070B2 (ja) モバイルデバイスのための入力方法
KR102416386B1 (ko) 다중 입력 모드에 대한 입력 모드 통지
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
WO2021040747A1 (en) Methods for reliable acceptance of user non-contact gesture inputs for a mobile device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7407200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150