JP2019067425A - 動的カメラまたはライトの動作 - Google Patents

動的カメラまたはライトの動作 Download PDF

Info

Publication number
JP2019067425A
JP2019067425A JP2018219318A JP2018219318A JP2019067425A JP 2019067425 A JP2019067425 A JP 2019067425A JP 2018219318 A JP2018219318 A JP 2018219318A JP 2018219318 A JP2018219318 A JP 2018219318A JP 2019067425 A JP2019067425 A JP 2019067425A
Authority
JP
Japan
Prior art keywords
light source
light
image
camera
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018219318A
Other languages
English (en)
Inventor
サン アグスティン ロペス、ハビエル
San Agustin Lopez Javier
サン アグスティン ロペス、ハビエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of JP2019067425A publication Critical patent/JP2019067425A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stroboscope Apparatuses (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

【課題】コンピューティング・デバイスのユーザは、ユーザの眼の動きによってコンピューティング・デバイスと対話することができる。【解決手段】コンピューティング・デバイスのカメラによって捕捉されたユーザの眼または顔の画像が、アイ・トラッキングおよび注視検出アルゴリズムなどのコンピュータ・ビジョン・アルゴリズムを使用して分析され得る。コンピューティング・デバイスの使用中に、ユーザを照明する1つまたは複数のライトまたはユーザを観察するカメラが、遮断されるようになることがある。デバイスは、注視検出をデバイスによって実行するのに必要であるものよりも多くのライトまたはカメラを備えることができる。過剰装備のデバイスでは、遮断が検出されるまで、追加のライトまたはカメラは休止状態のままであってもよい。カメラまたはライトが遮断されるようになったことに応じて、休止状態のライトまたはカメラが作動され得る。【選択図】なし

Description

本開示は、一般に、アイ・トラッキングを利用するユーザ・インタフェースおよび制御装置に関し、より具体的には、アイ・トラッキング・システムの使用中に発光ダイオード(LED)出力またはカメラ入力を調節するためのシステムおよび方法に関する。
ユーザの注視は、ユーザの眼(アイ)または顔の画像に存在する眼の情報に基づいてユーザの注視の場所を決定するアイ・トラッキング技術を使用して決定され得る。不十分な照明または画像品質は、誤ったアイ・トラッキングをもたらすことがある。
いくつかの例示の実施形態による、動的カメラまたはLED動作を可能にする例示のコンピューティング・デバイスのデバイス図。 いくつかの例示の実施形態による、動的カメラまたはLED動作のための例示のシステム・アーキテクチャのブロック図。 いくつかの例示の実施形態による、動的アイ・トラッキングキャリブレーションで使用されるデータの例示の流れのブロック図。 いくつかの実施形態による、ディスプレイに関連してアイ・トラッキング技術を示す概略図。 いくつかの実施形態による、ディスプレイに関連してアイ・トラッキング技術を示す概略図。 いくつかの例示の実施形態による、動的LED動作の例示のプロセスの流れ図。 いくつかの例示の実施形態による、動的LED動作の例示のプロセスの流れ図。 いくつかの例示の実施形態による、動的カメラ動作の例示のプロセスの流れ図。 いくつかの例示の実施形態による、動的カメラ動作の例示のプロセスの流れ図。 いくつかの例示の実施形態による、本明細書で論じられる手法のうちの任意の1つまたは複数をマシンに実行させるための1組の命令が実行され得るコンピュータ・システムの例示の形態のマシンのブロック図。
いくつかの例示の実施形態が、添付図面の図に限定ではなく例として示されている。
動的カメラまたはLED動作のための例示のシステムおよび方法が記述される。以下の記述では、説明のために、数多くの特定の詳細が、例示の実施形態の徹底的な理解を提供するために述べられる。しかしながら、当業者には、本技術がこれらの特定の詳細なく実施され得ることが、明らかであろう。
コンピューティング・デバイスのユーザは、ユーザの眼の動きによってコンピューティング・デバイスと対話し、コンピューティング・デバイスに表示されたオブジェクトおよびアプリケーションを制御することができる。コンピューティング・デバイスのカメラまたはコンピューティング・デバイスに対して結合されたデバイスのカメラによって捕捉されたユーザの眼または顔の画像は、アイ・トラッキング−注視検出アルゴリズムなどのコンピュータ・ビジョン・アルゴリズムを使用して分析され得る。次いで、コンピューティング・デバイスは、抽出された情報を使用して、ユーザの眼の場所および方位を決定し、かつユーザの注視場所を評価することができる。ユーザの注視場所は、ユーザがどこを見ているか(例えば、ユーザに対する3次元(3D)空間における、およびユーザが見ている場所)の評価であり、ユーザの視線、注視点、ユーザの注視の収束の深さ、またはそれらの任意の好適な組合せなどの情報を含むことができる。画像の捕捉を容易にするために、デバイスによって制御されたライト(例えば、LED)がユーザの顔を照明するのに使用されてもよい。例えば、捕捉された画像は、ユーザの眼または顔の特徴に関連する情報を抽出するために処理され得る。
コンピューティング・デバイスの使用中に、注視検出器によって受け取られる画像の品質に影響を与える事象が生じることがある。例えば、ユーザを照明する1つまたは複数のライトが遮断されるようになり、それによって、ユーザの眼の捕捉された画像の品質が低下することがある。別の例として、ユーザの画像を捕捉する1つまたは複数のカメラが遮断されるようになり、注視検出器が利用できるデータの量が減少することがある。
ライトまたはカメラの遮断が、ライトまたはカメラの近くの近接センサの使用によって、ライトまたはカメラの近くの光センサによって、1つまたは複数のカメラによって捕捉された1つまたは複数の画像の分析によって、またはそれらの任意の好適な組合せによって検出され得る。デバイスは、アイ・トラッキングを実行するのに必要であるよりも多くのライトまたはカメラを備えることができる。例えば、特別なデバイスで2つのライトおよび1つのカメラがアイ・トラッキングを実行するのに必要とされることがあるが、デバイスは、4つのライトおよび2つのカメラを備えることがある。過剰装備のデバイスでは、遮断が検出されるまで、追加のライトまたはカメラは休止状態のままであってもよい。例えば、システムは、特別な光源からの光がユーザの眼に達していないことを検出することができる。カメラまたはライトが遮断されるようになったことに応じて、休止状態のライトまたはカメラは作動され得る。このようにして、注視検出品質の低下が、部分的にまたは全面的に緩和され得る。
図1は、アイ・トラッキング制御を容易にし、アイ・トラッキング・システムの使用の間ライト出力またはカメラ入力を調節することができる例示のコンピューティング・デバイスのデバイス図である。アイ・トラッキング制御が記述の全体にわたって記述されるが、例示のコンピューティング・デバイスは、ユーザが眼でコンピューティング・デバイスを制御することなくユーザの眼の動きを記録するために受動的に使用され得る(例えば、有用性研究を促進するために、または車両の運転者の眠気レベルを決定するために)ことを当業者は理解するであろう。アイ・トラッキング制御は、ユーザの眼の活動をトラッキングすることに基づいて、デバイス、またはデバイスで動作するソフトウェアの制御を参照する。例えば、ユーザの眼の位置または運動に基づいて、スクリーン上のオブジェクトが移動され得る、テキストが入力され得る、ユーザ・インタフェースが対話され得る、など。
コンピューティング・デバイスは、限定はしないが、スマートフォン、携帯情報端末(PDA)、モバイル・フォン、コンピューティング・タブレット、電子リーダ、テレビ、ラップトップ、デスクトップ・コンピュータ、ディスプレイ・デバイス、ヘッドマウント・ディスプレイ、バーチャル・リアリティ・ヘッドセット、拡張現実ヘッドセットなどを含む任意のタイプのコンピューティング・デバイスとすることができる。いくつかの例示の実施形態では、コンピューティング・デバイスは、車両(例えば、自動車、ボート、もしくは航空機)、または電気器具(例えば、冷蔵庫、テレビ、ゲーム・コンソールなど)に一体化されるかまたは装着される。アイ・トラッキング制御中、コンピューティング・デバイスは、片手、両手でコンピューティング・デバイスを保持することによってユーザによって使用されてもよく、コンピューティング・デバイスがスタンド上にあるかまたは表面上に載っている間に使用されてもよく、コンピューティング・デバイスがユーザの頭に装着されている間に使用されてもよい。
コンピューティング・デバイスは、カメラCと、1つまたは複数のLEDとを含むことができる。図1の例では、4つのLED L1〜L4が表されている。説明の目的のために、本明細書の議論は、LED L1〜L4を引き続き参照する。しかしながら、任意の適切な発光源(例えば、赤外線(IR)レーザ)が、LED L1〜L4のうちの1つまたは複数の代わりに使用されてもよい。
コンピューティング・デバイスは、任意の数のLED L1〜L4(例えば、IR LED)を含むことができ、それらは、好適な場所に任意の方法でコンピューティング・デバイス内に置かれてもよい。いくつかの例示の実施形態では、1つまたは複数のLEDは、カメラの1つまたは複数がフレームを捉えているときLEDのうちの1つまたは複数がオンにされ、そうでない場合はオフにされるように1つまたは複数のカメラと同期され得る。いくつかの例示の実施形態では、動きが所定の期間内に検出されなかった場合、またはコンピューティング・デバイスがスリープ・モードに入る場合、LEDはオフにされ得る。
アイ・トラッキング制御ソフトウェアは、カメラCによって撮られた画像を分析して、ユーザがコンピューティング・デバイスのディスプレイのどこを見ているかを示すスクリーンに対する座標(x,y,zまたはx,y)を提供することができる。これらの座標は、任意の数のアプリケーション(例えば、スクロール、オブジェクトの移動、アイコンの選択、ゲームのプレイ、分析のためのデータの収集など)で使用され得る。
図2は、アイ・トラッキング制御およびそのキャリブレーションを容易にするための例示のシステム・アーキテクチャ200のブロック図である。システム・アーキテクチャ200の構成要素202〜220のうちの任意の1つまたは複数は、ハードウェア・モジュール(例えば、コンピューティング・デバイスの適切に構成された中央処理装置(CPU)、またはコンピューティング・デバイスのCPUとグラフィック処理装置(GPU)との組合せ)を使用して実装され得る。いくつかの例示の実施形態では、システム・アーキテクチャ200の構成要素202〜220のうちの任意の1つまたは複数は、専用チップで動作するソフトウェアを含むことができる。ソフトウェアは、バックグラウンド・プロセスとして(例えば、ウェブ・ブラウザなどにおけるオペレーティング・システム(OS)の一部として)動作することができ、他のアプリケーションがアクセスできるアプリケーション・プログラミング・インタフェース(API)204を備えることができる。API204は、アラートを送る(例えば、イベントを発生させる)か、または何か他の同様の機構を使用して他のアプリケーションに対して注視情報を送ることができる。
システム・アーキテクチャ200は、異なる層に分割され得る。ハードウェア層は、それぞれのハードウェア(例えば、カメラ、赤外線照明など)に対応することができるカメラ・モジュール218および赤外線照明モジュール220を含むことができる。カメラ層は、例えば、カメラの始動、画像の取り込み、カメラ特性の制御などのようなカメラ動作を実行するために、1つまたは複数のカメラとの通信を担当することができるカメラ制御モジュール214を含むことができる。この層は、カメラ−ライト同期モジュール216をさらに含むことができ、カメラ−ライト同期モジュール216は1つまたは複数のカメラと赤外線発光器とを同期させ、その結果、ライトがアイ・トラッキング・ソフトウェアによって制御されて、ユーザの眼のトラッキングを改善し、エネルギー消費を最小にすることができる。いくつかの例示の実施形態では、カメラ層は、カメラ・トリガ出力の周波数で赤外線LEDをストロボするように構成され得る。
カメラ層は、アイ・トラッキング層に対して画像を送出することができる。アイ・トラッキング層において、眼検出−トラッキング・モジュール208は画像を処理して、顔の場所、眼の領域の場所、瞳孔の中心、瞳孔のサイズ、角膜の反射の場所、目じり、虹彩の中心、虹彩のサイズなどのような特徴を見いだすことができる。この特徴を使用して、異なるユーザ・メトリック(例えば、車両の運転者の眠気)を決定することができる。さらに、これらの特徴は、注視評価段階において注視評価モジュール206によって使用される可能性があり、注視評価モジュール206は、眼検出−トラッキング・モジュール208によって計算された特徴を使用して、ユーザの注視点または視線を計算することを担当することができる。ユーザの注視点は、ユーザが見ているディスプレイ上の場所、ユーザが見ている別の面上の場所、ユーザが見ている3次元の点、またはユーザが見ている面であり得る。注視評価モジュール206は、さらに、光軸および視軸、3D空間における角膜の中心および瞳孔の場所などのようなユーザの眼の特定の特徴を計算することができる。これらの特徴は、さらに、所与のディスプレイまたは面上の注視点を計算するために利用され得る。
動的制御モジュール210は、センサ情報を処理して、遮断されたライトまたはカメラを検出し、適切な反応を引き起こす。例えば、眼検出−トラッキング・モジュール208は、ライトに対応する輝きが消失したと決定することができる。動的制御モジュール210は、対応するライトを非作動にし、別の非作動のライトを選択し、赤外線照明モジュール220を介して別の非作動のライトを作動させることによって、輝きの消失に応答することができる。別の例として、カメラの近くの近接センサは、カメラが覆われたことを検出することができる。センサに応答して、動的制御モジュール210は、非作動にされたカメラを選択し、それをカメラ制御モジュール214またはカメラ・モジュール218を介して作動させることができる。
API層は、アイ・トラッキング層と、眼の注視の情報(例えば、眼の注視の情報を利用するOS層またはゲーム)を使用するアプリケーション202との間の通信に使用され得る。OS212は、図2において、アイ・トラッキング層とカメラ層との間に介在するように示されているが、いくつかの例示の実施形態では、相対位置が逆転され、アイ・トラッキング層がOS212とカメラ層との間に介在する。APIモジュール204は、注視点の座標、ユーザの眼の3D場所、瞳孔のサイズ、眼の間の距離、頭の方位、頭の動きなどのようなアイ・トラッキング層によって計算されたデータを送ることができる。APIモジュール204は、さらに、アイ・トラッキング層へのアプリケーションからのコマンド(例えば、アイ・トラッキング・エンジンを始動または停止する、特定の情報を照会する、ユーザが見ることができる視覚要素の場所およびサイズをエンジンに通知する、またはそれらの任意の好適な組合せのための)を受け入れることができる。アプリケーション・モジュール202およびOS212は、アイ・トラッカのAPIモジュール204に対して接続し、任意の好適な目的(例えば、アプリケーションまたはゲームを制御する、視覚的挙動研究のために眼のデータを記録する、スクリーン上における情報の透明度を調節する、またはそれらの任意の好適な組合せを行う)のために眼の注視の情報を使用することができる。
図3は、アイ・トラッキング制御およびそのキャリブレーションを容易にするために使用されるデータの例示の流れのブロック図である。カメラ−赤外線照明モジュール302は、1つまたは複数のカメラ、周囲光、発せられた可視光、発せられた赤外光、またはそれらの任意の好適な組合せを使用して、ユーザの画像を捕捉する(例えば、ユーザの顔または片眼もしくは両眼の写真を撮る)ことができる。眼の特徴検出モジュール304は、捕捉された画像データを使用して、眼の特徴(例えば、眼、瞳孔、虹彩、角膜の反射、またはそれらの任意の好適な組合せの場所および方位)を検出することができる。検出された眼の特徴を使用して、注視評価モジュール306は、ユーザの注視点または視線を評価することができ、次いで、それを使用して、眼制御モジュール308によってアプリケーションの態様を制御することができる。
図4Aおよび図4Bは、ディスプレイに関連してアイ・トラッキング技術を示す概略図である。図4Aにおいて、Oは座標系XYZの中心であり、L1−nは光源である。いくつかの実施形態では、Oに対する1つまたは複数のカメラおよび1つまたは複数の光源L1−nの場所は既知である。いくつかの実施形態では、Oに対するスクリーンSの場所は既知である。いくつかの実施形態では、焦点距離、光学的中心などを含むいくつかのカメラパラメータは既知である。既知のパラメータを使用して、未知の値が決定され得る。
いくつかの実施形態では、上述のように、アイ・トラッキング・システムはスクリーンに組み込まれるか、またはスクリーンの特定の場所に装着される。いくつかの他の実施形態では、アイ・トラッキング・システムの構成要素(例えば、1つまたは複数のカメラおよび1つまたは複数の光源)は、自動車ダッシュボード、ヘッド・マウンテッド・ディスプレイ、バーチャル・リアリティ・ヘッドセット、またはヘルメットなどの別の要素に一体化される。
アイ・トラッキング・システムは、瞳孔の中心、瞳孔の楕円、角膜の反射、目じり、顔の方位などを含むユーザの眼および顔の特徴に関する情報を捕捉することができる。瞳孔の中心は、検出された瞳孔の中心の点である。瞳孔の楕円は、(円形の)瞳孔の画像における楕円形の表現である。瞳孔の楕円の離心率は、ユーザの注視の方向と、カメラから眼までのラインとの間の角度に関連する。角膜の反射は、角膜からの反射光である。光源LとカメラOとの間の関係が既知である場合、瞳孔の中心を基準にして測定されたときの光源の角膜反射の位置を使用して、注視方向を識別することができる。光源LとカメラOとの間の関係が既知でない場合、ユーザの注視点は、補間法、交差比に基づいた方法、またはそれらの任意の好適な組合せなどの非ハードウェアキャリブレーション技法を使用して計算され得る。
図4Bは、視軸が計算され表示面と交差され得るように、3D空間において原点Oに対して計算される眼の特徴を示す。画像平面上の角膜の反射の場所Gを、1つまたは複数のカメラに対する3D空間における光源の場所Lおよびカメラの固有パラメータと組み合わせて使用して、3D空間における角膜の中心Cの場所を計算することができる。例えば、光線は、各光源Lから各カメラまで角膜を介して辿り得る。各光源・カメラ対が別個の光線を提供し、角膜の表面上の点を識別する。これらの点の間の三角測量を行うことによって、角膜半径とCの場所の両方が決定され得る。より多くのカメラまたは光源が使用されると、測定の確度が向上され得る。
画像平面上の瞳孔の中心の場所pは、3D空間における瞳孔の中心の場所Eを計算するために、3D空間における角膜の中心の場所Cと、眼および空気の光学的特性と、カメラの固有パラメータとを組み合わせて使用され得る。例えば、カメラは、瞳孔の画像を捕捉するが、角膜の中心の実際の位置は、瞳孔が角膜の後ろにあり、光が角膜と空気との間の接合部で屈折されるので、画像によって直接示される位置と異なる。したがって、瞳孔の中心の見かけの位置は、この屈折を考慮に入れるように調節される。
瞳孔の中心Eの場所および3D空間における角膜の中心Cの場所は、光軸と呼ばれるベクトルを定義する。視軸としても知られている実際の視線は、光軸に対して角度オフセットを有し、アルファおよびベータとして知られており、通常、水平に約5°および垂直に1.5°である。アルファおよびベータは、人ごとに異なる値を取ることがあり、それゆえに、ユーザ単位で計算され得る。
アルファとベータの両方は、ユーザがコンピューティング・デバイス上のいくつかの視覚的要素と対話している間に明示的にまたは非明示的に行うことができるキャリブレーションプロセスを介して計算することができる。
ひとたび視軸が分かれば、光線がスクリーン平面と交差され得る。その交差点によって、ユーザが見ているスクリーン上の注視座標が与えられる。角膜半径、または瞳孔の中心と角膜の中心との間の距離のような他の眼のパラメータが、さらに、ユーザキャリブレーションプロセスの間に計算されて、スクリーン上の注視座標の計算の確度が改善され得る(角膜の中心のより良好な評価、それゆえに、光軸および視軸のより良好な評価の理由から)。そうでなければ、平均値が使用され得る(例えば、角膜半径に対して7.8mm)。
前記ユーザキャリブレーション中にキャリブレーションされるべき未知のものの全セットは、眼のパラメータ(例えば、光軸と視軸アルファおよびベータとの間のオフセット、角膜半径Rc、瞳孔の中心と角膜の中心との間の距離h、屈折率nなど)、およびハードウェア・パラメータ(例えば、3D空間におけるアイ・トラッキング・デバイスの場所に対するスクリーンSの場所および方位、ならびにスクリーン・サイズ(幅w,高さh))などの任意の未知の情報を含むことができる。キャリブレーションの前に分かっている情報は、1つまたは複数のカメラL〜Lに対する光源の場所、1つまたは複数のカメラのカメラパラメータ(例えば、焦点距離、光学的中心など)などを含むことができる。
いくつかの例示の実施形態では、スクリーン・サイズ(w,h)は、既知であることがあり、またはソフトウェアによって(例えば、オペレーティング・システムAPIによって)プログラム的に得られ、事前に分かっている情報として使用されることがある。いくつかの実施形態では、眼のパラメータのうちのいくつかは、未知のものの次元空間を縮小するために一定の値を取ることができる。
図5は、いくつかの例示の実施形態による、動的LED動作の例示のプロセス500の流れ図である。プロセス500の動作510〜540は、限定ではなく例として、図2に示された構成要素またはモジュールによって実行されるとして記述される。
動作510において、アイ・トラッキングが、デバイスの光源のサブセットを使用して始められる。例えば、図1のL3およびL4が、赤外線照明モジュール220によって有効にされ得る。
デバイスの使用中に、動的制御モジュール210は、動作520において、有効なライトのうちの1つが遮断されていることを検出することができる。例えば、デバイス100を保持しているユーザが、L3の上に親指を置くことがあり、それは、L3のすぐ隣のデバイスの近接センサによって検出される。別の例として、ユーザは眼鏡をかけていることがあり、眼鏡のフレームがL3から発せられた光を遮断することがある。システムは、カメラによって捕捉された画像を分析することによってこの状況を検出することができる。
動的制御モジュール210は、動作530において、遮断されたライトを減らす。この例を続けると、ライトL3は減らされる。ライトを減らすと、電力消費が低減され、発熱が低減され、または両方が行われ得る。いくつかの例示の実施形態では、ライトL3を減らすことは、ライトL3を完全にオフにすることによって、ライトL3の強度を減少させることによって、ライトL3のストロボ周波数を減少させることによって、またはそれらの任意の好適な組合せによって達成される。
動作540において、動的制御モジュール210は、遮断されていないライトを作動させる。利用可能なライトは、互いに代替品として優先順位をつけられ得る。例えば、デバイスの右下角のL3は、第1の代替品としてL2(右上)、第2の代替品としてL4(左下)、および第3の代替品としてL1(左上)を有することができる。この場合、L4は既にオンであるので、L2が、遮断されたL3の代替品として選択されることになる。L2がやはり遮断されている場合、L1が選択されることになる。
いくつかの例示の実施形態では、ライトは、対でまたはより大きいセットで取り扱われる。例えば、ライトL3およびL4は1つの対を形成することができ、ライトL1およびL2は別の対を形成することができる。L3またはL4のいずれかが遮断されると、L3とL4の両方が無効になり、L1とL2の両方が有効になる。対になったライトでは、ライトを個別に取り扱うことが、代替策(fallback position)となり得る。例えば、L3およびL4がオンでL1およびL2がオフである構成から始まり、L3が遮断されると、L1とL2の両方が利用可能かどうか確かめるためチェックが行われる。利用可能である場合、L3およびL4は無効にされ、L1およびL2が有効にされる。いずれの対も非遮断でない(例えば、L3およびL2が遮断されている)場合、個々のライトL4およびL1が使用され得る(例えば、L1が、L3に対する最も高い優先順位の非遮断の代替品であるので)。
各ライトの優先順位は、いくつかのメトリック(例えば、各ライトの場所、デバイスの方位、デバイスに対するユーザの相対的方位、各ライトの遮られる確率、トラッキングの品質、注視評価の確度、画像中のノイズ、またはそれらの任意の好適な組合せ)に基づいて計算され得る。優先順位は、ユーザがデバイスを使用するとき更新されてもよい。例えば、ユーザがポートレート・モードでデバイスを使用しており、デバイスをランドスケープ・モードで使用するためにデバイスを90度回転する場合、各ライトの優先順位が更新されてもよい。
遮断されたライトをモニタするプロセスは、デバイスの動作の間続くことができ、図5において、動作540が完了した後、制御流れが動作520に戻ることによって表されている。
図6は、いくつかの例示の実施形態による、動的LED動作の例示の方法の流れ図である。プロセス600の動作510〜670は、限定ではなく例として、図2に示された構成要素またはモジュールによって実行されるとして記述される。プロセス600の動作510〜540は、図5に関して上述されている。
動作650において、動的制御モジュール210は、遮断されたライトがもはや遮断されていないと決定する。その決定に応答して、以前に遮断されていたライトが再度有効にされ(動作660)、その代替品はオフにされる(動作670)。これは、より高い優先順位のライトの遮断解除を反映することができる。例えば、最も高い優先順位のライト構成がL3およびL4をオンにしている場合、L3またはL4のいずれかが遮断される(動作520において検出される)と、異なるライト構成が使用されることになる(動作530および540において設定される)。次いで、L3が遮断されなくなると、L3は再度有効にされ、L3の代替品のライトは無効にされるかまたは減らされる(動作650〜670)。遮断されたライトまたは遮断されていないライトをモニタするプロセスは、デバイスの動作の間続くことができ、図6において、動作670が完了した後制御流れが動作520に戻ることによって表されている。
光源の遮断解除は近接センサによって決定されてもよい。例えば、ユーザの親指がライトL3の近くの近接センサによってライトL3を遮断しているとして検出された場合、近接センサは、後で、親指が取り除かれたこと、およびライトが遮断されていないと決定することができる。
いくつかの例示の実施形態では、減らされた光源の遮断解除は画像分析によって決定される。例えば、ライトL3がそのストロボ周波数を減少させることによって減らされた場合、眼から反射しているライトL3によって発生される輝きは、ひとたびライトL3がもはや遮断されなくなると、減少したストロボ周波数と同期して再び現われることになる。したがって、輝きが再び現われると、ライトL3のストロボ周波数は正常値に復帰され得る(例えば、動作660において)。
図7は、いくつかの例示の実施形態による、動的カメラ動作の例示のプロセス700の流れ図である。プロセス700の動作710〜740は、限定ではなく例として、図2に示された構成要素またはモジュールによって実行されるとして記述される。
動作710において、アイ・トラッキングが、デバイスのカメラのサブセットを使用して始められる。例えば、図1のデバイスは、カメラ・モジュール218によって有効にされているスクリーンの上方のカメラCと、アイ・トラッキングが始まると無効にされているスクリーンの下方の第2のカメラC2(図示せず)とを有する。
デバイスの使用中に、動的制御モジュール210は、動作720において、有効なカメラのうちの1つが遮断されていることを検出することができる。例えば、デバイス100を保持しているユーザが、Cの上に親指を置くことがあり、それは、Cのすぐ隣のデバイスの近接センサによって検出される。別の例として、遮断されたカメラの検出は、Cによって捕捉された2つの画像を比較することによって実行され得る。Cによって捕捉された第1の画像がユーザの眼を示しており、Cによって捕捉された第2の画像が示していない場合、システムは、カメラCが遮断されていると結論付けることができる。
動的制御モジュール210は、動作730において、遮断されたカメラの電力消費を低減する。この例を続けると、カメラCはオフにされる。カメラをオフにすると、電力消費が低減され、発熱が低減され、CPU使用率が低減され、またはその任意の組合せが行われ得る。いくつかの例示の実施形態では、遮断されたカメラは完全にはオフにされるのではなく、スタンバイなどの低電力モードに構成されるか、またはより低い解像度およびフレームレートで画像を捕捉し、それによって、オン状態への移行をより速くするように設定される。
動作740において、動的制御モジュール210は、遮断されていないカメラを作動させる。利用可能なカメラは、互いに代替品として優先順位がつけられ得る。例えば、Cは、第1の代替品としてC2と、第2の代替品として第3のカメラC3(図示せず)とを有することができる。この場合、C2も遮断されていない限り、C2はCに対して有効にされ得る。
いくつかの例示の実施形態では、カメラは、対でまたはより大きいセットで取り扱われる。図5において対になったライトに関して上述された方法は、カメラにも使用され得る。
遮断されたカメラをモニタするプロセスは、デバイスの動作の間続くことができ、図7において、動作740が完了した後、制御流れが動作720に戻ることによって表されている。
図8は、いくつかの例示の実施形態による、動的カメラ動作の例示のプロセス800の流れ図である。プロセス800の動作710〜870は、限定ではなく例として、図2に示された構成要素またはモジュールによって実行されるとして記述される。プロセス800の動作710〜740は、図7に関して上述されている。
動作850において、動的制御モジュール210は、遮断されたカメラがもはや遮断されていないと決定する。その決定に応答して、以前に遮断されていたカメラが再度有効にされ(動作860)、その代替品はオフにされるか、またはさもなければ低電力モードに置かれる(動作870)。これは、より高い優先順位のカメラの遮断解除を反映することができる。例えば、最も高い優先順位のカメラがCである場合、Cが遮断される(動作720において検出される)と、異なるカメラ構成が使用されることになる(動作730および740において設定される)。次いで、Cが遮断されなくなる(例えば、Cの近くの近接センサによって検出される)と、Cは再度有効にされ、Cのための代替品のカメラは無効にされることになる(動作850〜870)。遮断されたカメラまたは遮断されていないカメラをモニタするプロセスは、デバイスの動作の間続くことができ、図8において、動作870が完了した後、制御流れが動作720に戻ることによって表されている。
カメラは、前記カメラに対するユーザの方位に起因して遮断されることがある。例えば、ユーザは頭を回転させることがあり、カメラはユーザの眼への視線を有しないことがある(例えば、視界がユーザの目蓋によって遮断されることがある)。システムは、1つまたは複数のカメラによって提供された1つまたは複数の画像でこの状況を検出することができ、それに応じて、前記カメラをオフにし、ユーザに対してより良好な方位を有する異なるカメラをオンにすることができる。例えば、デバイスの右側のカメラが遮断された場合、デバイスの左側のカメラが作動され得る。
本明細書で記述する方法およびシステムは、既存の方法およびシステムを上回る利点を提供することができる。例えば、カメラおよび光源の動的制御は、光源またはカメラが遮断される場合でさえ、構成要素が遮断されている(例えば、タッチスクリーンと対話するときユーザの手または親指によって)場合を検出し、異なる構成要素にシームレスに対して切り替えることよって、アイ・トラッキング・セッションが続くようにするができる。別の例示として、十分なだけの遮断されていない構成要素が利用可能でないと決定すると、アイ・トラッキング機能の自動停止を可能にし、それによって、バッテリ消費を低減する。さらなる別の例として、利用可能な(すなわち、遮断されていない)ものからの構成要素の最適な組合せを使用すると、アイ・トラッキング品質ならびに注視評価確度を改善することができる。
いくつかの例示の実施形態は、論理部もしくはいくつかの構成要素、モジュール、または機構を含むように本明細書において記述される。モジュールは、ソフトウェア・モジュール(例えば、機械可読媒体においてまたは伝送信号において具現化されるコード)またはハードウェア・モジュールのいずれかを構成することができる。ハードウェア・モジュールは、いくつかの動作を実行することができる有形のユニットであり、特定の方法で構成または配列され得る。例示の実施形態では、1つまたは複数のコンピュータ・システム(例えば、スタンド・アロン、クライアント、またはサーバ・コンピュータ・システム)またはコンピュータ・システムの1つまたは複数のハードウェア・モジュール(例えば、1つのプロセッサまたは一群のプロセッサ)は、本明細書で記述するようないくつかの動作を実行するように動作するハードウェア・モジュールとしてソフトウェア(例えば、アプリケーションまたはアプリケーション部分)によって構成されてもよい。
様々な例示の実施形態では、ハードウェア・モジュールは、機械的にまたは電子的に実装され得る。例えば、ハードウェア・モジュールは、いくつかの動作を実行するために恒久的に構成された専用回路または論理部(例えば、フィールド・プログラマブル・ゲート・アレイ(FPGA)または特定用途向け集積回路(ASIC)などの専用プロセッサとして)を含むことができる。ハードウェア・モジュールは、いくつかの動作を実行するためにソフトウェアによって一時的に構成されるプログラマブル論理部または回路(例えば、汎用プロセッサまたは他のプログラマブル・プロセッサ内に包含されるような)をさらに含むことができる。機械的に、専用および恒久的に構成された回路で、または一時的に構成された回路(例えば、ソフトウェアによって構成された)でハードウェア・モジュールを実装するという決定は、コストおよび時間の考慮によって推進され得ることが理解されよう。
したがって、「ハードウェア・モジュール」という用語は、有形のエンティティを包含すると理解されるべきであり、特定の方法で動作するかまたは本明細書に記述するいくつかの動作を実行するために、物理的に構築されるか、恒久的に構成される(例えば、ハードワイヤード)か、または一時的に構成される(例えば、プログラムされる)エンティティである。ハードウェア・モジュールが一時的に構成される(例えば、プログラムされる)実施形態を考えると、ハードウェア・モジュールの各々は、時間内の任意の1つのインスタンスにおいて構成されるかまたはインスタンス化される必要はない。例えば、ハードウェア・モジュールがソフトウェアを使用して構成された汎用プロセッサを含む場合、汎用プロセッサは異なる時間にそれぞれの異なるハードウェア・モジュールとして構成され得る。したがって、ソフトウェアは、例えば、時間のあるインスタンスに特別なハードウェア・モジュールを構成し、時間の異なるインスタンスに異なるハードウェア・モジュールを構成するようにプロセッサを構成することができる。
ハードウェア・モジュールは、他のハードウェア・モジュールに情報を提供し、他のハードウェア・モジュールから情報を受け取ることができる。したがって、記述されるハードウェア・モジュールは、通信可能に結合されていると見なされ得る。多数のそのようなハードウェア・モジュールが同時に存在する場合、通信は、ハードウェア・モジュールを接続する信号伝送によって(例えば、適切な回路およびバスを介して)達成され得る。多数のハードウェア・モジュールが異なる時間に構成されるかまたはインスタンス化される例示の実施形態において、そのようなハードウェア・モジュール間の通信は、例えば、多数のハードウェア・モジュールがアクセスするメモリ構造における情報の記憶および取出によって達成され得る。例えば、あるハードウェア・モジュールが、動作を実行し、その動作の出力を、あるハードウェア・モジュールが通信可能に結合されたメモリ・デバイスに記憶することができる。次いで、さらなるハードウェア・モジュールが、後で、メモリ・デバイスにアクセスして、記憶された出力を取り出して処理することができる。ハードウェア・モジュールは、さらに、入力または出力デバイスとの通信を開始することができ、リソース(例えば、情報の集合)上で動作することができる。
本明細書に記述される例示の方法の様々な動作は、関連する動作を実行するために一時的に構成される(例えば、ソフトウェアによって)かまたは恒久的に構成される1つまたは複数のプロセッサによって少なくとも部分的に実行され得る。一時的に構成されようと、または恒久的に構成されようと、そのようなプロセッサは、1つまたは複数の動作または機能を実行するように動作するプロセッサ実装モジュールを構成することができる。本明細書で参照されるモジュールは、いくつかの例示の実施形態において、プロセッサ実装モジュールを含むことができる。
同様に、本明細書に記述される方法は、少なくとも部分的にプロセッサ実装されてもよい。例えば、方法の動作のうちの少なくともいくつかは、1つまたは複数のプロセッサまたはプロセッサ実装モジュールによって実行され得る。動作のうちのいくつかについての性能は、1つまたは複数のプロセッサの間に分散され、単一のマシン内に常駐するだけではなく、いくつかのマシンにわたって配備されてもよい。いくつかの例示の実施形態では、1つまたは複数のプロセッサは、単一の場所に(例えば、家庭環境、オフィス環境内に、またはサーバ・ファームとして)配置されてもよく、一方、他の例示の実施形態では、プロセッサは、いくつかの場所にわたって分散されてもよい。
1つまたは複数のプロセッサは、さらに、「クラウド・コンピューティング」環境において、または「サービスとしてのソフトウェア」(SaaS)として、関連する動作の性能をサポートするように動作することができる。例えば動作のうちの少なくともいくつかは、一群のコンピュータ(プロセッサを含むマシンの例のような)によって実行されてもよく、これらの動作は、ネットワーク(例えば、インターネット)を介して、および1つまたは複数の適切なインタフェース(例えば、API)を介してアクセス可能である。
例示の実施形態は、デジタル電子回路で、コンピュータ・ハードウェア、ファームウェア、ソフトウェアで、またはそれらの組合せで実装され得る。例示の実施形態は、コンピュータ・プログラム製品、例えば、情報キャリアで、例えば、データ処理装置、例えば、プログラマブル・プロセッサ、コンピュータ、もしくは多数のコンピュータで実行するためのまたはその動作を制御するための機械可読媒体で有形に具現化されたコンピュータ・プログラムを使用して実装され得る。
コンピュータ・プログラムは、コンパイラ型言語またはインタープリタ型言語を含む任意形態のプログラミング言語で書かれることが可能であり、スタンドアロン・プログラムとして、またはモジュール、サブルーチン、もしくはコンピュータ環境で使用するのに好適な他のユニットとして含む任意の形態で配備され得る。コンピュータ・プログラムは、1つのサイトにおいて1つのコンピュータでもしくは多数のコンピュータで実行されるか、または多数のサイトにわたって分散され、通信ネットワークによって相互接続されるように配備され得る。
例示の実施形態では、動作が、コンピュータ・プログラムを実行する1つまたは複数のプログラマブル・プロセッサによって実行されて、入力データで動作し出力を発生することによって機能を実行することができる。方法の動作は、さらに、専用論理回路(例えば、FPGAまたはASIC)によって実行されてもよく、例示の実施形態の装置は、専用論理回路(例えば、FPGAまたはASIC)として実装されてもよい。
コンピューティング・システムは、クライアントとサーバとを含むことができる。クライアントおよびサーバは、一般に、互いに遠く離れており、典型的には通信ネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータで動作し、互いにクライアント−サーバ関係を有するコンピュータ・プログラムによって生じる。プログラマブル・コンピューティング・システムを配備する例示の実施形態では、ハードウェア・アーキテクチャとソフトウェア・アーキテクチャの両方が考慮を必要とすることを理解されよう。具体的には、恒久的に構成されたハードウェア(例えば、ASIC)で、一時的に構成されたハードウェア(例えば、ソフトウェアとプログラマブル・プロセッサとの組み合わせ)で、または恒久的に構成されたハードウェアと一時的に構成されたハードウェアとの組み合わせでいくつかの機能を実装すべきかの選択は、設計上の選択とすることができることを理解されよう。以下に、様々な例示の実施形態において配備され得るハードウェア(例えば、マシン)およびソフトウェア・アーキテクチャが記載される。
図9は、本明細書で論じる手法のうちの任意の1つまたは複数をマシンに実行させるための命令が実行され得るコンピュータ・システム900の例示の形態のマシンのブロック図である。代替の例示の実施形態では、マシンは、スタンド・アロン・デバイスとして動作するか、または他のマシンに対して接続されてもよい(例えば、ネットワーク化されてもよい)。ネットワーク化された配備では、マシンは、サーバークライアント・ネットワーク環境におけるサーバまたはクライアント・マシンの能力で、またはピア・ツー・ピア(または分散型)ネットワーク環境におけるピアー・マシンとしてのとして動作することができる。マシンは、パーソナル・コンピュータ(PC)、タブレットPC、セットトップ・ボックス(STB)、PDA、携帯電話、ウェブ機器、ネットワーク・ルータ、スイッチもしくはブリッジ、またはそのマシンによってなされるべき処置を指定する命令(逐次的なまたはその他の)を実行することができる任意のマシンとすることができる。さらに、単一のマシンのみが示されているが、「マシン」という用語は、さらに、本明細書で論じられた手法のうちの任意の1つまたは複数を実行するために1組(または多数の組)の命令を個別にまたは共同で実行するマシンの任意の集合を含むように解釈されるものとする。
例示のコンピュータ・システム900は、プロセッサ902(例えばCPU、GPU、または両方)、メイン・メモリ904、およびスタティック・メモリ906を含み、それらはバス908を介して互いに通信する。コンピュータ・システム900は、映像表示デバイス910(例えば、液晶ディスプレイ(LCD)または陰極線管(CRT))をさらに含むことができる。コンピュータ・システム900は、英数字入力デバイス912(例えば、キーボード)、ユーザ・インタフェース(UI)・ナビゲーション・デバイス914(例えば、マウスまたはタッチ・センシティブ・ディスプレイ)、ディスク・ドライブ・ユニット916、信号発生デバイス918(例えば、スピーカ)、およびネットワーク・インタフェース・デバイス920をさらに含む。
ディスク・ドライブ・ユニット916は、本明細書に記述された手法または機能のうちの任意の1つまたは複数によって具現化するかまたは利用される1つまたは複数の組の命令およびデータ構造(例えば、ソフトウェア)924が記憶された機械可読媒体922を含む。命令924は、さらに、コンピュータ・システム900による命令924の実行の間、メイン・メモリ904内に、スタティック・メモリ906内に、またはプロセッサ902内に完全にまたは少なくとも部分的に常駐することができ、メイン・メモリ904およびプロセッサ902はさらに機械可読媒体を構成する。
機械可読媒体922は例示の実施形態では単一の媒体であるように示されているが、「機械可読媒体」という用語は、1つまたは複数の命令またはデータ構造を記憶する単一の媒体または多数の媒体(例えば、集中型もしくは分散型データベース、または関連づけられるキャッシュおよびサーバ)を含むことができる。「機械可読媒体」という用語は、さらに、マシンによって実行され、本技術の手法のうちの任意の1つまたは複数をマシンに実行させる命令を記憶し、符号化し、または搬送することができるか、あるいはそのような命令によって利用されるかまたはそのような命令に関連づけられるデータ構造を記憶し、符号化し、または搬送することができる任意の有形の媒体を含むように解釈されるものとする。したがって、「機械可読媒体」という用語は、限定はしないが、固体メモリと、光学および磁気媒体とを含むように解釈されるものとする。機械可読媒体の特定の例は、不揮発性メモリを含み、例として、半導体メモリ・デバイス、例えば、消去可能プログラマブル読取り専用メモリ(EPROM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM)、およびフラッシュメモリ・デバイス;内部ハード・ディスクおよび取外し可能ディスクなどの磁気ディスク;光磁気ディスク;ならびにCD−ROMおよびDVD−ROMディスクを含む。
命令924は、さらに、伝送媒体を使用して通信ネットワーク926を通して送受信されてもよい。命令924は、ネットワーク・インタフェース・デバイス920と、いくつかのよく知られている転送プロトコル(例えば、HTTP)のうちの任意の1つとを使用して伝送され得る。通信ネットワークの例は、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、モバイル電話ネットワーク、単純旧式電話(POTS)ネットワーク、およびワイヤレス・データ・ネットワーク(例えば、WiFiおよびWiMAXネットワーク)を含む。「伝送媒体」という用語は、マシンによる実行のための命令を記憶し、符号化し、または搬送することができる任意の無形の媒体を含むように解釈されるものであり、そのようなソフトウェアの通信を容易にするためのデジタルもしくはアナログ通信信号または他の無形の媒体を含む。
本発明の主題が特定の例示の実施形態を参照して記述されたが、様々な変形および変更が、本発明の範囲から逸脱することなく、これらの実施形態に行われ得ることは明らかであろう。したがって、明細書および図面は、限定の意味ではなく例示の意味で考えられるべきである。本明細書の一部を形成する添付図面は、限定ではなく例証の目的で、主題が実践され得る特定の実施形態を示す。図示の例示の実施形態は、当業者が本明細書で開示された教示を実践することができるように十分に詳細に記述されている。他の実施形態が、利用され、本開示から引き出される可能性があり、その結果、構造的および論理的な置換および変更が本開示の範囲から逸脱することなく行われ得る。それゆえに、この詳細な記述は限定の意味に解釈されるべきではなく、様々な実施形態の範囲は、単に、添付の特許請求の範囲によって、そのような特許請求の範囲が権利を与えられる均等物の全領域とともに定義される。
以下の列挙される例は、本明細書で論じられた方法、機械可読媒体、およびシステム(例えば、装置)の様々な例示の実施形態を定義する。
例1。光源のセットと、
光源の前記セットに対して動作可能に結合されたプロセッサであって、
光源の前記セットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
第1の光源からの光がユーザの眼に達していないと決定する決定工程であって、前記第1の光源は作動された光源の前記サブセットに含まれる、工程と、
前記決定に基づいて、前記第1の光源から発せられる光の量を減少させ、光源の前記セットの第2の光源を作動させる工程であって、前記第2の光源は光源の作動された前記サブセットに含まれない、工程と、を含む動作を実行するように構成されている、プロセッサと、を備えるシステム。
例2。前記第1の光源からの前記光が前記ユーザの前記眼に達していないという前記決定は、前記第1の光源の近くの近接センサに基づく、例1に記載のシステム。
例3。前記決定工程は、
前記ユーザの前記眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、を含む、例1または2に記載のシステム。
例4。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源を非作動にする工程を含む、例1乃至3のいずれかに記載のシステム。
例5。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源の強度を減少させる工程を含む、例1乃至3のいずれかに記載のシステム。
例6。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源のストロボの周波数を減少させる工程を含む、例1〜3または5のいずれかに記載のシステム。
例7。前記動作は、
減少された前記第1の光源からの光が前記ユーザの前記眼に達していると決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第2の光源から発せられる光の量を減少させ、前記第1の光源を復帰させる工程と
をさらに含む、例1〜6のいずれかに記載のシステム。
例8。コンピュータに実装された方法であって、
光源のセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
ユーザの眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、
前記決定に基づいて、前記第1の光源から発せられる光の量を減少させ、光源の前記セットの第2の光源を作動させる工程であって、前記第2の光源は光源の作動された前記サブセットに含まれない、工程と、を備える方法。
例9。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源を非作動にする工程を含む、例8に記載の方法。
例10。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源の強度を減少させる工程を含む、例8に記載の方法。
例11。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源のストロボの周波数を減少させる工程を含む、先行する例8または10に記載の方法。
例12。前記第1の光源に基づいて前記第2の光源を識別する工程をさらに備える、例8〜11のいずれかに記載の方法。
例13。ユーザの眼の第3の画像を前記ユーザの前記眼の第4の画像と比較する工程と、
前記比較に基づいて、減少された前記第1の光源からの反射が前記第3の画像に存在せず、かつ前記第4の画像に存在すると決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第2の光源から発せられる光の量を減少させ、前記第1の光源を復帰させる工程と、をさらに備える、例8〜12のいずれかに記載の方法。
例14。命令を記憶する機械可読記憶媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されるとき、前記1つまたは複数のプロセッサに請求項8〜13のいずれか一項に記載の方法を実行させる、媒体。
例15。請求項8乃至13のいずれか一項に記載の方法を実行するように構成されている1つまたは複数のプロセッサを備えるシステム。
例16。コンピュータに実装された方法であって、
光源のセットと、
光源の前記セットに対して動作可能に結合されたプロセッサであって、
光源の前記セットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
第1の光源からの光がユーザの眼に達していないと決定する決定工程であって、前記第1の光源は作動された光源の前記サブセットに含まれる、工程と、
前記決定に基づいて、前記第1の光源から発せられる光の量を減少させ、光源の前記セットの第2の光源を作動させる工程であって、前記第2の光源は光源の作動された前記サブセットに含まれない、工程と、を含む動作を実行するように構成されている、プロセッサと、を備えるシステム。
例17。前記第1の光源からの前記光が前記ユーザの前記眼に達していないという前記決定は、前記第1の光源の近くの近接センサに基づく、例16に記載の方法。
例18。前記決定工程は、
前記ユーザの前記眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、を含む、例16または17に記載の方法。
例19。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源を非作動にする工程を含む、例16〜18のいずれかに記載の方法。
例20。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源の強度を減少させる工程を含む、例16〜18のいずれかに記載の方法。
例21。前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源のストロボの周波数を減少させる工程を含む、例16〜18または20のいずれかに記載の方法。
例22。前記動作は、
減少された前記第1の光源からの光が前記ユーザの前記眼に達していると決定する工程と、
前記決定に基づいて、マシンのプロセッサが、前記第2の光源から発せられる光の量を減少させ、前記第1の光源を復帰させる工程と
をさらに含む、例16〜21のいずれかに記載の方法。
例23。命令を記憶する機械可読記憶媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されるとき、前記1つまたは複数のプロセッサに請求項16〜22のいずれか一項に記載の方法を実行させる、媒体。
例24。命令を記憶する機械可読記憶媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されるとき、前記1つまたは複数のプロセッサに
カメラのセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
光源からの光の反射が第1のカメラに達していないと決定する工程であって、前記第1のカメラは作動された前記カメラのサブセット含まれる、工程と、
前記決定に基づいて、前記第1のカメラのエネルギー消費を低減し、カメラの前記セットの第2のカメラを作動させる工程であって、前記第2のカメラはカメラの作動された前記サブセットに含まれない、工程と、を含む動作を実行させる、媒体。
例25。前記第1のカメラの前記エネルギー消費を低減する前記工程は、前記第1のカメラを非作動にする工程を含む、例24に記載の機械可読記憶媒体。
例26。前記第1のカメラの前記エネルギー消費を低減する前記工程は、前記第1のカメラによる画像捕捉の頻度を低減する工程を含む、例24に記載の機械可読記憶媒体。
例27。前記第1のカメラの前記エネルギー消費を低減する前記工程は、前記第1のカメラによって捕捉される画像の解像度を低下させる工程を含む、例24または例26に記載の機械可読記憶媒体。
例28。光源からの光の反射が第1のカメラに達していないと決定する前記工程は、
ユーザの眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が第1の画像に存在し、かつ第2の画像に存在しないと決定する工程と、を含む、例24乃至27のいずれかに記載の機械可読記憶媒体。
例29。前記光源からの前記光の反射が前記第1のカメラに達していないという前記決定は、前記光源の近くの近接センサに基づく、例24乃至28のいずれかに記載の機械可読記憶媒体。
例30。前記光源からの前記光が前記第1のカメラに達していないと決定する前記工程は、
前記第1のカメラによって撮られた第1の画像を前記第1のカメラによって撮られた第2の画像と比較する工程と、
前記比較に基づいて、ユーザの眼が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、を含む、例24乃至29のいずれかに記載の機械可読記憶媒体。
例31。コンピュータに実装された方法であって、
カメラのセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さい、工程と、
光源からの光の反射が第1のカメラに達していないと決定する工程であって、前記第1のカメラは作動された前記カメラのサブセット含まれる、工程と、
前記決定に基づいて、前記第1のカメラのエネルギー消費を低減し、カメラの前記セットの第2のカメラを作動させる工程であって、前記第2のカメラはカメラの作動された前記サブセットに含まれない、工程と、を備える方法。
例32。前記第1のカメラの前記エネルギー消費を低減する前記工程は、前記第1のカメラを非作動にする工程を含む、例31に記載の方法。
例33。前記第1のカメラの前記エネルギー消費を低減する前記工程は、前記第1のカメラによる画像捕捉の頻度を低減する工程を含む、例31に記載の方法。
例34。前記第1のカメラの前記エネルギー消費を低減する前記工程は、前記第1のカメラによって捕捉される画像の解像度を低下させる工程を含む、例31または例33に記載の方法。
例35。光源からの光の反射が第1のカメラに達していないと決定する前記工程は、
ユーザの眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が第1の画像に存在し、かつ第2の画像に存在しないと決定する工程と、を含む、例31乃至34のいずれかに記載の方法。
例36。前記光源からの前記光の反射が前記第1のカメラに達していないという前記決定は、前記光源の近くの近接センサに基づく、例31乃至35のいずれかに記載の方法。
例37。前記光源からの前記光が前記第1のカメラに達していないと決定する前記工程は、
前記第1のカメラによって撮られた第1の画像を前記第1のカメラによって撮られた第2の画像と比較する工程と、
前記比較に基づいて、ユーザの眼が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、を含む、例31乃至36のいずれかに記載の方法。
例38。例31乃至37のいずれかに記載の方法を実行するように構成されている1つまたは複数のプロセッサを備えるシステム。

Claims (18)

  1. 光源のセットと、
    カメラのセットと、
    光源の前記セットに対して動作可能に結合されたプロセッサであって、
    光源の前記セットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さく、作動された光源の前記サブセットは第1のストロボ周波数でストロボされる、工程と、
    第1の光源から発せられる光がユーザの眼に達していないと決定する決定工程であって、前記第1の光源は作動された光源の前記サブセットに含まれる、工程と、
    前記決定に基づいて、前記第1の光源から発せられる光の量を減少させ、光源の前記セットの第2の光源を作動させる工程であって、前記第2の光源は作動された光源の前記サブセットに含まれておらず、前記第1の光源から発せられる前記光の量を減少させる工程は前記第1の光源を第2のストロボ周波数でストロボする工程を含み、前記第2のストロボ周波数は前記第1のストロボ周波数未満である、工程と、
    前記カメラのうちの1つ以上によって捕捉された画像において前記第2のストロボ周波数を検出する工程と、
    前記第2のストロボ周波数の検出に応答して、前記第1の光源を前記第1のストロボ周波数でストロボする工程と、を含む動作を実行するように構成されている、プロセッサと、を備えるシステム。
  2. 前記第1の光源から発せられる前記光が前記ユーザの前記眼に達していないという前記決定は、前記第1の光源の近くの近接センサに基づく、請求項1に記載のシステム。
  3. 前記決定工程は、
    前記ユーザの前記眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
    前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、を含む、請求項1に記載のシステム。
  4. 前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源を非作動にする工程をさらに含む、請求項1に記載のシステム。
  5. 前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源の強度を減少させる工程をさらに含む、請求項1に記載のシステム。
  6. 前記動作は、前記第2のストロボ周波数の検出に応答して、前記第2の光源から発せられる光の量を減少させる工程をさらに含む、請求項1に記載のシステム。
  7. 前記動作は、
    前記光源の各々の優先順位を計算する工程と、
    作動された光源の前記サブセットに含まれない前記光源のうちの最も高い優先順位を有する光源を前記第2の光源として選択する工程と、をさらに含む、請求項1に記載のシステム。
  8. 前記動作は、
    光源の前記セットを収容するデバイスが回転されていると検出することに応答して、前記光源の各々の前記優先順位を更新する工程をさらに含む、請求項7に記載のシステム。
  9. 方法であって、
    光源のセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さく、作動された光源の前記サブセットは第1のストロボ周波数でストロボされる、工程と、
    ユーザの眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
    前記比較に基づいて、作動された光源の前記サブセットに含まれる第1の光源からの反射が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、
    前記決定に基づいて、マシンのプロセッサが、前記第1の光源から発せられる光の量を減少させ、光源の前記セットの第2の光源を作動させる工程であって、前記第2の光源は作動された光源の前記サブセットに含まれておらず、前記第1の光源から発せられる前記光の量を減少させる工程は前記第1の光源を第2のストロボ周波数でストロボする工程を含み、前記第2のストロボ周波数は前記第1のストロボ周波数未満である、工程と、
    カメラのうちの1つ以上によって捕捉された画像において前記第2のストロボ周波数を検出する工程と、
    前記第2のストロボ周波数の検出に応答して、前記第1の光源を前記第1のストロボ周波数でストロボする工程と、を備える方法。
  10. 前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源を非作動にする工程をさらに含む、請求項9に記載の方法。
  11. 前記第1の光源から発せられる前記光の量を減少させる前記工程は、前記第1の光源の強度を減少させる工程をさらに含む、請求項9に記載の方法。
  12. 前記第1の光源に基づいて前記第2の光源を識別する工程をさらに備える、請求項9に記載の方法。
  13. 前記第2のストロボ周波数の検出に応答して、前記第2の光源から発せられる光の量を減少させ、前記第1の光源を復帰させる工程と、をさらに備える、請求項9に記載の方法。
  14. 命令を記憶する非一時的な機械可読記憶媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されるとき、前記1つまたは複数のプロセッサに
    光源のセットのサブセットを作動させる工程であって、前記サブセットは前記セットよりも小さく、作動された光源の前記サブセットは第1のストロボ周波数でストロボされる、工程と、
    作動された光源の前記サブセットに含まれる第1の光源からの光の反射がカメラに達していないと決定する決定工程と、
    前記決定に基づいて、前記第1の光源から発せられる光の量を減少させ、光源の前記セットの第2の光源を作動させる工程であって、前記第2の光源は作動された光源の前記サブセットに含まれておらず、前記第1の光源から発せられる前記光の量を減少させる工程は前記第1の光源を第2のストロボ周波数でストロボする工程を含み、前記第2のストロボ周波数は前記第1のストロボ周波数未満である、工程と、
    前記カメラによって捕捉された画像において前記第2のストロボ周波数を検出する工程と、
    前記第2のストロボ周波数の検出に応答して、前記第1の光源を前記第1のストロボ周波数でストロボする工程と、
    を含む動作を実行させる、媒体。
  15. 前記第1の光源から発せられる前記光の量を減少させる工程は、前記第1の光源を非作動にする工程を含む、請求項14に記載の機械可読記憶媒体。
  16. 前記第1の光源からの光の反射が前記カメラに達していないと決定する工程は、
    ユーザの眼の第1の画像を前記ユーザの前記眼の第2の画像と比較する工程と、
    前記比較に基づいて、作動された光源の前記サブセットに含まれる前記第1の光源からの反射が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、を含む、請求項14に記載の機械可読記憶媒体。
  17. 前記決定工程は、前記光源の近くの近接センサに基づく、請求項14に記載の機械可読記憶媒体。
  18. 前記第1の光源からの前記光が前記カメラに達していないと決定する前記工程は、
    前記カメラによって撮られた第1の画像を前記カメラによって撮られた第2の画像と比較する工程と、
    前記比較に基づいて、ユーザの眼が前記第1の画像に存在し、かつ前記第2の画像に存在しないと決定する工程と、
    を含む、請求項14に記載の機械可読記憶媒体。
JP2018219318A 2015-01-07 2018-11-22 動的カメラまたはライトの動作 Pending JP2019067425A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562100721P 2015-01-07 2015-01-07
US62/100,721 2015-01-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017535422A Division JP6442062B2 (ja) 2015-01-07 2016-01-07 動的カメラまたはライトの動作

Publications (1)

Publication Number Publication Date
JP2019067425A true JP2019067425A (ja) 2019-04-25

Family

ID=55262775

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017535422A Active JP6442062B2 (ja) 2015-01-07 2016-01-07 動的カメラまたはライトの動作
JP2018219318A Pending JP2019067425A (ja) 2015-01-07 2018-11-22 動的カメラまたはライトの動作

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017535422A Active JP6442062B2 (ja) 2015-01-07 2016-01-07 動的カメラまたはライトの動作

Country Status (6)

Country Link
US (2) US10156899B2 (ja)
EP (2) EP3243121B1 (ja)
JP (2) JP6442062B2 (ja)
KR (2) KR101967281B1 (ja)
CN (2) CN111651045A (ja)
WO (1) WO2016110451A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294678B (zh) * 2016-08-05 2020-06-26 北京光年无限科技有限公司 一种智能机器人的话题发起装置及方法
CN106874895B (zh) 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
CN108399903B (zh) * 2018-03-27 2020-11-27 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统
US11941894B2 (en) 2018-04-19 2024-03-26 Seeing Machines Limited Infrared light source protective system
CN109246292B (zh) * 2018-08-17 2020-01-17 珠海格力电器股份有限公司 一种终端桌面图标的移动方法及装置
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
JP7215254B2 (ja) * 2019-03-13 2023-01-31 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
KR20210011556A (ko) * 2019-07-22 2021-02-02 현대자동차주식회사 차량 영상 제어 장치, 그를 포함한 시스템 및 그 방법
CN112306229A (zh) 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质
US11753036B1 (en) * 2019-10-15 2023-09-12 Zoox, Inc. Energy consumption control systems and methods for vehicles
KR20210079774A (ko) 2019-12-20 2021-06-30 삼성전자주식회사 시선 추적 장치를 포함하는 웨어러블 디바이스 및 그 동작 방법
US11175714B2 (en) * 2019-12-28 2021-11-16 Intel Corporation Detection of user-facing camera obstruction
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
KR20240009975A (ko) * 2021-05-17 2024-01-23 스냅 인코포레이티드 아이웨어 디바이스 동적 전력 구성
KR20230056938A (ko) 2021-10-21 2023-04-28 한국전기연구원 리튬친화성 금속염을 포함하는 3차원 전극 구조체 및 그의 제조방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001025003A (ja) * 1999-07-08 2001-01-26 Canon Inc カメラシステム及びカメラ制御方法
US20100328444A1 (en) * 2009-04-01 2010-12-30 Tobii Technology Ab Adaptive camera and illuminator eyetracker
US20140132508A1 (en) * 2008-09-30 2014-05-15 Apple Inc. Electronic Devices With Gaze Detection Capabilities

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694978A (ja) * 1992-09-14 1994-04-08 Nikon Corp 視線検出装置
US5686881A (en) 1996-05-22 1997-11-11 Ridout; John G. Automatic phone light
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
US20060135265A1 (en) * 2004-08-06 2006-06-22 Hall Edward K Electronic word game
US7204420B2 (en) * 2004-08-31 2007-04-17 Symbol Technologies, Inc. Scanner and method for eliminating specular reflection
US7856214B2 (en) 2007-07-31 2010-12-21 Carmen Rapisarda Motion activated cell phone lighting
US20090262214A1 (en) 2008-04-20 2009-10-22 Wen-Hsiung Hsieh Automatic lighting control apparatus
US20120194551A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
JP5622431B2 (ja) * 2010-04-21 2014-11-12 オリンパス株式会社 頭部装着型瞳孔検出装置
US9185352B1 (en) 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
US9398229B2 (en) * 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
JP5947170B2 (ja) * 2012-09-14 2016-07-06 京セラ株式会社 表示装置ならびに視線入力制御プログラムおよび方法
US20140168372A1 (en) * 2012-12-17 2014-06-19 Eminent Electronic Technology Corp. Ltd. Sensing apparatus and sensing method for generating three-dimensional image information
US20140320665A1 (en) * 2013-04-25 2014-10-30 Bacsoft Ltd. System for reading a meter
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
US9466988B2 (en) * 2014-03-08 2016-10-11 Feniex Industries Inc. Induction power transfer for auxiliary vehicle lights
US9329684B2 (en) * 2014-06-02 2016-05-03 Intel Corporation Eye tracking with detection of adequacy of lighting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001025003A (ja) * 1999-07-08 2001-01-26 Canon Inc カメラシステム及びカメラ制御方法
US20140132508A1 (en) * 2008-09-30 2014-05-15 Apple Inc. Electronic Devices With Gaze Detection Capabilities
US20100328444A1 (en) * 2009-04-01 2010-12-30 Tobii Technology Ab Adaptive camera and illuminator eyetracker

Also Published As

Publication number Publication date
EP3243121A1 (en) 2017-11-15
EP3243121B1 (en) 2019-12-18
JP6442062B2 (ja) 2018-12-19
CN107111373B (zh) 2020-06-16
KR20190039344A (ko) 2019-04-10
KR20170104516A (ko) 2017-09-15
KR101967281B1 (ko) 2019-04-09
US20160195927A1 (en) 2016-07-07
US20180341329A1 (en) 2018-11-29
CN111651045A (zh) 2020-09-11
CN107111373A (zh) 2017-08-29
EP3693835A1 (en) 2020-08-12
KR102200639B1 (ko) 2021-01-13
US10156899B2 (en) 2018-12-18
WO2016110451A1 (en) 2016-07-14
JP2018506781A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6442062B2 (ja) 動的カメラまたはライトの動作
US9952666B2 (en) Systems and methods of eye tracking control on mobile device
US9785233B2 (en) Systems and methods of eye tracking calibration
JP6342458B2 (ja) ビデオにおける改良型の顔面認識
KR102021320B1 (ko) 안구 수렴에 기반한 디스플레이 가시성
US9274597B1 (en) Tracking head position for rendering content
US9693684B2 (en) Systems and methods of eye tracking calibration
KR20160108388A (ko) 복수의 광원들과 센서들을 사용한 눈 시선 검출
WO2016075532A1 (en) Dynamic eye tracking calibration
JP2014519665A6 (ja) ビデオにおける改良型の顔面認識
KR20160126060A (ko) 편광 시선 추적

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181217

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190517

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190604

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201109

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201118

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201124

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210129

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210202

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210608

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210817

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220118

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220329

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220802

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220830

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220830