JP2017507380A - アイレベルスキャナ及びディスプレイのポインタ追跡 - Google Patents

アイレベルスキャナ及びディスプレイのポインタ追跡 Download PDF

Info

Publication number
JP2017507380A
JP2017507380A JP2016539314A JP2016539314A JP2017507380A JP 2017507380 A JP2017507380 A JP 2017507380A JP 2016539314 A JP2016539314 A JP 2016539314A JP 2016539314 A JP2016539314 A JP 2016539314A JP 2017507380 A JP2017507380 A JP 2017507380A
Authority
JP
Japan
Prior art keywords
information
imaging device
image
sensor
wearable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016539314A
Other languages
English (en)
Other versions
JP6441932B2 (ja
Inventor
ファリード アディブ カドーラ
ファリード アディブ カドーラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2017507380A publication Critical patent/JP2017507380A/ja
Application granted granted Critical
Publication of JP6441932B2 publication Critical patent/JP6441932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

装着型コンピュータデバイスは、デバイスが置かれる環境の状態、対象物、またはエリアを認識するように共同で作動する複数の撮像デバイスまたは他のセンサを備え得る。デバイスは、環境に関する情報を感知し取り込むために、撮像デバイスと、撮像デバイスでもあり得るが必要ではないセンサとを備え得る。センサは、特定のアイテムを認識する等の1つまたは複数の特定タスクを実行するように構成され、そして撮像デバイスは一般に、複数のタスクを実行するように構成され得る。センサが特定タスクを実行する際、特定タスクに関する情報または命令がデバイスの装着者に対し提供され得る、あるいは撮像デバイスはさらなる情報を集めるように自動的に作動し得る。撮像デバイスまたはセンサから集められた情報は、ユーザに対し、デバイスに搭載されたコンピュータディスプレイ上等に提供され得る。【選択図】図1B

Description

本発明は、アイレベルスキャナ及びディスプレイのポインタ追跡に関する。
今や一部の装着型コンピュータデバイスは、静止画または動画を撮像するカメラもしくは他の光学センサを備える。このようなカメラは、装着型コンピュータデバイスを装着する身体の延長である軸上の画像を撮像するように使用され得る。例えば、人の頭部周辺に装着される装着型コンピュータデバイスは、帽子または眼鏡等の1点の衣類またはアクセサリに取り付け可能であり、そしてその人が見ている方向または顔が向いている方向の画像を撮像するように配置されたカメラを含み得る。その際、装着型コンピュータデバイスは、頭部周辺の装着型コンピュータデバイスの方向に基づいて、その人が見る画像または他の情報を取り込むこと等により、その人の視野を機能的に記録または複製し得る。このような画像もしくは他の情報、またはこれらの一部はその後、その人の片目または両目で見ることが可能なコンピュータディスプレイ(例えばその人の視野内の小型化ヘッドアップディスプレイ)上に表示され得る。
カメラもしくは他の光学センサを有する大半の装着型コンピュータデバイスは、選択された軸上または選択された方向の画像を撮像し得るが、このようなデバイスは一般に、ユーザの視野外、すなわち視野の軸または方向以外の軸上または方向の対象物または形体の画像を撮像することができない。さらに、このようなデバイスは一般に、このような視野内の画像を自動的に撮像するように、あるいはこのような画像内に表示される対象物または形体を自動的に認識するように、プログラムまたは構成され得ない。従って、このような画像を分析する、あるいはこのような画像のコンテンツに関する情報をユーザに提供する装着型コンピュータデバイスの能力範囲は、ユーザが既に見ているものに制限されるという点で、大半の装着型コンピュータデバイスの機能性は阻害される。その上、装着型コンピュータデバイスに搭載された、または備わるカメラもしくは他の光学センサは一般に、頭部のひねりまたは傾き等のユーザの人体動作によってのみ照準され得る。
本開示の実施形態による、アイレベルスキャナの図を示す。 本開示の実施形態による、アイレベルスキャナの図を示す。 本開示の実施形態による、アイレベルスキャナの図を示す。 本開示の実施形態による、アイレベルスキャナを含むシステムの構成要素のブロック図を示す。 本開示の実施形態による、使用時のアイレベルスキャナを含むシステムを示す。 本開示の実施形態による、アイレベルスキャナを使用してアイテムを調べる1つの処理のフローチャートを示す。 本開示の実施形態による、使用時のアイレベルスキャナを含むシステムを示す。 本開示の実施形態による、アイレベルスキャナを使用してアイテムを調べる1つの処理のフローチャートを示す。 本開示の実施形態による、使用時のアイレベルスキャナを含むシステムを示す。 本開示の実施形態による、使用時のアイレベルスキャナを含むシステムを示す。 本開示の実施形態による、アイレベルスキャナを使用してアイテムを調べる処理の一実施形態を表すフローチャートを示す。
さらに詳しく後述されるように、本開示は、装着型コンピュータデバイスの範囲内のアイテムを認識し、認識したアイテムに関する情報をユーザに対し、例えば1つまたは複数のコンピュータディスプレイもしくは他のコンピュータ出力デバイス上に提供する、装着型コンピュータデバイスの能力を向上することを対象とする。特に、本明細書において開示されるシステム及び方法は、例えば照準可能軸上または照準可能方向の1つまたは複数の静止画もしくは動画といった情報を取り込む1次撮像デバイス(例えばデジタルカメラ)もしくは他のセンサ、並びに2次撮像デバイスもしくはセンサとを備え得る装着型コンピューティングデバイスを対象とする。2次撮像デバイスもしくは他のセンサは、とりわけ特定の奥行のセンサ視野内の1つまたは複数の所定のアイテム、状態、状況、もしくはイベントを探索して、装着型コンピュータデバイス付近の情報を走査あるいは分析するように構成され得る。このようなアイテム、状態、状況、またはイベントは、その任意の属性に基づいて認識され得る。
2次撮像デバイスもしくはセンサが所定のアイテム、状態、状況、またはイベントのうちの1つまたは複数を認識すると、1次撮像デバイスもしくはセンサに対し、あるいは装着型コンピュータデバイスの装着者に対し、あるいはその他の機器またはそのユーザに対し、信号またはアラーム等のインジケータが提供され得る。インジケータは、例えば装着型コンピュータデバイスに対応付けられたアイレベルディスプレイといったコンピュータディスプレイ上に示され得る、あるいはスピーカもしくはプリンタ等のその他のコンピュータ出力デバイスにより、またはショートメッセージもしくは電子メールメッセージ等の別の形態で提供され得る。そしてインジケータに応じて任意の動作が実行され得る。例えば、装着者は、特定の軸上または特定の方向に1次撮像デバイスを手動で照準し得る(すなわちアイテムまたは状態を直接調べるため)。あるいは、1次撮像デバイスは、特定の軸上または特定の方向に自動に照準され得る。
図1A、1B、及び1Cを参照すると、アイレベルスキャナ110を有するシステム100が示される。図1Aのアイレベルスキャナ110は、眼鏡フレーム111と、眼鏡フレーム111に搭載された1次撮像デバイス120と、2次センサ130と、アイレベルディスプレイ140とを備える。図1Bのアイレベルスキャナ110は、眼鏡フレーム111の対辺に搭載された1次撮像デバイス120及び2次センサ130、並びにアイレベルディスプレイ140を備える。図1Aまたは図1Bの2次センサ130は、ブルートゥース(登録商標)または任意のワイヤレスフィデリティ(またはWiFi)プロトコル等の標準プロトコルによる無線通信を介して、1次撮像デバイス120と、あるいは1つまたは複数の外部ネットワーク(図示せず)と、機能的に結合され得る。図1Cのアイレベルスキャナ110は、眼鏡フレーム111と、1次撮像デバイス120に物理的に及び/または機能的に結合され得る2次センサ130と一緒に眼鏡フレーム111に搭載された1次撮像デバイス120と、アイレベルディスプレイ140とを備える。
従って、本開示のシステム及び方法は、任意の数の一般的機能を行うように構成され得る1次カメラもしくはセンサと、例えば1つまたは複数の特定のアイテムもしくは状態を探索するといった1つまたは複数の特定機能を行うように構成され得る2次カメラもしくはセンサとを備え得る。本開示の1次カメラもしくはセンサ、及び2次カメラもしくはセンサは、隣接ユニット内に提供され得る、あるいは相互通信を行うシステムの個別部品として提供され得る。さらに、図1A及び1Cの1次撮像デバイス120もしくは2次センサ130のうちのいくつかは、ユーザの頭部周辺に装着される眼鏡フレーム111に搭載された状態で示されるが、本明細書において開示されるシステム及び方法はそのように限定されることはなく、1次撮像デバイス120もしくは2次センサ130のうちの1つまたは複数は、体の任意の部位にも装着または取り付け可能であるが、必要ではない。同様に、図1A、1B、及び1Cのアイレベルディスプレイ140は、眼鏡フレーム111のレンズ内に構成されているように示されるが、本明細書において開示されるシステム及び方法はそのように限定されることはなく、アイレベルスキャナ110の対応使用専用である必要のない、またはユーザに装着される必要のないディスプレイ、スピーカ、プリンタ等を含む任意の形態の出力デバイスを介して、システム100のユーザに対し、あるいは他の個人またはマシンに対し、情報は提供され得る。
コンピュータが進化し続けるにつれ、回路基板、プロセッサ、メモリ、データストアもしくは他のストレージデバイス、及びその他の電装部品等のコンピュータ関連構成要素は、時間と共にさらに小さくなっていることを当業者は認識している。一般に認められた歴史的観測によれば、集積回路上のトランジスタの平均数、平均処理速度、平均記憶容量、及びコンピュータディスプレイの平均画素密度等のコンピュータ関連性能メトリクスは全て、ここ数十年にわたって継続的に指数関数的またはほぼ指数関数的な成長を果たした。コンピュータ技術における技術的向上によりコンピュータ構成要素の小型化が実現され、これにより、コンピュータ構成要素が使用され得る環境及びアプリケーションの数と種類は増えた。さらに、今やコンピュータは、デジタルカメラもしくは他のセンサ、プリンタ、ディスプレイ、スピーカ等の複数のアクセサリまたは周辺デバイスを含む、あるいはこれらに対応付けられ得る。このようなアクセサリまたは周辺デバイスは、コンピュータに物理的に搭載され得る、または結合され得る、あるいは1つまたは複数の有線もしくは無線手段を介してコンピュータに機能上または動作上結合され得る。
デジタルカメラ等の現代の光学センサは、対象物からの反射光を電子的に取り込み、1つまたは複数の態様の反射光に対しピクセル等の定量値を割当てることにより作動する。フィルムに埋め込まれた一連の感光性化学レセプタに対し光学素子を通過する光を向け、そこで起こる化学反応を利用して通過光に対応付けられた画像を生成する従来のカメラと異なり、デジタルカメラは、1つまたは複数のフィルタを有するそれに対応する1つまたは複数のセンサを備え得る。デジタルカメラのセンサは、反射光内で表される1つまたは複数の基本色(例えば赤、緑、または青)に対応する反射光の任意の数のピクセルに関する情報を取り込み、ピクセル色に対応付けられた値を1つまたは複数のデータファイルとしてデータストア内に記憶し得る、あるいはさらなる分析または複製のために外部コンピュータデバイスに対し当該値を送信し得る。デジタルカメラは、1つまたは複数の内蔵データストア、並びに1つまたは複数のリムーバブルデータストア(例えばフラッシュメモリデバイス)を備え、1つまたは複数のデータストアに記憶されたデータファイルは、紙に印刷され得る、あるいは1つまたは複数のコンピュータディスプレイ上に表示され得る、あるいはデータファイルで表されるアイテムを特定する等のために1つまたは複数の分析が行われ得る。
デジタルカメラは、カメラ内のセンサとレンズの間の距離、すなわち焦点距離の関数として決定されるカメラの視野内にあるアイテムの1つまたは複数の画像を撮像し得る。被写界深度、すなわち明瞭度が十分に高く及び焦点が十分に合った視野距離内に対象物が現れると、デジタルカメラはセンサを使用して任意の種類の対象物から反射される光を十分に高い解像度で取り込み、反射光に関する情報を1つまたは複数のデータファイルに記憶し得る。
デジタル画像内に表される形体または対象物に関する情報及び/またはデータは、任意の数の方法で画像から抽出され得る。例えば、デジタル画像内のピクセルまたはピクセル群の色は、例えばピクセル内の赤、緑、または青の量が0から255までの値の3つ該当数で表されるRGB(赤緑青)色モデル、あるいはピクセルの色が6文字コードで表され、各文字は16種類あり得る16進数モデルといった、1つまたは複数の規格により決定され定量化され得る。さらに、デジタル画像内に表される形体または対象物の質感は、例えば画像の領域または区域内の強度変化を識別すること等により、または特定の表面に対応する画像エリアを定めること等により、1つまたは複数のコンピュータベースの方法を使用して特定され得る。さらに、対象物の外形は、1つまたは複数のアルゴリズムもしくはマシン学習ツールを使用して、デジタル画像において特定され得る。例えば、いくつかのこのようなアルゴリズムまたはツールは、デジタル画像内の対象物もしくは対象物の一部の縁、輪郭、または外形を認識し、そして認識した当該対象物の縁、輪郭、または外形を、既知の対象物の縁、輪郭、または外形に関する情報を含むデータベースと一致し得る。
他のコンピュータ構成要素と同様に、コンピュータに対応可能なデジタルカメラもまた、ここ数年にわたって付随的に小型化され、用途が増加した。今やデジタルカメラは、スマートフォンまたはタブレットコンピュータ等の携帯型コンピューティングデバイスに頻繁に含まれ、十分に小型のレンズ、センサ、フィルタ、開口部、シャッター、または他の構成要素、並びに構成要素のうちの1つまたは複数を手動または自動で操作する、あるいはカメラの軸または方向を変更するためのモータ及び/またはコントローラを特徴とする。このようなカメラはさらに、固定焦点レンズまたは固定ズームレンズ、並びに光学ズームレンズまたはデジタルズームレンズ等の任意の種類のレンズを備え得る。さらに、このようなカメラはまた、レーザポインタまたは発光ダイオード(すなわちLED)ポインタ等のポインティングデバイス、あるいはカメラの照準を定める、またはカメラの向きを合わせるためのポインティングデバイスも含み得る。例えば、LEDポインタまたはレーザポインタは、対象物に外部から光を当て得る、あるいはシャッターまたは他のファインダー窓に光を当てるのに使用され得る。そして当該対象物に関する距離または他のメトリクは、ポインタまたはその他の手段を使用して特定され得る。このような距離またはメトリクは、カメラの焦点距離を調整することにより、1つまたは複数のカメラもしくはセンサを設定するのに使用され得る。
さらに、バーコードリーダ、データタグリーダ、色センサ、温度センサ、熱センサ、または動作センサを含む他の形態の光学コンピュータベースセンサは、好適な大きさである場合、コンピュータ機器に含まれ得る。加えて、このようなセンサは、カメラもしくは他の光学センサに直接組み込まれ得る。例えば、コンピュータデバイスに対応付けられたバーコードリーダは、光源(例えばダイオード、電荷結合素子、またはレーザ)を使用してバーコードに光を当て、バーコードの交互する白と黒部分から反射される光の強度を測定することで、1次元バーコード、または2次元クイックレスポンスバーコードすなわちQRバーコード(登録商標)等のバーコードを読み取り、認識し得る。あるいは、バーコードリーダは、バーコードの画像を撮像し、バーコードを解読するために1つまたは複数の画像分析を行うことで、バーコードを読み取り、認識し得る。データタグリーダは、ボーコード等の1つまたは複数のデータタグに関する情報を取り込み得る。当該ボーコードは、デジタルカメラもしくは他の撮像デバイスを使用して撮像または記録され、かつそれに対応する任意の情報またはデータを特定するために解釈され得る、マスクまたはレンズに覆われた1つまたは複数のLEDデバイスを含み得る。デジタルカメラ等の撮像デバイスは、文字、数字、記号、または色を含み、さらに他の情報またはデータに対応付けられ得る他のアイテムまたは識別子を認識するのに使用され得ることを、当業者はさらに認識するであろう。
本開示のシステム及び方法は、図1A〜1Cのデバイス110等の1つまたは複数のカメラもしくはセンサを有する装着型コンピュータデバイスを提供することに関する。このようなデバイスは、1つまたは複数の一般タスクの実行専用のカメラ等の1次カメラもしくはセンサ、並びに2次カメラもしくはセンサを備え得る。当該2次カメラもしくはセンサは、もまたカメラであり得、かつ、1次カメラもしくはセンサ、または2次カメラもしくはセンサにより取込まれ得る画像または他のデジタルデータに基づいてアイテム、状態、状況、またはイベントを認識すること等により、デバイス110が位置する環境に関連する1つまたは複数の特定タスクを実行するようにプログラムまたは構成され得る。2次カメラもしくはセンサはまた、温度、色、または他の環境情報を感知し得、これに対応するアイテム、状態、状況、またはイベントを特定するために分析もされ得る。
本開示の一実施形態によれば、2次カメラもしくはセンサを使用して一度アイテム、状態、状況、またはイベントが認識されると、1次カメラもしくはセンサは、自動的に照準され得る、あるいはアイテム、状態、状況、またはイベントに対応付けられ得る1つまたは複数の画像を撮像するように操作され得る。とりわけ特定視野内または特定被写界深度において、バーコード、ボーコード、文字、数字、記号、色、商標、識別子、または他の情報を検索する等、特定機能に対応付けられた利用可能な情報の小サブセットを検索するように2次カメラもしくはセンサを照準することにより、装着型コンピューティングデバイスの情報特定能力は大いに向上され得る。
本開示の別の実施形態によれば、本開示の装着型コンピューティングデバイスを装着しているユーザは、関心対象物を配置し得る。ユーザは、対象物をコンピューティングデバイスの視野に入れ、ポインタで対象物に光を当て得る。装着型コンピュータデバイスに対応付けられた専用センサ(例えばカメラ、温度センサ、熱センサ、または動作センサ)は、対象物は専用センサの検出対象種であるか否かを判断し得る。光が当てられた対象物がシステムの検出対象物の種類の1つである場合、システムはセンサで対象物上の標示(例えばバーコード、ボーコード、文字、数字、記号、または色)を読み取り、これにより標示に関するデータが収集され、当該データは処理のためにコンピューティングユニットへ送信され得る。標示の付いた対象物から収集された、すなわち標示の付いた対象物に関係する任意の関連情報は、信号を送信する、アラームを鳴らす、またはコンピューティングデバイスのアイレベルディスプレイ上に当該情報の少なくとも一部を表示すること等により、ユーザに対し生成され、提供され得る。
本開示のさらに別の実施形態によれば、トリガーイベント、メトリクス、または規格に関する情報は、1次センサ及び2次センサを含む装着型スキャニングデバイスのコンピューティングユニットにプログラムされ得る。2次センサは、トリガーイベント、メトリクス、または規格のうちの1つまたは複数が確認されるか否かを判定するために、スキャニングデバイスが位置する環境を自動的に走査するように構成され得る。このようなメトリクスは、例えば特定の対象物もしくは識別子(アイテム上のバーコード、ボーコード、文字、数字、記号、色等)の識別、感知された温度もしくは他の環境状態、または2次センサの視野内の1つまたは複数のアイテムの動きといった、任意の所定のアイテム、状態、状況、またはイベントに関連し得る。トリガーイベント、メトリクス、または規格のうちの1つまたは複数が一度検出されると、1次センサは、トリガーメトリクが確認された環境の任意の態様を読み出し得る。1次センサはさらに、トリガーイベント、メトリクス、または規格が確認された環境の態様に関連する情報を取り込み、そしてアイレベルディスプレイ上に環境の態様に対応付けられた一部または全ての情報を表示し得る、あるいはその他の様態でユーザに対し一部または全ての当該情報を提供し得る装着型スキャニングデバイスのコンピューティングユニットに対し、取り込んだ情報を送信し得る。
本開示のさらに別の実施形態によれば、コンピューティングユニット及び複数のセンサを有する装着型デバイスには、1つまたは複数のアイテム、状態、状況、もしくはイベントに関する情報がプログラムされる。複数のセンサのうちの1つが対象物を検出すると、コンピューティングユニットは、当該対象物がプログラムされた情報に対応し得るか否かを判定し得る。プログラムされた情報に対象物が対応する場合、コンピューティングユニットは、対象物に関するデータをさらに取り込むために複数のセンサのうちの1つを選択し得る。当該センサの選択は、対象物に関するデータを取り込むように、対象物を検出したセンサを再設定すること、あるいはその他のセンサのうちの1つまたは複数を設定すること等により行われる。様々なセンサから取り込まれたデータは、装着型デバイスのユーザまたは別のユーザに対し、ヘッドアップディスプレイもしくはその他の形態等において表示され得る。
本開示のシステム及び方法は、任意の数のアプリケーションにおいて使用され得る。例えば、工事現場において、装着型スキャニングデバイスまたはコンピュータデバイスの2次センサは、極度の温度状態、高可燃性物質、またはその他の潜在的危険性を探索し、そして自動的に潜在的危険状態の方向に1次カメラを照準し得る、あるいはデバイスのユーザに対し潜在的危険状態を警告し得る。別の実施例として、医師が患者に手術を行っている間、1次カメラが手術を記録している間にも、2次カメラは、血液、肉、または骨といった存在を含む患者の画像を撮像及び鑑定し、そしてユーザに対し特定された事柄に関する情報を提供し得る。
さらに別の実施例として、装着型スキャニングデバイスまたはコンピューティングデバイスは、1つまたは複数のセンサを使用して進展する交通パターンを特定するのに使用され得る。すなわち、1つまたは複数のセンサは、赤色ブレーキ信号、青色交通信号、または渋滞での自動車もしくは人の動き等のパターンの態様を認識し、このようなパターンに直面した時には、1つまたは複数の追加センサを特定の方向に再配向する、あるいは運転者に警告するように自動的に設定される。さらに別の実施例として、発送センターの作業員は、1次カメラ及び2次カメラを有する装着型コンピューティングデバイスを装着しながら、1つまたは複数の機能を実行し得る。2次センサは、バーコードもしくは他の同様の識別子、1次カメラにより撮像され識別され得るバーコードもしくは識別子のアイテムもしくは他の形体、及びユーザのためのバーコード、アイテム、または形体に関する任意の関連情報を探索し得る。この点に関して、装着型コンピューティングデバイスは、ユーザが棚卸評価または品質管理分析を行う際、あるいはアイテムを格納する、または取り出す際、あるいはアイテムを在庫に戻す際、ユーザを支援し得る。
前述のように、本開示の装着型コンピュータデバイスは、任意の数のシステムにおいて、及び任意の数のアプリケーションにおいて使用され得る。図2を参照すると、作業員202が装着する眼鏡210の形態のアイレベルスキャナを含む1つのシステム200のブロック図が示される。システム200はさらに、インターネット等のネットワーク280を介して相互接続される、発送センター250と、外部ユーザ260と、補助ディスプレイ270とを備える。
図2に示されるように、眼鏡210は、1つまたは複数の一般機能もしくは特定機能を実行するためのプロセッサ214及びメモリ216を有するコンピューティングデバイス212を備え、線218で示されるようにネットワーク280に接続され得る。眼鏡210はさらに、カメラ220、センサ230、及びアイレベルディスプレイ240を備える。
コンピューティングユニット212及びプロセッサ214は、メモリ216、カメラ220、センサ230及び/またはアイレベルディスプレイ240、または他の外部構成要素と、ネットワーク280を介して通信し得る。メモリ216は、本開示の1つまたは複数の実施形態を実施するためにプロセッサ214が実行し得るコンピュータプログラム命令を含み、さらにランダムアクセスメモリ(RAM)、読出専用メモリ(ROM)、またはその他の形態の永続及び/または非一時的コンピュータ可読媒体を備え得る。メモリ216はさらに、プロセッサ214及び眼鏡210の他の構成要素の一般管理及び動作機能、並びに本開示の任意の態様を実施するための他の情報を提供するために、オペレーティングシステムをメモリ内部に格納し得る。
カメラ220は、図1A、1B、及び1Cのフレーム111に搭載された1次撮像デバイス120等、例えば眼鏡210のフレームに搭載されたデジタルカメラといった、眼鏡210に搭載された、あるいは対応付けられた任意の形態の光学記録デバイスであり得る。例えば、カメラ220は、発送センター250内においてアイテムを格納する機構、設備、または他の構成要素の画像、並びに発送センター250内のアイテムの画像を撮影あるいは記録するのに、あるいはその他の目的で使用され得る。センサ230は、眼鏡210が位置する環境の状態を検出する任意の形態の感知デバイスであり、図1A、1B、及び1Cに示されるように、任意の有線または無線手段によりカメラ220と動作上または機能上結合され得る。カメラもしくは他の光学センサ、温度センサ、熱センサ、放射線センサ、または位置及び/もしくは方向センサを含むがこれに限定されない、本開示による任意の数または種類のセンサが提供され得る。センサ230はカメラであり得、眼鏡210は任意の数のカメラもしくはセンサを含み得ることを、当業者は認識するであろう。
アイレベルディスプレイ240は、ユーザの目の高さ、あるいは目の高さ近くに配置され得る、任意の種類または形態の出力デバイスを含み得る。アイレベルディスプレイ240は従って、十分に小さいモニタ、または眼鏡210のレンズに投影されたヘッドアップディスプレイを含むがこれに限定されない、搭載された、またはユーザの視野内に見えるディスプレイデバイスを含み得る。例えば、アイレベルディスプレイ240は、電子インク、液晶ディスプレイ(すなわちLCD)、LEDもしくは有機発光ダイオード(すなわちOLED)ディスプレイ、陰極線管(すなわちCRT)、投影スクリーン等、数ある能動または受動ディスプレイ技術のうちのいずれかを取り込み得る。オーディオスピーカ等、その他の形態の出力デバイスは、アイレベルディスプレイ240に対応付けられ得る、あるいはアイレベルディスプレイ240の代用として機能し得ることを、当業者はさらに認識するであろう。
発送センター250は、アイテムの受け取り、格納、処理、及び/または配送に適応した任意の施設であり得る。発送センター250は、デジタルまたはアナログデータの形式で情報を送信または受信するために、またはその他の目的のために、1つまたは複数のユーザインターフェイス254(例えばブラウザ)を有するコンピュータ252及び/またはソフトウェアアプリケーション等のコンピューティングデバイスを使用して、あるいは線258で示されるようにネットワーク280に接続され得る1つまたは複数の他のコンピューティングマシンを介して、1つまたは複数の注文処理システム及び/または通信システムを運転し得る。コンピュータ252はまた、ワークフロー作業に関する情報またはデータを受信または表示する1つまたは複数の報知システムへのアクセスを操作または提供し、そしてワークフロー作業に関する情報またはデータに応じて1人または複数のオペレータ、ユーザ、または作業員からの対話処理(例えばテキスト、数値エントリ、または選択)を受信する、ユーザインターフェイス254等の1つまたは複数のインターフェイスを提供し得る。コンピュータ252はさらに、ワークフロー作業に関する情報またはデータを分析する、あるいは1人または複数のオペレータ、ユーザ、または作業員から受信した対話処理を分析する1つまたは複数のエンジンへのアクセスを操作または提供し得る。
受取ステーション251は、1つまたは複数の輸送元から、及び/または1つまたは複数のチャンネルを介してアイテムの積荷を受け取るために必要となり得る任意の機器を含み得る。当該任意の機器には、車、トラック、トレーラー、貨車、コンテナ船、または貨物航空機(例えば有人航空機、またはドローン等の無人航空機)等の運送機からアイテム及び/またはアイテムの積荷を取得し、取得したアイテムを格納用または顧客への配送用に用意するためのドック、リフト、クレーン、ジャッキ、ベルト、または他の運搬機器が含まれるが、これに限定されない。格納エリア253は、通路、列、ベイ、棚、スロット、在庫箱、ラック、段、格子、フック、整理棚、または他の格納手段等、アイテム及び/または当該アイテムのコンテナを収容するための所定の2次元または3次元スペース、あるいはその他の好適な管区またはステーションを含み得る。配送ステーション255は、指定の格納エリアから取り出されたアイテムを、顧客により指定された住所、所在地、届け先へ、車、トラック、トレーラー、貨車、コンテナ船、または貨物航空機(例えば有人航空機、またはドローン等の無人航空機)等の運送機をも介して配達するために、調べ、準備し、梱包し得る1つまたは複数の管区もしくはステーションを含み得る。
発送センター250はさらに、受取ステーション251、格納エリア253、または配送ステーション255のうちの1つまたは複数における作業を指揮するための命令を生成し得る1つまたは複数の制御システムを含み得る。当該制御システムは、コンピュータ252または1つまたは複数の他のコンピューティングマシンに対応付けられ、線258で示されるようにネットワーク280を介してデジタルデータを送受信することにより、作業員202、外部ユーザ260、または補助ディスプレイ270と通信し得る。加えて、発送センター250は、センター内の1つまたは複数の要素の位置を特定するために、カメラもしくは他の画像記録デバイス等の1つまたは複数のシステムもしくはデバイスを含み得る(図2において図示せず)。さらに、発送センター250はまた、発送センター250内でアイテムを扱い得る、または運搬し得る作業員202を含むがこれに限定されない、1人または複数の作業員または職員も含み得る。このような作業員は、発送センター内におけるアイテムの受取り、取出し、搬送、または格納を記録するために、コンピュータ252、すなわち、スキャナ、リーダ、キーボード、キーパッド、タッチスクリーン、または同様のデバイス等の任意の形態の入力及び/または出力周辺デバイスを備え得るパーソナルデジタルアシスタント、デジタルメディアプレーヤ、スマートフォン、タブレットコンピュータ、デスクトップコンピュータ、またはラップトップコンピュータ等の汎用デバイスといった、1つまたは複数のコンピューティングデバイスを操作し得る。
外部ユーザ260は、1つまたは複数のユーザインターフェイス264を含む1つまたは複数のソフトウェアアプリケーションに対し操作を行い得るまたはアクセスし得るコンピュータ262またはその他の同様のマシンといった、1つまたは複数のコンピューティングデバイスを利用する、作業員202以外の任意の実体または個人であり得る。コンピュータ262は、線268で示されるようにネットワーク280を介してデジタルデータを送受信することで、作業員202及び/または眼鏡210、発送センター250、または補助ディスプレイ270と接続され得る、あるいは通信し得る。例えば、外部ユーザ260は、コンピュータ252のようにスキャナ、リーダ、キーボード、キーパッド、タッチスクリーン、または同様のデバイス等の任意の形態の入力及び/または出力周辺デバイスを備え得るパーソナルデジタルアシスタント、デジタルメディアプレーヤ、スマートフォン、タブレットコンピュータ、デスクトップコンピュータ、またはラップトップコンピュータ等の汎用デバイスであり得るコンピュータ262を使用して、ユーザインターフェイス264上でカメラ220もしくはセンサ230により特定された情報を見直し得る、あるいはその他の機能を実行し得る。
補助ディスプレイ270は、カメラ220もしくはセンサ230により特定された情報等、情報が表示され得る任意の形態の外部ディスプレイデバイスであり得る。補助ディスプレイ270は、アイレベルディスプレイ240のように、電子インク、LCD、LED、OLED、CRT、投影スクリーン等、数ある能動または受動ディスプレイ技術のうちのいずれかを取り込み得る。特に、補助ディスプレイ270は任意の物理的制約により制限される必要がないため、補助ディスプレイ270は、いくつかの実施形態により、大型のモニタ、テレビ画面、またはリボンボードディスプレイの形態を取り得る。
本明細書で説明されるコンピュータ、サーバ、デバイス等は、本明細書で説明される機能またはサービスのうちのいずれかを提供するために、及び/または本明細書で説明される結果を達成するために必要な電子デバイス、ソフトウェア、メモリ、ストレージ、データベース、ファームウェア、論理/状態マシン、マイクロプロセッサ、通信リンク、ディスプレイもしくは他のビジュアル/オーディオユーザインターフェイス、プリントデバイス、及びその他の入出力インターフェイスを有する。また、このようなコンピュータ、サーバ、デバイス等のユーザが、コンピュータ、サーバ、デバイス等と対話するため、あるいはアイテム、リンク、ノード、ハブ、または本開示のその他の態様を選択するために、キーボード、キーバッド、マウス、スタイラス、タッチスクリーン、または他のデバイス(図示せず)もしくは手段を操作し得ることを、当業者は認識するであろう。
本明細書で作業員、眼鏡、発送センター、または外部ユーザにより行われると説明される処理工程は、それぞれのコンピュータシステムにより実行される自動化された工程、あるいは1つまたは複数の汎用コンピュータが実行するソフトウェアモジュール(またはコンピュータプログラム)内で実施される自動化された工程であり得ることを、当業者は理解するであろう。さらに、作業員、眼鏡、発送センター、または外部ユーザにより行われると説明される処理工程は、一般に人間のオペレータにより行われ得るが、代わりに自動エージェントによっても実行可能である。
作業員202、発送センター250、及び/または外部ユーザ260は、ネットワーク280に接続するため、あるいはショートメッセージサービスまたはマルチメディアメッセージサービス(SMSまたはMMS)のショートメッセージ等を介してお互いに通信するために、任意のウェブ使用可能アプリケーション/機能、任意のインターネットアプリケーション/機能、または電子メール(すなわちEメール)もしくは他のメッセージング技術を含むその他のクライアントサーバアプリケーション/機能を使用し得る。例えば、眼鏡210は、情報またはデータを同期メッセージまたは非同期メッセージ形式で、発送センターコンピュータ252、外部ユーザ260、補助ディスプレイ270、または別のコンピュータデバイスに対し、ネットワーク280を介してリアルタイムもしくはほぼリアルタイムに、または1つまたは複数のオフライン処理で送信するように適合され得る。作業員202、発送センター250、及び/または外部ユーザ260は、セットトップボックス、パーソナルデジタルアシスタント、デジタルメディアプレーヤ、ウェブパッド、ラップトップコンピュータ、デスクトップコンピュータ、電子書籍リーダ等を含むがこれに限定されない、ネットワークを介して通信可能な数あるコンピューティングデバイスのうちのいずれかを操作し得ることを、当業者は認識するであろう。このようなデバイス間の通信を提供するプロトコル及び構成要素は、コンピュータ通信の当業者にはよく知られており、本明細書においてさらに詳細に説明される必要はない。
本明細書で説明されるデータ及び/またはコンピュータ実行可能命令、プログラム、ファームウェア、ソフトウェア等(本明細書でコンピュータ実行構成要素とも称される)は、コンピューティングデバイス212、コンピュータ252もしくはコンピュータ260、または任意のコンピュータもしくは制御システム等のコンピュータ内の、またはそのようなコンピュータによりアクセス可能なコンピュータ可読媒体上に格納され得る。当該任意のコンピュータもしくは制御システムは、作業員202、発送センター250、及び/または外部ユーザ260により使用され、プロセッサ(例えば中央処理装置すなわちCPU)により実行されると本明細書で説明される全てのまたは一部の機能、サービス及び/または方法をプロセッサに実行させる命令シーケンスを有する。このようなコンピュータ実行可能命令、プログラム、ソフトウェア等は、フロッピードライブ、CD−ROMドライブ、DVD−ROMドライブ、ネットワークインターフェイス等のコンピュータ可読媒体に対応付けられたドライブ機構を使用して、あるいは外部接続を介して、1つまたは複数のコンピュータのメモリへロードされ得る。
本開示のシステム及び方法のいくつかの実施形態はまた、本明細書で説明される処理または方法を実行するようにコンピュータ(または他の電子デバイス)をプログラムするのに使用され得る命令(圧縮または非圧縮形式)を内部に記憶している非一時的マシン可読記憶媒体を含むコンピュータ実行可能プログラム製品としても提供され得る。マシン可読記憶媒体には、ハードドライブ、フロッピーディスク、光ディスク、CD−ROM、DVD、ROM、RAM、消去可能プログラム可能ROM(EPROM)、電気的消去可能プログラム可能ROM(EEPROM)、フラッシュメモリ、磁気カード、光カード、固体記憶装置、または電子命令を記憶するのに好適であり得る他の種類の媒体/マシン可読媒体が含まれるが、これに限定されない。さらに、実施形態は、一時的マシン可読信号(圧縮または非圧縮形式)を含むコンピュータ実行可能プログラム製品としても提供され得る。マシン可読信号の実施例には、搬送波を使用して変調されていようとなかろうと、コンピュータプログラムを提供または実行するコンピュータシステムまたはマシンのアクセス対象であり得る信号が含まれ得る、すなわちインターネットまたは他のネットワークを介してダウンロードされ得る信号が含まれるが、これに限定されない。
前述のように、本開示のシステム及び方法は、任意の種類のアイテム、状態、状況、またはイベントを調べるのに使用され得る。図3を参照すると、ユーザ302が使用しているアイレベルスキャナ310の視野300が示される。アイレベルスキャナ310は、ポインタPにより光が当てられる様々な視野と共に示される。例えば、ユーザ302はアイレベルスキャナ310を装着しながら、小荷物304を視野に入れ、小荷物304上のバーコード306または住所ラベル308等の1つまたは複数の標示に光を当て得る。アイレベルスキャナ310に対応付けられ、ポインタPを有する2次カメラもしくはセンサは、例えばバーコード306または住所ラベル308といった標示自体を識別し得る。そして1次カメラもしくはセンサは、標示の1つまたは複数の画像を撮像し得る、あるいは標示を読み取り、解釈し得る。ポインタPは、ポインタを認識するように、または標示を撮像するように手動または自動で照準され得る1次カメラもしくはセンサのガイドとして機能し、また標示までの距離を特定する基準としても役立ち得る。一度標示が読み取られ解釈されると、アイレベルスキャナ310は、小荷物304に関する情報をユーザ302または図2の発送センター250の作業員もしくは外部ユーザ260等のその他の実体もしくは個人に対し提供すること、あるいは当該情報の少なくとも一部をアイレベルディスプレイまたは補助コンピュータディスプレイ370等の他のコンピュータディスプレイにおいて表示することを含む任意の対応動作を実行し得る。
同様に、ユーザ302はアイレベルスキャナ310を装着しながら、補助ディスプレイ370または別のユーザ390もアイレベルスキャナの視野に入れ得る。アイレベルスキャナ310に対応付けられ、かつポインタPを有する2次カメラもしくはセンサは、補助ディスプレイ370上に表示された1つまたは複数の文字372を認識し得る、または別のユーザ390の顔392を認識し得る。そして1次カメラもしくはセンサは、補助ディスプレイ370または顔392の1つまたは複数の画像を撮像し、よって文字372または顔392が識別され得る。一度文字372または顔392が識別されると、アイレベルスキャナ310は、補助ディスプレイ370上の文字372、または他のユーザ390に関する情報を、例えばアイレベルディスプレイ上にそのような情報を表示することでユーザ302に対し、またはその他の実体または個人に対し、提供することを含む任意の対応動作を実行し得る。
前に論述されたように、カメラもしくは他のセンサの視野及び/または被写界深度内の対象物が所定の種類または性質のものであるか否かを判定するように、さらに対象物に関する情報を特定するために当該対象物を調べるように、本開示の装着型コンピュータデバイスは照準され得る。図4を参照すると、アイレベルスキャナを使用してアイテムを調べる処理の一実施形態を表すフローチャート400が示される。ボックス410において、本開示のいくつかの実施形態によるスキャニングシステムを装着したユーザは関心対象物を配置し、そしてボックス420において、ユーザは対象物を自分の視野に入れる。例えば、図3を再度参照すると、アイレベルスキャナ310を装着したユーザ302は、示されるように、小荷物304、補助ディスプレイ370、または別のユーザ380を配置し、自分の視野に入れ得る。
ボックス420において、ユーザはポインタで対象物に光を当て、ボックス440において、システムは、例えば特に対象物上の標示を認識するように対象化されたカメラもしくは他のセンサ等の専用センサにより、対象物上の標示を検出する。ポインタは、対象物までの距離を計算するのに、あるいは専用センサを対象物の位置または対象物の特定の態様へ誘導するのに使用され得る。ボックス450において、システムは、対象物上の標示または対象物自体が専用センサの検出対象種であるか否かを判定する。例えば、専用センサがテキスト、数字、またはバーコード等の標示を識別し解釈するように適合されている場合、ボックス450において、システムは、ボックス440において検出された標示がテキストもしくは数字の文、またはバーコード、ボーコード、QRコード(登録商標)、文字、数字、記号、または色等の標示であるか否かを判定する。対象物上の標示が専用センサの識別対象種でない場合、処理はボックス495へ進む。
標示が専用センサの検出対象種である場合、処理は、システムが対象物上の標示を読み込むボックス460へ、そしてシステムが対象物上の標示に関するデータを処理のためにコンピューティングユニットへ送信するボックス470へ進む。例えば、対象物上の標示がバーコードである場合、システムは、バーコード自体を認識し、バーコードを読み取り解読し、そして解読したバーコードをさらなる分析のためにコンピューティングユニットへ送信し得る。
ボックス480において、コンピューティングユニットはデータを処理し、ボックス490において、コンピューティングユニットは表示データを生成し、アイレベルディスプレイに送信する。例えば、コンピューティングユニットは、解読されたバーコードに基づいて対象物を特定し、さらに対象物に関する情報を特定し得る。特定された情報は、図1A、1B、1Cのアイレベルスキャナ110のアイレベルディスプレイ140等のアイレベルディスプレイ上に表示され得る。オーディオ、ビデオ、またはマルチメディア情報等、本開示による、ボックス480のデータ処理に基づいて特定され得る任意の種類の情報またはデータは、ユーザに提供され得る。
ボックス495において、システムは、ユーザがシステム上で操作を続ける意図があるか否かを特定する。ユーザがシステムを操作し続ける場合、処理は、ユーザが別の関心対象物を配置するボックス410へ戻る。ユーザにシステムを操作する意図がもうない場合、処理は終了する。
従って、本開示のシステム及び方法は、アイレベルカメラもしくは他のセンサを、1つまたは複数の標示もしくは他の印を認識し、認識した印が特定のアイテム、状態、状況、またはイベントに対応し得るか否かを判定するように構成し得る。一旦認識した印がアイテム、状態、状況、またはイベントに対応付けられると、アイテム、状態、状況、またはイベントに関する情報が特定され、ユーザに対しアイレベルディスプレイ上に、またはその他の様態で提供され得る。
図5を参照すると、使用時のアイレベルスキャナ510A、510Bを含むシステム500が示される。システム500は、アイテムを収容するためのスペース532、536、542、546、552、556、並びにこれらのスペースに対応付けられた識別子534、538、544、548、554、558を含む複数の棚530、540、550を有する棚システム520を備える。
図5において示されるように、アイレベルスキャナ510Aはユーザ502Aにより装着され、アイレベルスキャナ510Bはユーザ502Bにより装着される。ユーザ502Aは、スペース534をアイレベルスキャナ510Aの視野に入れ、そしてポインタを識別子544、すなわち1次元バーコード上に合わせ得る。本開示のシステム及び方法により、アイレベルスキャナ510Aの1つまたは複数のセンサは、識別子544に基づいてスペース542を特定し、スペース542が空であることを認識し得る。よって、スペース542が空であるという特定に基づいて、スペース542に関する情報が、アイレベルスキャナ510Aのアイレベルディスプレイ上に表示され得る(例えば「スペース542は空です」または「スペース542において棚卸必要」等のメッセージが表示され得る)、あるいはアイレベルスキャナ510Aからネットワーク580を介して外部コンピューティングデバイスへ送信され得る、あるいはユーザ502Aに提供され得る。
同様に、ユーザ502Bは、スペース536をアイレベルスキャナ510Bの視野に入れ、そしてポインタを識別子538、すなわちQRバーコード(登録商標)上に合わせ得る。アイレベルスキャナ510Bの1つまたは複数のセンサは、識別子538に基づいてスペース536を特定し、スペース536が特定の数のアイテムを含んでいることを認識し得る。スペース536及びその中にあるアイテムの数の特定に基づいて、スペース538に関する情報が、アイレベルスキャナ510Bのアイレベルディスプレイ上に表示され得る(例えば「スペース536に12本のシャルドネあり」)、あるいはアイレベルスキャナ510Bからネットワーク580を介して外部コンピューティングデバイスへ送信され得る、あるいはユーザ502Bに提供され得る。
従って、本開示のシステム及び方法は、例えば棚卸評価または品質管理分析を行うために、アイテムを特定し、アイテムの状況を自動的に調べるのに用いられ得る。本開示のポインタは、任意の形態を取ることが可能であり、そして1つまたは複数のセンサを誘導するのに、あるいはアイテムまでの距離を計算(例えばレーザ測距または他の既知の方法により)するのに使用され得る。当該1つまたは複数のセンサは、アイテム上のポインタの位置を特定し、ポインタを追うように手動または自動で照準され得る。
前に論述されたように、本開示のシステム及び方法は、装着型スキャニングデバイスに搭載されたセンサを使用して1つまたは複数のメトリクスを監視するように、かつ1つまたは複数のメトリクスに基づいて当該センサもしくは別のセンサの動作を引き起こす、または修正するように構成され得る。図6を参照すると、アイレベルスキャナを使用してアイテムを調べる処理の一実施形態を表すフローチャート600が示される。ボックス610において、トリガーメトリクス一式が、図2の眼鏡210のコンピューティングユニット212等、スキャナデバイスのコンピューティングユニットにプログラムされる。ボックス620において、スキャナデバイスの2次センサが、視野を自動的に走査する。2次センサは、固定視野内の、すなわちユーザの視野と一致し得る軸上または方向のアイテム、及び/または特定被写界深度内もしくはその付近のアイテムを探すように構成され得る。あるいは、2次センサは、センサの1つまたは複数の要素を定期的に回転、移動、または調整すること等で、動的視野または変動被写界深度を調べるように構成され得る。
ボックス625において、2次センサは、例えば視野から感知された画像または他の形式の情報もしくはデータといった、データの読取りを行う。ボックス630において、スキャナデバイスは、2次センサのデータがトリガーメトリクスに合った状態、対象物、またはエリアを示すか否かを判定する。例えば、図5を参照すると、スキャナデバイスは、例えばバーコード542、550等のバーコードを、またはトリガーメトリクスで指定されたその他のアイテムを2次センサが識別したか否かを判定し得る。2次センサがこのような状態、対象物、またはエリアを検出しなかった場合、処理は終了する。
しかし2次センサデータがこのような状態、対象物、またはエリアを示す場合、処理は、1次センサが状態、対象物、またはエリアに関するデータの読取りを行うボックス640へ進む。例えば、図5を再度参照すると、2次センサがバーコード等の標示を識別した場合、1次センサはバーコードの画像を撮像し得る、あるいはバーコードを読み取り得る。ボックス650において、スキャナデバイスは、状態、対象物、またはエリアが1次センサの検出対象種であるか否かを判定する。状態、対象物、またはエリアが1次センサの検出対象種でない場合、処理は終了する。
しかし状態、対象物、またはエリアが1次センサの検出対象種である場合、処理は、1次センサ及び2次センサがそれぞれの読取データを処理のためにスキャナデバイスのコンピューティングユニットへ送信するボックス660へ進む。例えば、2次センサにより認識されたバーコードが1次センサにより読取られ解釈され得る場合、1次センサは、図2のコンピューティングユニット212に対するカメラ220からのバーコード画像、またはバーコードの分析から得られたコード(例えばテキスト、数字、または他の文字の一式)等の情報を、コンピューティングユニットに対し送信する。
ボックス670において、スキャナデバイスのコンピューティングユニットは1次センサ及び2次センサから受信したデータを処理し、そしてボックス680において、スキャナデバイスのコンピューティングユニットは1次センサ及び2次センサにより分析された状態、対象物、またはエリアに関する情報を生成する。例えば、図5を再度参照すると、コンピューティングユニットは、バーコード544、538の読取り、またはスペース内におけるアイテムの有無の認識に基づいてスペース542、536を特定し、そして例えば「スペース542は空です」または「スペース536に12本のシャルドネがあります」といった当該スペースまたはアイテムに関する情報を適宜生成し得る。ボックス690において、スキャナデバイスのコンピューティングユニットは、例えば図1A、1B、または1Cのアイレベルスキャナ110のアイレベルディスプレイ140といったスキャナデバイスのアイレベルディスプレイ上に、このような情報が表示されるようにし、そして処理は終了する。あるいは、スキャナデバイスのコンピューティングユニットは、このような情報が、図2の補助ディスプレイ270等の別のコンピュータディスプレイ上に表示されるように、またはオーディオスピーカもしくはプリンタ等の別の出力デバイスを介して、またはショートメッセージもしくは電子メールメッセージ等の別の形態で、ユーザに対し提供されるようにし得る。
従って、システム及び方法は、1つまたは複数のセンサに対応付けられた1つまたは複数のトリガーメトリクスに基づいて、任意の状態、対象物、またはエリアを認識するように、相互に共同して作動し得る2つまたは複数のカメラもしくは他のセンサを提供し得る。このようなトリガーメトリクが認識されると、トリガーメトリクに関する情報、または状態、対象物、もしくはエリアに関する情報が、アイレベルディスプレイ上等の任意の形態で、またはその他の出力デバイスを介して、ユーザに対し提供され得る。
図7を参照すると、使用時のアイレベルスキャナ710を含むシステム700が示される。アイレベルスキャナ710は、カメラ720、センサ730、及びアイレベルディスプレイ740を備える。カメラ720は、対応標示774(例えばバーコード)がそこに印された対象物772を有するエリア770を含む視野を定め、そしてセンサ730は、標示774に光を当てるポインタPを備える。図7にも示されるように、エリア770、対象物772、または標示774に関する情報760は、アイレベルディスプレイ740上のユーザインターフェイスにおいて示され得る。
前に論述されたように、本開示による1次カメラもしくはセンサまたは2次カメラもしくはセンサを使用して、任意の種類の情報が取得され、ユーザに対し提供され得る。例えば、センサ730は、対象物772上の標示774の位置を特定し、アイレベルスキャナ710と標示774の間の距離を特定し得る、あるいはアイレベルスキャナ710の置かれた環境に関するその他の入手可能情報を撮像し得る。カメラ720は、標示774、対象物772、またはエリア770の1つまたは複数の画像を撮像し、情報760を特定するために当該画像を適宜解釈し得る。
情報760は、任意の手段または方法により特定され、アクセスされ得る。例えば、カメラ720もしくはセンサ730は、対象物772またはエリア770を、それらの1つまたは複数の画像に基づいて認識し得る。カメラ720は、コラージュを形成するために、あるいは1つまたは複数の写真測定分析を介して画像をまとめて処理するために、対象物772またはエリア770の複数の画像を撮像するように指示され得る。当該写真測定分析は、対象物の外形を識別するだけでなく、商標、文字、または他のテキストを含むがこれに限定されない画像内の特定アイテムも識別するように構成され得る。例えば、図7を再度参照すると、1つまたは複数の対象物認識技術を介して、対象物772またはエリア770は、グラスである、またはグラスを含むと認識され得る。あるいは、カメラ720もしくはセンサ730は、対象物772またはエリア770を、それらに対応付けられた標示774に基づいて認識し得る。
図7に示されるように、情報760はユーザに対しアイレベルディスプレイ740上にて提示され得る。当該アイレベルディスプレイ740は、スキャナ710に対応付けられ、かつそのユーザがアクセス可能または見ることが可能な任意の種類または形態のコンピュータディスプレイであり得る。情報760には、1つまたは複数のカメラ720もしくはセンサ730を使用して識別または特定され得る、認識された対象物の識別子762、並びに、対象物に関する他の情報764、すなわち情報が特定された日時、及び対象物が配置されたスペースの温度を含む差込情報764が含まれる。
また前に論述されたように、本開示の装着型コンピュータデバイスまたは装着型スキャナデバイスは、1つまたは複数のセンサに対応付けられた1つまたは複数のトリガーメトリクスに基づいて任意の状態、対象物、またはエリアを識別あるいは認識する際、当該デバイスのユーザまたは装着者の視野内に当該トリガーメトリクスが識別されない場合でも、当該デバイスのユーザまたは装着者に対しトリガーメトリクスに関する命令または他の情報を提供し得る。命令は、ユーザまたは装着者に対し直接、すなわち1つまたは複数のコンピュータディスプレイ上に、あるいは1つまたは複数の他の出力デバイスを介して、提供され得る。あるいは、命令は自動的に、すなわち1次センサを使用して状態、対象物、またはエリアを識別または認識した後に2次センサを自動的に照準または位置変更すること等により、実施され得る。
図8を参照すると、ユーザ802が装着するアイレベルスキャナ810を含むシステム800が示される。別段の記載がある場合を除き、図8において数字「8」で始まる参照番号は、図7において示される数字「7」で始まる参照番号を有する構成要素または機構と同様の構成要素または機構を示す。
図8のアイレベルスキャナ810は、カメラと、センサと、アイレベルディスプレイを備え得る。図8に示されるように、ユーザ802は、複数の棚830、840、850を有する棚システム820の一部を、カメラ820の視野に入れている。棚830、840、850は、アイテムを収容するためのスペース832、836、842、846、852、856、並びにこれらのスペースに対応付けられた識別子834、838、844、848、854、858を備える。
ユーザ802が棚830、840、850の第1スペース832をカメラで見ると、第1スペース832に格納されているアイテムの画像を含む第1スペース832に関する情報が、アイレベルディスプレイ上に表示され得る。同時に、センサは、アイレベルスキャナ810の置かれた環境を走査し、そして1つまたは複数のトリガーメトリクスに対応付けられ得る第2スペース846内のアイテム上の別の標示848を識別し得る。センサが標示848を認識すると、標示848に関する情報がユーザ802に対して、例えば図1A、1B、または1Cのアイレベルディスプレイ140等のアイレベルディスプレイ上に提供され得る。例えば、図8に示されるように、情報860には、特定のアイテムがユーザの視野の外側にあり得ることをユーザ802に知らせ、かつユーザ802に自身の視野の方向を変えて当該アイテムの位置を特定するように推薦する命令862(すなわち「やわらかい紙はエリア846にあり(右を向く)」)が含まれる。第1スペース832または第2スペース850に関するその他の情報もしくはデータは、カメラもしくはセンサにより撮像または認識され、そしてアイレベルディスプレイ、あるいは図2の補助ディスプレイ270、コンピュータ252、またはコンピュータ262等の別の出力デバイスを介してユーザ802または他のユーザに対し提示され得る。
加えて、命令862はさらに、本開示の1つまたは複数の構成要素を自動的に操作し得ることを、当業者は認識するであろう。例えば、命令862、すなわち「やわらかい紙はエリア846にあり(右を向く)」というメッセージをアイレベルディスプレイ840上に表示する代わりに、本開示のシステム及び方法は、標示848を識別する際、カメラを自動的に回転させること等により、カメラまたはアイレベルスキャナ810に対応付けられたその他の構成要素の位置を変え得る。本開示によるカメラまたはセンサにより特定された情報に基づいて、任意の命令がユーザに対し直接、あるいは1つまたは複数の構成要素(例えばアイレベルスキャナ810または別のデバイス上のカメラ、センサ、またはディスプレイ)に対し自動的に提供され得る。
本開示のシステム及び方法はさらに、任意の対応メトリクス、注目点、または関連閾値を有する任意の対象物または形体に関する情報を集めるために、1つまたは複数のセンサを選択的に操作し得る。図9を参照すると、アイレベルスキャナを使用してアイテムを調べる処理の一実施形態を表すフローチャート900が示される。ボックス910において、コンピューティングユニット及び複数のセンサを有する装着型デバイスには、メトリクス、注目点、及び関連閾値に関する情報がプログラムされる。このような情報は、装着型デバイスの置かれる環境、または装着型デバイスの使用が合理的に期待され得る環境において遭遇する任意のアイテム、状態、状況、またはイベントに対応し得る。
ボックス920において、複数のセンサのうちの1つが対象物を検出する。対象物がセンサの視野内に配置された時、またはセンサが実行する自動走査を伴う時等、任意の様態で対象物は識別され得る。ボックス930において、検出された対象物がメトリクス、注目点、または関連情報のうちの1つと一致するか否かが判定される。例えば、センサが、特定の形体、特定の温度、または特定の放射線レベルを有するアイテムを識別した場合、装着型デバイスは、形体、温度、または放射線レベルが、メトリクスのうちの1つを満たすか否か、あるいは注目点であるか否か、あるいは特定の閾値を超えるか否かを判定し得る。
検出された対象物がメトリクス、注目点、または関連閾値のうちの1つまたは複数に一致する場合、処理は、装着型デバイス上のコンピューティングユニットが、対象物に関するデータを取り込むセンサを特定するボックス940に進む。例えば、画像を撮像する、あるいは特定の被写界深度内にあるバーコード、QRコード(登録商標)、ボーコード、文字、数字、記号、または色を読み取る等の特定機能を実行するように構成されたセンサを使用してアイテムが検出された場合、コンピューティングユニットは、アイテムに関するさらなるデータを集めるように適合され得るセンサのうちの1つを特定し得る。
ボックス950において、コンピューティングユニットは特定されたセンサを、検出された対象物に関するさらなるデータを取り込むように構成する。例えば、コンピューティングユニットは、対象物を最初に検出したセンサの設定を、例えばカメラの焦点距離またはシャッター速度を変更すること等により修正し得る、あるいは別のセンサを、対象物に関するデータのさらなる読み取りを行うようにプログラムし得る。ボックス960において、特定されたセンサはデータを取り込み、コンピューティングユニットに取り込んだデータを提供する。
ボックス970において、コンピューティングユニットは、対象物に関する追加データが必要であるか否かを判定する。対象物に関するさらなる任意の情報が必要である場合、処理は、更なる情報を集めるためにセンサを特定するボックス940に戻る。対象物に関するさらなる情報が必要ない場合、処理は、コンピューティングユニットが、装着型デバイスのさらなる動作が求められるか否かを特定するボックス980へ進む。さらなる任意の動作が望まれる場合、処理は、センサが対象物を検出するボックス920に戻る。さらなる動作が望まれない場合、処理は終了する。
本開示を実施するための例示的技術、構成要素、及び/または処理を使用して開示は説明されているが、本明細書で説明されるものと同一の機能(複数可)及び/または結果(複数可)を達成し、かつ本開示の範囲に含まれる他の技術、構成要素、及び/または処理、あるいは本明細書で説明される技術、構成要素、及び/または処理の他の組合せ及びシーケンスが使用または実行可能であることを、当業者は理解されよう。例えば、本明細書で説明される、または添付図面において示される実施形態のうちの数多くは、オンラインマーケットプレイスすなわち発送センターに出されたアイテム注文の発送における装着型コンピュータデバイスまたは装着型スキャナデバイスの使用に関連しているが、システムはそのように限定されずに、ユーザに情報を提供するためにカメラまたはセンサの使用が望まれ得る任意の関連アプリケーションと接続して使用され得る。
同様に、「1次」または「第1」カメラもしくはセンサ、あるいは「2次」または「第2」カメラもしくはセンサへの言及は、本質的に順序を示し、カメラ及びセンサの能力または機能を限定することを意味しない。むしろ、本明細書で別段の明記がある場合を除き、「1次」または「第1」カメラもしくはセンサは、「2次」または「第2」カメラもしくはセンサと同一の機能を実行可能であり、その逆も同様であり得る。
さらに、任意の種類のセンサまたは感知デバイスは、本開示の装着型コンピューティングデバイスにより使用され得る、または本開示の装着型コンピューティングデバイスに対応付けられ得る。当該任意の種類のセンサまたは感知デバイスは、マイク、空気監視センサ(例えば酸素、オゾン、水素、一酸化炭素、もしくは二酸化炭素センサ、または煙感知器)、速度計、圧力監視センサ(例えば気圧計)、赤外線センサ、オゾンモニタ、pHセンサ、磁気異常検出器、金属探知機、放射線センサ(例えばガイガー計数器、中性子検出器、アルファ検出器)、高度測量器、姿勢指示器、深度計、ジャイロスコープ、羅針盤、加速度計、位置検出器(例えば1つまたは複数の全地球測位衛星(GPS)システムを使用する検出器)等を含むが、これに限定されない。
本明細書において明示的または暗示的に特に指示がない限り、本明細書で説明される特定の実施形態に関わる任意の特徴、特性、代替案、修正のうちのいずれかもまた、本明細書で説明されるその他の実施形態において適用、使用、または組み込み可能であり、本開示の図面及び詳細説明は、添付の請求項で定義される様々な実施形態に対する全ての修正、均等物、及び代替案を含める意図があることを、理解されたい。さらに、図4及び6に示されるフローチャートを含むがこれに限定されない、本明細書で説明される本開示の1つまたは複数の方法または処理に関して、方法または処理のボックスもしくは工程が表示される順序は、請求項に係る発明に対する限定として解釈される意図はなく、そして任意の数のボックスもしくは工程は、本明細書で説明される方法または処理を実施するために、任意の順序で、及び/または並列に組み合わせることが可能である。また、本明細書の図面は縮尺通りに描かれていない。
特に明記されない限り、あるいは使用される文脈において理解されない限り、とりわけ条件付きの文言「can」、 「could」、 「might」、または「may」(「〜ことが可能である」または「〜し得る」)等は一般に、特定の実施形態は特定の特徴、要素、及び/またはボックスもしくは工程を含み得る、または含む可能性を有するが、これらを強制または要求しないということを、許容的に伝える意図がある。同様に、用語「include」、 「including」、及び「includes」等の用語は一般に、「〜を含むが、これに限定されない」ことを意味する意図がある。従って、このような条件付きの文言は一般に、特徴、要素、及び/またはボックスもしくは工程が1つまたは複数の実施形態に何らかの形で必要であるということ、あるいはこれらの特徴、要素、及び/またはボックスもしくはステップが任意の特定の実施形態において含まれている、または実行されるか否かをユーザ入力またはプロンプティングの有無に関わらず判断する論理を、1つまたは複数の実施形態が必ず含むということを、意味する意図はない。
発明の例示的実施形態に関して発明は説明され例示されたが、本開示の精神及び範囲から逸脱することなく、例示的実施形態において、及び例示的実施形態に対して、前述及び他の様々な追加及び省略が行われ得る。
(第1項)
1次撮像デバイスと、2次撮像デバイスと、少なくとも1つのコンピュータプロセッサと、少なくとも1つのメモリデバイスとを有する装着型機器を提供することと、
アイテム属性の種類を特定する命令を、少なくとも1つのメモリデバイスに記憶することと、
2次撮像デバイスを使用して、対象物の少なくとも1つの第1画像を撮像することと、
少なくとも1つの第1画像に、前記種類のアイテム属性が含まれるか否かを判定するために、少なくとも1つの第1画像を分析することと、
少なくとも1つの第1画像に、前記種類のアイテム属性が含まれると判定されたことに応じて、
対象物の少なくとも一部が1次撮像デバイスの視野に入るように、1次撮像デバイスを調整することと、
1次撮像デバイスを使用して、対象物の少なくとも1つの第2画像を撮像することと、
属性と少なくとも1つの第2画像の間の対応付けを、少なくとも1つのデータストアに記憶することと
を含む方法。
(第2項)
2次撮像デバイスを使用して、対象物の方向と対象物までの距離のうち少なくとも1つを特定することであって、
1次撮像デバイスは前記方向または距離に少なくとも一部基づいて調整される、こと
をさらに含む第1項に記載の方法。
(第3項)
少なくとも1つの第1画像または少なくとも1つの第2画像に少なくとも一部基づいて、対象物に関する情報を生成することと、
対象物に関する情報の少なくとも一部を提示させることと
をさらに含む第1項に記載の方法。
(第4項)
情報の少なくとも一部は、装着型機器上に提示される、第3項に記載の方法。
(第5項)
アイテム属性は、バーコード、QRコード(登録商標)、バーコード、文字、数字、記号、色のうちの少なくとも1つである、第1項に記載の方法。
(第6項)
そこにコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、
前記命令は実行されると、少なくとも1つのコンピュータプロセッサを有するコンピュータシステムに、
第1撮像デバイスを第1センサに操作的に対応付けることであって、機器上に搭載された第1撮像デバイスまたは第1センサのうちの少なくとも1つを有する機器は、体に装着されるように適合されており、
少なくとも1つの定義済属性に関する情報を選択することと、
機器が置かれる環境に関する第1センサ情報を受信することと、
環境に関する情報が少なくとも1つの定義済属性に対応付けられることを判定することと、
少なくとも1つの定義済属性に関する信号を生成することと、
信号に応じて第1撮像デバイスを操作することと
を含む方法を実行させる、前記非一時的コンピュータ可読媒体。
(第7項)
信号に応じて第1撮像デバイスを操作することはさらに、
第1撮像デバイスを使用して、対象物の少なくとも1つの画像を撮像すること
を含む、第6項に記載の非一時的コンピュータ可読媒体。
(第8項)
信号に応じて第1撮像デバイスを操作することはさらに、
環境に関する情報に少なくとも一部基づいて、第1撮像デバイスを調整すること
を含む、第7項に記載の非一時的コンピュータ可読媒体。
(第9項)
信号に応じて第1撮像デバイスを操作することはさらに、
環境に関する情報に少なくとも一部基づいて、対象物までの距離と対象物の方向のうち少なくとも1つを特定することであって、
第1撮像デバイスは、前記対象物までの距離または対象物の方向に少なくとも一部基づいて調整される、こと
をさらに含む、第7項に記載の非一時的コンピュータ可読媒体。
(第10項)
方法はさらに、
対象物の少なくとも1つの画像に少なくとも一部基づいて、対象物に関する情報を生成することと、
対象物に関する情報の少なくとも一部を提示させることと
を含む、第7項に記載の非一時的コンピュータ可読媒体。
(第11項)
対象物は、バーコード、QRコード(登録商標)、ボーコード、文字、数字、記号、色のうちの少なくとも1つであり、
対象物の少なくとも1つの画像に少なくとも一部基づいて、対象物に関する情報を生成することは、
対象物を解読することと、
解読された対象物に少なくとも一部基づいて、少なくとも1つのアイテムを特定することと
を含む、第10項に記載の非一時的コンピュータ可読媒体。
(第12項)
少なくとも1つのコンピュータディスプレイが機器に搭載される、第10項に記載の非一時的コンピュータ可読媒体。
(第13項)
方法はさらに、
対象物の少なくとも1つの画像に少なくとも一部基づいて、対象物に関する情報を生成することと、
対象物に関する情報に少なくとも一部基づいて、対象物の少なくとも1つの属性を特定することと
を含む、第7項に記載の非一時的コンピュータ可読媒体。
(第14項)
方法はさらに、
対象物の少なくとも1つの画像に少なくとも一部基づいて、対象物に関する情報を生成することと、
対象物に関する情報の少なくとも一部を、ネットワークを介して外部コンピュータへ送信することと
を含む、第7項に記載の非一時的コンピュータ可読媒体。
(第15項)
方法はさらに、
環境に関する情報の少なくとも一部を表示用に送信すること
を含む、第6項に記載の非一時的コンピュータ可読媒体。
(第16項)
第1センサは第2撮像装置であり、
環境に関する情報は、第2撮像装置により撮像された画像を含む、
第6項に記載の非一時的コンピュータ可読媒体。
(第17項)
環境に関する情報は、色、温度、位置のうち少なくとも1つを含む、第6項に記載の非一時的コンピュータ可読媒体。
(第18項)
機器はさらに装着型フレームを備え、
第1撮像デバイスと第1センサのうち少なくとも1つは、装着型フレームに搭載される、
第6項に記載の非一時的コンピュータ可読媒体。
(第19項)
装着型フレームは、体の頭部周辺に装着されるように適合されており、
第1撮像デバイス及び第1センサは、装着型フレームに搭載される、
第18項に記載の非一時的コンピュータ可読媒体。
(第20項)
第1センサは、
画像デバイス、
マイク、
空気監視センサ、
圧力監視センサ、
赤外線センサ、
放射線センサ、
位置センサ
のうちの少なくとも1つである、第6項に記載の非一時的コンピュータ可読媒体。
(第21項)
人体の少なくとも一部に装着されるように適合されたフレームに搭載された1次撮像デバイスと、
フレームに搭載された2次センサと、
1次撮像デバイスと2次センサのうち少なくとも1つと通信する、1つまたは複数のサービスを実行するように構成されたコンピューティングデバイスと
を備えた装着型コンピュータシステムであって、
前記1つまたは複数のサービスは、
少なくとも1つのデータストアにおいて、複数のトリガーイベントに関する情報を特定し、
2次センサを使用して情報を取り込み、
2次センサを使用して取り込んだ情報の少なくとも一部に基づいて、トリガーイベントが発生したか否かを判定し、
トリガーイベントが発生したと判定したことに応じて、
1次撮像デバイスを使用して、少なくとも1つの画像を撮像し、
少なくとも1つの画像とトリガーイベントの間の対応付けを、少なくとも1つのデータストアに記憶する
ように構成された、前記装着型コンピュータシステム。
(第22項)
1つまたは複数のサービスはさらに、
トリガーイベントに対応付けられた距離とトリガーイベントに対応付けられた方向のうち少なくとも1つを特定し、
トリガーイベントに対応付けられた距離または方向に少なくとも一部基づいて、1次撮像デバイスを調整する
ように構成された、第21項に記載の装着型コンピュータシステム。
(第23項)
1つまたは複数のサービスはさらに、
1次撮像デバイスを使用して撮像した少なくとも1つの画像に少なくとも一部基づいて、トリガーイベントに関する情報を生成する
ように構成された、第21項に記載の装着型コンピュータシステム。
(第24項)
1つまたは複数のサービスはさらに、
トリガーイベントに関する情報の少なくとも一部を少なくとも1つのコンピュータディスプレイ上に表示させる
ように構成された、
少なくとも1つのコンピュータディスプレイをさらに備える第23項に記載の装着型コンピュータシステム。

Claims (15)

  1. 1次撮像デバイスと、2次撮像デバイスと、少なくとも1つのコンピュータプロセッサと、少なくとも1つのメモリデバイスとを有する装着型機器を提供することと、
    アイテム属性の種類を特定する命令を、前記少なくとも1つのメモリデバイスに記憶することと、
    前記2次撮像デバイスを使用して、対象物の少なくとも1つの第1画像を撮像することと、
    前記少なくとも1つの第1画像に、前記種類のアイテム属性が含まれるか否かを判定するために、前記少なくとも1つの第1画像を分析することと、
    前記少なくとも1つの第1画像に、前記種類の前記アイテム属性が含まれると判定されたことに応じて、
    前記対象物の少なくとも一部が前記1次撮像デバイスの視野に入るように、前記1次撮像デバイスを調整することと、
    前記1次撮像デバイスを使用して、前記対象物の少なくとも1つの第2画像を撮像することと、
    前記属性と前記少なくとも1つの第2画像の間の対応付けを、少なくとも1つのデータストアに記憶することと
    を含む方法。
  2. 前記2次撮像デバイスを使用して、前記対象物の方向と前記対象物までの距離のうち少なくとも1つを特定することであって、
    前記1次撮像デバイスは前記方向または前記距離に少なくとも一部基づいて調整されることをさらに含む請求項1に記載の方法。
  3. 前記少なくとも1つの第1画像または前記少なくとも1つの第2画像に少なくとも一 部基づいて、前記対象物に関する情報を生成することと、
    前記対象物に関する前記情報の少なくとも一部を提示させることと
    をさらに含む請求項1に記載の方法。
  4. 前記情報の前記少なくとも一部は、前記装着型機器上に提示される、請求項3に記載の方法。
  5. 前記アイテム属性は、バーコード、QRコード(登録商標)、ボーコード、文字、数字、記号または色のうちの少なくとも1つである、請求項3に記載の方法。
  6. 前記少なくとも1つの第1画像または前記少なくとも1つの第2画像に少なくとも一部基づいて、前記対象物に関する情報を生成することは、
    前記アイテム属性を解読し、
    前記解読されたアイテム属性に少なくとも一部基づいて、前記対象物を特定することと
    を含む、請求項5に記載の方法。
  7. 前記対象物に関する前記情報の前記少なくとも一部は、前記装着型機器に搭載された少なくとも1つのコンピュータディスプレイ上に提示される、請求項3に記載の方法。
  8. 前記方法はさらに、
    前記少なくとも1つの第1画像または前記少なくとも1つの第2画像に少なくとも一 部基づいて、前記対象物に関する情報を生成することと、
    前記対象物に関する前記情報に少なくとも一部基づいて、前記対象物の少なくとも1つの属性を特定することと
    を含む、請求項1項に記載の方法。
  9. 前記方法はさらに、
    前記少なくとも1つの第1画像または前記少なくとも1つの第2画像に少なくとも一部基づいて、前記対象物に関する情報を生成することと、
    前記対象物に関する前記情報の少なくとも一部を、ネットワークを介して外部コンピュータへ送信することと
    を含む、請求項1に記載の方法。
  10. 前記装着型機器はさらに装着型フレームを備え、
    前記1次撮像デバイスと前記2次撮像デバイスのうち少なくとも1つは、前記装着型フレームに搭載される、
    請求項1に記載の方法。
  11. 前記装着型フレームは、体の頭部周辺に装着されるように適合されており、
    前記1次撮像デバイス及び前記2次撮像デバイスは、前記装着型フレームに搭載される、
    請求項10に記載の方法。
  12. 人体の少なくとも一部に装着されるように適合されたフレームに搭載された1次撮像デバイスと、
    前記フレームに搭載された2次センサと、
    前記1次撮像デバイスまたは前記2次センサのうち少なくとも1つと通信する、1つまたは複数のサービスを実行するように構成されたコンピューティングデバイスと
    を備えた装着型コンピュータシステムであって、
    前記1つまたは複数のサービスは、
    少なくとも1つのデータストアにおいて、複数のトリガーイベントに関する情報を特定し、
    前記2次センサを使用して情報を取り込み、
    前記2次センサを使用して取り込んだ前記情報の少なくとも一部に基づいて、トリガーイベントが発生したか否かを判定し、
    前記トリガーイベントが発生したと判定したことに応じて、
    前記1次撮像デバイスを使用して、少なくとも1つの画像を撮像し、
    前記少なくとも1つの画像と前記トリガーイベントの間の対応付けを、前記少なくとも1つのデータストアに記憶する
    ように構成された、前記装着型コンピュータシステム。
  13. 前記1つまたは複数のサービスはさらに、
    前記トリガーイベントに対応付けられた距離と前記トリガーイベントに対応付けられた方向のうち少なくとも1つを特定し、
    前記トリガーイベントに対応付けられた前記距離または前記方向に少なくとも一部基づいて、前記1次撮像デバイスを調整する
    ように構成された、請求項12に記載の装着型コンピュータシステム。
  14. 前記1つまたは複数のサービスはさらに、
    前記1次撮像デバイスを使用して撮像した前記少なくとも1つの画像に少なくとも一部基づいて、前記トリガーイベントに関する情報を生成する
    ように構成された、請求項12に記載の装着型コンピュータシステム。
  15. 前記1つまたは複数のサービスはさらに、
    前記トリガーイベントに関する前記情報の少なくとも一部を少なくとも1つのコンピュータディスプレイ上に表示させる
    ように構成された、
    前記少なくとも1つのコンピュータディスプレイをさらに備える請求項14に記載の装着型コンピュータシステム。
JP2016539314A 2013-12-17 2014-12-15 アイレベルスキャナ及びディスプレイのポインタ追跡 Active JP6441932B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/108,837 2013-12-17
US14/108,837 US9151953B2 (en) 2013-12-17 2013-12-17 Pointer tracking for eye-level scanners and displays
PCT/US2014/070418 WO2015095084A1 (en) 2013-12-17 2014-12-15 Pointer tracking for eye-level scanners and displays

Publications (2)

Publication Number Publication Date
JP2017507380A true JP2017507380A (ja) 2017-03-16
JP6441932B2 JP6441932B2 (ja) 2018-12-19

Family

ID=53368215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016539314A Active JP6441932B2 (ja) 2013-12-17 2014-12-15 アイレベルスキャナ及びディスプレイのポインタ追跡

Country Status (5)

Country Link
US (2) US9151953B2 (ja)
EP (1) EP3084684A4 (ja)
JP (1) JP6441932B2 (ja)
CN (1) CN106062783B (ja)
WO (1) WO2015095084A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228291A (ja) * 2016-06-16 2017-12-28 ハンド ヘルド プロダクツ インコーポレーティッド 視線検出により制御される標示スキャンシステム及び方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417660B2 (en) 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
US9870716B1 (en) * 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
EP3143474B1 (en) * 2014-05-15 2020-10-07 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
US9460524B1 (en) * 2014-05-30 2016-10-04 Amazon Technologies, Inc. Estimating available volumes using imaging data
US9874744B2 (en) * 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
EP3175289A4 (en) 2014-08-03 2018-04-18 Pogotec, Inc. Wearable camera systems and apparatus and method for attaching camera systems or other electronic devices to wearable articles
US9857590B2 (en) * 2014-10-11 2018-01-02 Floyd Steven Hall, Jr. Method and system for press-on displays for fashionable eyewear and nosewear
US9628707B2 (en) 2014-12-23 2017-04-18 PogoTec, Inc. Wireless camera systems and methods
US10481417B2 (en) 2015-06-10 2019-11-19 PogoTec, Inc. Magnetic attachment mechanism for electronic wearable device
WO2016201261A1 (en) 2015-06-10 2016-12-15 PogoTec, Inc. Eyewear with magnetic track for electronic wearable device
FI20155599A (fi) 2015-08-21 2017-02-22 Konecranes Global Oy Nostolaitteen ohjaaminen
US10341787B2 (en) 2015-10-29 2019-07-02 PogoTec, Inc. Hearing aid adapted for wireless power reception
US10592842B2 (en) * 2015-12-02 2020-03-17 Walmart Apollo, Llc Methods and systems for loading products into a cargo space of a delivery vehicle
US10692041B1 (en) * 2016-03-31 2020-06-23 Amazon Technologies, Inc. Inventory holder markers for selective glowing based on received wavelengths
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
WO2018089533A1 (en) 2016-11-08 2018-05-17 PogoTec, Inc. A smart case for electronic wearable device
WO2018140555A1 (en) 2017-01-30 2018-08-02 Walmart Apollo, Llc Systems, methods and apparatus for distribution of products and supply chain management
US20180249094A1 (en) * 2017-02-27 2018-08-30 Opkix, Inc Wireless Camera System
WO2018183272A1 (en) 2017-03-29 2018-10-04 Walmart Apollo, Llc Smart apparatus and method for retail work flow management
US10467578B2 (en) * 2017-05-08 2019-11-05 Wing Aviation Llc Methods and systems for requesting and displaying UAV information
US10423844B2 (en) * 2017-09-27 2019-09-24 Toyota Jidosha Kabushiki Kaisha Personalized augmented reality vehicular assistance for color blindness condition
USD898385S1 (en) * 2017-12-29 2020-10-13 Qiang Xu Lighted glasses
US20190235830A1 (en) 2018-01-31 2019-08-01 Vocollect, Inc. Visual inspection
WO2020102237A1 (en) 2018-11-13 2020-05-22 Opkix, Inc. Wearable mounts for portable camera
WO2020261329A1 (ja) * 2019-06-24 2020-12-30 サン電子株式会社 機能実行システム
DE102019119138B4 (de) * 2019-07-15 2022-01-20 Deutsche Post Ag Bestimmen einer Verteil- und/oder Sortierinformation zum automatisierten Verteilen und/oder Sortieren einer Sendung
CN112817446B (zh) * 2021-01-25 2021-08-03 深圳市优博建筑设计咨询有限公司 一种基于手部动作捕捉的交互式建筑设计平台
US11947736B1 (en) * 2022-12-21 2024-04-02 Varjo Technologies Oy Utilising focussing of light sources in image for controller tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997031477A1 (fr) * 1996-02-26 1997-08-28 Seiko Epson Corporation Dispositif portable affichant des informations et procede d'affichage d'informations utilisant ledit dispositif
JP2007523811A (ja) * 2004-01-23 2007-08-23 ユナイテッド パーセル サービス オブ アメリカ インコーポレイテッド 品物を追跡して処理するシステムおよび方法
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2013164737A (ja) * 2012-02-10 2013-08-22 Nec Corp 障害物アラーム表示システム、情報処理装置、障害物アラーム表示方法および障害物アラーム表示プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999023524A1 (en) * 1997-10-30 1999-05-14 The Microoptical Corporation Eyeglass interface system
US7230582B1 (en) 1999-02-12 2007-06-12 Fisher-Rosemount Systems, Inc. Wearable computer in a process control environment
GB2373942A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Camera records images only when a tag is present
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像表示装置、撮像表示方法
CN101689294B (zh) * 2007-07-12 2012-07-04 松下电器产业株式会社 图像处理装置、图像处理方法及图像处理用处理器
KR101633620B1 (ko) * 2010-01-04 2016-06-27 삼성전자 주식회사 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
WO2012063468A1 (ja) * 2010-11-11 2012-05-18 パナソニック株式会社 画像処理装置、画像処理方法、およびプログラム
US20130131985A1 (en) 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9361501B2 (en) * 2013-04-01 2016-06-07 Ncr Corporation Headheld scanner and POS display with mobile phone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997031477A1 (fr) * 1996-02-26 1997-08-28 Seiko Epson Corporation Dispositif portable affichant des informations et procede d'affichage d'informations utilisant ledit dispositif
JP2007523811A (ja) * 2004-01-23 2007-08-23 ユナイテッド パーセル サービス オブ アメリカ インコーポレイテッド 品物を追跡して処理するシステムおよび方法
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2013164737A (ja) * 2012-02-10 2013-08-22 Nec Corp 障害物アラーム表示システム、情報処理装置、障害物アラーム表示方法および障害物アラーム表示プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228291A (ja) * 2016-06-16 2017-12-28 ハンド ヘルド プロダクツ インコーポレーティッド 視線検出により制御される標示スキャンシステム及び方法

Also Published As

Publication number Publication date
US20150168727A1 (en) 2015-06-18
US9151953B2 (en) 2015-10-06
CN106062783B (zh) 2019-11-26
JP6441932B2 (ja) 2018-12-19
CN106062783A (zh) 2016-10-26
US9971154B1 (en) 2018-05-15
EP3084684A1 (en) 2016-10-26
EP3084684A4 (en) 2017-06-14
WO2015095084A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
JP6441932B2 (ja) アイレベルスキャナ及びディスプレイのポインタ追跡
US11488366B2 (en) Augmented reality lighting effects
US10395116B2 (en) Dynamically created and updated indoor positioning map
US9165279B2 (en) System and method for calibration and mapping of real-time location data
US10127414B2 (en) Portable encoded information reading terminal configured to adjust transmit power level
US20190197277A1 (en) Code recognition device
US11126848B2 (en) Information processing device, information processing method, and information processing program
US10037510B2 (en) System and method for calibration and mapping of real-time location data
US9990784B2 (en) Dynamic identification badge
US11763529B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
CN105408917B (zh) 用于便利对象的手动分类的系统和方法
US20210216955A1 (en) Augmented reality based package finding assistance system
US11682045B2 (en) Augmented reality advertisements on objects
WO2017179543A1 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP7013612B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及びコンピュータ装置
KR102550027B1 (ko) 물류 상태 관리 서비스를 제공하는 시스템, 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181122

R150 Certificate of patent or registration of utility model

Ref document number: 6441932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250