JP2019520012A - 手持ち式装置のエッジカメラアセンブリを有するシステム及び方法 - Google Patents

Abstract

【課題】ユーザの前方の環境のリアルタイム画像を取得及び表示するシステム及び方法を開示する。
【解決手段】一つの実現において、上向きの表示面及び反対側の下側面を有する、携帯装置のための画像取得ケーシングを提供する。ケーシングは、ハウジングと、携帯装置がハウジングによって保持されているときに下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサと、を有してもよい。イメージセンサは、ユーザが歩行するときにユーザが歩行する面に対して鋭角に向けられ、少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く。ケーシングは、表示面にリアルタイムの表示を行うために画像データを少なくとも一つのイメージセンサから伝送する回路を更に有する。
【選択図】図１Ｂ

Description

関連出願の相互参照
本願は、２０１６年５月７日に出願された米国特許仮出願第６２／３３３，１９７号、２０１６年７月２７日に出願された米国特許仮出願第１５／２２０，４１８号、２０１６年１１月２３日に出願された米国特許仮出願第６２／４２５，７４１号及び２０１６年１２月１５日に出願された米国特許仮出願第６２／４３４，６９５号の優先権の利益を主張する。上記の出願の全ては、参照により全体がここに組み込まれる。

本開示は、一般的には、手持ち式携帯通信装置における画像取得に関し、更に詳しくは、ユーザの前方の環境のリアルタイム画像の取得及び表示を行うシステム及び方法に関する。

携帯通信装置は、現代の日常生活に普及している。携帯通信装置が人々の間の音声通信を行う通信装置として最初は考えられたとしても、携帯通信装置は、オンラインデータサービスにおける人々の相互のやり取り、通信及び活動の中心となりつつある。ユーザの注意が携帯通信装置のスクリーンに向けられたときにユーザが周囲の環境から離れるのが一般的な状況である。

この状況は、多くの人々が通りの歩行のような他の活動を行う間に携帯通信装置を用いるので危険であると予測される。例えば、携帯通信装置に文字を入力しながら通りを歩行する人々が街灯柱、水たまり及び接近する車両の通行に向かって歩いていくのが見られる。ユーザが携帯装置のスクリーンを通常見る角度が原因で、ユーザの周辺視野は、ユーザの歩行方向の障害を見つけるのに信頼を置くことができない。

さらに、個人用携帯通信装置は、拡張現実を生成するために現在用いられている。場合によっては、携帯通信装置にインストールされるアプリは、ユーザの環境のリアルタイムの景色の上にコンテンツを重ね合わせるために装置のＧＰＳ及びカメラを用いることがある。これらのアプリは、現実世界と仮想世界の両方に根差している合成表示を作成することができる。一例は、世界的な現象になるとともに２０１６年に最も用いられた高い収益のモバイルアプリの一つであった「ポケモン（登録商標）ＧＯ」アプリである。しかしながら、携帯通信装置におけるカメラの現在の配置は、ユーザの前方の環境を取得するために携帯通信装置を垂直に保持することを要求する。この姿勢は、長時間に亘って使用するときに不自然であり、歩行中に使用するのに適さない。

開示された装置及び方法は、携帯通信装置の自然な保持角度に合わせるとともに上述した問題の少なくとも一部を解決する、画像を取得する新たな方法を対象とする。

本開示による実施の形態は、手持ち式携帯通信装置において画像を取得する装置及び方法を提供する。一実施の形態において、上向きの表示面及び反対側の下側面を有する、手持ち式携帯通信装置のための画像取得ケーシングを提供する。画像取得ケーシングは、手持ち式携帯通信装置の少なくとも一部を包囲するハウジングを有してもよい。画像取得ケーシングは、ハウジングに搭載されるとともに手持ち式携帯通信装置がハウジングによって保持されているときに下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサであって、少なくとも一つのイメージセンサは、ユーザが歩行するときにユーザが歩行する面に対して鋭角に向けられ、少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く、少なくとも一つのイメージセンサを更に有してもよい。画像取得ケーシングは、表示面にリアルタイムの表示を行うために画像データを少なくとも一つのイメージセンサから伝送する回路を更に有してもよい。

本開示による実施の形態によれば、手持ち式携帯通信装置を提供する。手持ち式携帯通信装置は、ケーシングと、ケーシングの第１の側にある上向きの表示面と、ケーシングの第２の側にある、表示面の反対側にある下側面と、を有してもよい。手持ち式携帯通信装置は、ケーシングに搭載されるとともに下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサであって、少なくとも一つのイメージセンサは、ケーシングが歩行中のユーザによって保持されるときにユーザが歩行する面に対して鋭角に向けられ、少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く、少なくとも一つのイメージセンサを更に有してもよい。手持ち式携帯通信装置は、表示面にリアルタイムの表示を行うために画像データを少なくとも一つのイメージセンサから伝送する回路を更に有してもよい。

他の開示した実施の形態によれば、上向きの表示面及び反対側の下側面を有する、手持ち式携帯通信装置のための着脱自在ケースを提供する。着脱自在ケースは、手持ち式携帯通信装置の少なくとも一部を包囲するハウジングを有してもよい。着脱自在ケースは、手持ち式携帯通信装置がハウジングに据え付けられたときに手持ち式携帯通信装置のポートと電気的な接続を行うコネクタを有してもよい。さらに、着脱自在ケースは、ハウジングに搭載されるとともに手持ち式携帯通信装置がハウジングによって保持されているときに下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサであって、少なくとも一つのイメージセンサは、ユーザが歩行するときにユーザが歩行する面に対して鋭角に向けられ、少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く、少なくとも一つのイメージセンサを有してもよい。着脱自在ケースは、表示面にリアルタイムの表示を行うために画像データを少なくとも一つのイメージセンサから伝送する回路を更に有してもよい。

他の開示した実施の形態によれば、ユーザが表示情報に関わる間にユーザの前方の環境のリアルタイムの景色を表示する携帯装置を提供する。携帯装置は、一般的に中心軸平面を有するハウジングと、ハウジングの第１の側のタッチセンサー式ディスプレイと、第１の側の反対側にあるハウジングの第２の側の後部と、第１の側と第２の側の間の周辺端部面と、を有してもよい。携帯装置は、ハウジング内に固定され、ハウジングの第１の側、ハウジングの第２の側及び中心軸平面の各々に対して直角でない角度の固定された光軸を有する少なくとも一つのイメージセンサを更に有してもよい。

他の開示した実施の形態によれば、タッチセンサー式ディスプレイを有する携帯装置のための着脱自在ケースを提供する。着脱自在ケースは、携帯装置の少なくとも一部を包囲するハウジングであって、ハウジングは、第１の側と、第１の側の反対側にある第２の側と、第１の側及び第２の側と相互に連結するとともに一般的に中心軸平面を有する周辺端部面と、を有する、ハウジングを有してもよい。着脱自在ケースは、携帯装置がハウジングに据え付けられたときに携帯装置のポートと電気的な接続を行うコネクタを有してもよい。着脱自在ケースは、ハウジング内に固定され、ハウジングの第１の側、ハウジングの第２の側及び中心軸平面の各々に対して直角でない角度の固定された光軸を有する少なくとも一つのイメージセンサを有してもよい。着脱自在ケースは、タッチセンサー式ディスプレイの面にリアルタイムの表示を行うために画像データを少なくとも一つのイメージセンサから伝送する回路を更に有してもよい。

他の開示した実施の形態によれば、移動の順路を進む間に下方を見るユーザに拡張現実を提供するように構成された手持ち式携帯通信装置を提供する。手持ち式携帯通信装置は、上面、下面及び側端を有するハウジングと、上面に配置されたタッチセンサー式ディスプレイと、少なくとも一つのプロセッサと、を有してもよい。手持ち式携帯通信装置は、タッチセンサー式ディスプレイが下を見るユーザの顔に対向した状態で手持ち式携帯通信装置がユーザに保持されるような向きにハウジング内に固定して組み込まれたイメージセンサを有してもよい。少なくとも一つのプロセッサを、イメージセンサから画像ストリームを取得し、取得した画像ストリームにおけるユーザの移動の経路のオブジェクトを識別し、識別したオブジェクトについての情報を調べ、識別したオブジェクトを含む取得した画像ストリームをリアルタイムでタッチセンサー式ディスプレイに表示し、識別したオブジェクトに関連する視覚インジケータをタッチセンサー式ディスプレイに表示するようにプログラムしてもよい。

他の開示した実施の形態によれば、タッチセンサー式ディスプレイを有する手持ち式携帯通信装置のための着脱自在ケースを提供する。着脱自在ケースは、上面、下面及びこれらの間の端部を有するハウジングを有してもよい。着脱自在ケースは、少なくとも一つのイメージセンサであって、手持ち式携帯通信装置が着脱自在ケースに据え付けられるとともにタッチセンサー式ディスプレイが下を見るユーザの顔に対向する状態で下を見るユーザの手に保持されたときに、少なくとも一つのイメージセンサの光軸が一般的には移動の経路の方向に延在するような向きにハウジングに組み込まれる少なくとも一つのイメージセンサを有してもよい。着脱自在ケースは、手持ち式携帯通信装置がハウジングに据え付けられたときに手持ち式携帯通信装置のポートと電気的な接続を行うコネクタと、着脱自在ケースに組み込まれた少なくとも一つのコンデュイットであって、少なくとも一つのイメージセンサの間に延在するとともにコネクタによって少なくとも一つのイメージセンサに電気的に接続して少なくとも一つのイメージセンサから手持ち式携帯通信装置へのリアルタイム画像ストリームを可能にする、少なくとも一つのコンデュイットと、を有してもよい。さらに、着脱自在ケースは、視覚インジケータをリアルタイム画像ストリームに重ね合わせる少なくとも一つのプロセッサを有してもよい。

他の開示した実施の形態によれば、下を向いて手持ち式携帯通信装置のタッチセンサー式ディスプレイを見る間に移動の順路を進むユーザに拡張現実を提供する方法を提供する。方法は、イメージセンサから画像ストリームを取得することであって、手持ち式携帯通信装置が、タッチセンサー式ディスプレイが下を見るユーザの顔に対向する状態で下を見るユーザの手に保持されたときに、イメージセンサは、イメージセンサの光軸が一般的には移動の経路の方向に延在するような向きに手持ち式携帯通信装置のケーシングに固定して組み込まれることと、取得した画像ストリームにおけるユーザの移動の経路のオブジェクトを識別することと、識別したオブジェクトについての情報を調べることと、識別したオブジェクトを含む取得した画像ストリームを、タッチセンサー式ディスプレイにリアルタイムで表示することと、識別したオブジェクトに関連する視覚インジケータをタッチセンサー式ディスプレイに表示することと、を備えてもよい。

他の開示した実施の形態によれば、上向きの表示面及び反対側の下側面を有する、手持ち式携帯通信装置のための画像取得ケーシングを提供する。画像取得ケーシングは、手持ち式携帯通信装置の少なくとも一部を包囲するハウジングを有してもよい。画像取得ケーシングは、ハウジングに搭載されるとともに第１の方向に延在する第１の光軸及び第１の方向とは異なる第２の方向に延在する第２の光軸を有する少なくとも一つのイメージセンサであって、第１の光軸は、手持ち式携帯通信装置がハウジングによって保持されているときに下側面に対して一定の鈍角に向くように構成された、少なくとも一つのイメージセンサを有してもよい。画像取得ケーシングは、表示面にリアルタイムの表示を行うために画像データを少なくとも一つのイメージセンサから伝送する回路を有してもよい。

他の開示した実施の形態によれば、手持ち式携帯通信装置を提供する。手持ち式携帯通信装置は、ディスプレイと、上面に沿ってディスプレイを保持するとともに上面の反対にある下面を有するハウジングであって、端部を上面と下面の間に配置したハウジングと、を有してもよい。手持ち式携帯通信装置は、上面に組み込まれるとともに上面から離れる第１の方向に延在する第１の光軸を有する少なくとも一つの第１のイメージセンサと、下面に組み込まれるとともに下面から離れる第２の方向に延在する第２の光軸を有する少なくとも一つの第２のイメージセンサと、端部に少なくとも部分的に組み込まれるとともに端部から離れる第３の方向に延在する第３の光軸を有する少なくとも一つの第３のイメージセンサであって、第１の方向、第２の方向及び第３の方向は互いに異なる、少なくとも一つの第３のイメージセンサと、を有してもよい。手持ち式携帯通信装置は、ハウジング内の少なくとも一つのプロセッサであって、少なくとも一つの第１のイメージセンサからの画像データ、少なくとも一つの第２のイメージセンサからの画像データ及び少なくとも一つの第３のイメージセンサからの画像データを受け取り、少なくとも一つの第１のイメージセンサからの画像データ、少なくとも一つの第２のイメージセンサからの画像データ及び少なくとも一つの第３のイメージセンサからの画像データをディスプレイに表示させることができる少なくとも一つのプロセッサを有してもよい。

他の開示した実施の形態によれば、上向きの表示面及び反対側の下側面を有する、携帯装置のための画像取得ケーシングを提供する。画像取得ケーシングは、携帯装置の少なくとも一部を包囲するハウジングであって、上面、下面及び上面と下面を互いに連結する端部を有するハウジングを有してもよい。画像取得ケーシングは、端部に組み込まれる複数のイメージセンサであって、複数のイメージセンサの各々は光軸を有し、携帯装置がハウジングによって保持されているときに、各光軸は、上向きの表示面及び下側面に垂直な軸と異なる、複数のイメージセンサを有してもよい。画像取得ケーシングは、画像データを複数のイメージセンサからディスプレイに伝送する回路を更に有してもよい。

他の開示した実施の形態によれば、携帯通信装置で用いられるコンピュータ可読媒体を提供する。コンピュータ可読媒体は、プロセッサによって実行される際に、携帯通信装置が前進運動しているという第１の表示を、携帯通信装置の少なくとも一つのセンサから受け取るステップと、携帯通信装置のイメージセンサが画像を取得する向きにあるという第２の表示を、携帯通信装置の少なくとも一つのセンサから受け取るステップと、第１の表示と第２の表示の両方に応答して、順路画像のリアルタイム表示を、携帯通信装置のディスプレイに自動的に行うステップと、をプロセッサによって実行させる命令を有してもよい。

他の開示した実施の形態によれば、携帯通信装置で用いられるコンピュータ可読媒体を提供する。コンピュータ可読媒体は、プロセッサによって実行される際に、ユーザが移動経路に沿って移動する際のユーザの環境を表す画像データを、携帯通信装置に関連する少なくとも一つのイメージセンサから受け取るステップと、携帯通信装置へのリアルタイム表示のために、ユーザの移動経路に対応する視野ウィンドウを画像データから選択するステップと、視野ウィンドウを対話型ユーザアプリケーションウィンドウと同時にディスプレイに表示するとともに視野ウィンドウの外側の画像データをディスプレイの表示から除外するステップと、をプロセッサによって実行させる命令を有してもよい。

他の開示した実施の形態によれば、携帯通信装置で用いられるコンピュータ可読媒体を提供する。コンピュータ可読媒体は、プロセッサによって実行される際に、ユーザが移動経路に沿って移動する際のユーザの環境を表す画像データを、携帯通信装置に関連する少なくとも一つのイメージセンサから受け取るステップと、ユーザが関与する活動を反映する情報を、少なくとも一つのセンサから受け取るステップと、メモリにある複数の活動のインジケータ及び各活動に関連する視野ウィンドウにアクセスするステップと、携帯通信装置へのリアルタイム表示のために、視野ウィンドウを画像データから選択するステップであって、選択した視野ウィンドウは、ユーザが現在関与する活動に関連するステップと、選択した視野ウィンドウを携帯通信装置のディスプレイに適用するステップと、をプロセッサによって実行させる命令を有してもよい。

他の開示した実施の形態によれば、携帯通信装置で用いられるコンピュータ可読媒体を提供する。コンピュータ可読媒体は、プロセッサによって実行される際に、ユーザが移動経路に沿って移動する際のユーザの環境を表すリアルタイム画像ストリームを、携帯通信装置に関連する少なくとも一つのイメージセンサから受け取るステップと、リアルタイム画像ストリームを携帯通信装置のタッチスクリーンディスプレイに表示するステップと、対話型ユーザアプリケーションをリアルタイム画像ストリームと同時に携帯通信装置のタッチスクリーンディスプレイに表示するステップと、タッチスクリーンディスプレイを用いるユーザがリアルタイム画像ストリームに関連する領域にタッチするとともにリアルタイム画像ストリームのうちの少なくとも１フレームを対話型ユーザアプリケーションに転送できるようにするステップと、少なくとも１フレームに関連する対話型ユーザアプリケーションの動作を実行するステップと、をプロセッサによって実行させる命令を有してもよい。

他の開示した実施の形態によれば、互いに横切る軸に沿って取得した２方向ビデオストリームを表示するための手持ち式携帯通信装置を提供する。手持ち式携帯通信装置は、上面、下面及び側端を有するハウジングを有してもよい。手持ち式携帯通信装置は、上面に配置されたタッチセンサー式スクリーンと、少なくとも一つのプロセッサと、を有してもよい。手持ち式携帯通信装置は、上面から離れた第１の方向に延在する第１の光軸を有する第１のイメージセンサであって、手持ち式携帯通信装置がタッチセンサー式スクリーンを見るユーザの手に保持されているときにユーザの顔を取得するように構成された、第１のイメージセンサと、側端に少なくとも部分的に組み込まれるとともに側端から離れた第２の方向に延在する第２の光軸を有する第２のイメージセンサであって、手持ち式携帯通信装置がタッチセンサー式スクリーンを見るユーザの手に保持されているときにユーザの移動経路を取得するように構成され、第１の方向は第２の方向を横切る、第２のイメージセンサと、を有してもよい。少なくとも一つのプロセッサを、ユーザの顔の第１のリアルタイム画像ストリームを第１のイメージセンサから取得し、ユーザの移動経路の第２のリアルタイム画像ストリームを第２のイメージセンサから取得し、ユーザの顔及びユーザの移動経路の２方向表示をタッチセンサー式スクリーンにおいてリアルタイムで行うようにプログラムしてもよい。

他の開示した実施の形態によれば、移動の順路を進む間に下を見るユーザに方向誘導を行うように構成された手持ち式携帯通信装置を提供する。手持ち式携帯通信装置は、上面、下面及び側端を有するハウジングを有してもよい。手持ち式携帯通信装置は、上面に配置されたタッチセンサー式ディスプレイと、ＧＰＳチップと、少なくとも一つのプロセッサと、を有してもよい。携帯通信装置は、タッチセンサー式ディスプレイが下を見るユーザの顔に対向する状態で携帯通信装置がユーザの手に保持されているときに光軸が一般的に移動の経路の方向に延在する向きにハウジングに固定して組み込まれたイメージセンサを更に有してもよい。少なくとも一つのプロセッサを、目的地までの一連のターンバイターン指示を方向誘導アプリケーションから受け取り、タッチセンサー式ディスプレイがユーザの顔に対向した状態でユーザが順路を進む際に、イメージセンサからのリアルタイム画像ストリームをタッチセンサー式ディスプレイに表示し、ターンバイターン指示の少なくとも一つの視覚インジケータをリアルタイム画像ストリームと同時に表示するために、ＧＰＳチップから取得した位置情報を用いるようにプログラムしてもよい。

他の開示した実施の形態によれば、携帯電話のための着脱自在ケースを提供する。着脱自在ケースは、ハウジングと、ハウジングに組み込まれた少なくとも一つのイメージセンサと、を有してもよい。着脱自在ケースは、携帯電話が着脱自在ケースに据え付けられたときに携帯電話のポートにはめ込まれるように構成された、ハウジング内のコネクタを有してもよい。着脱自在ケースは、着脱自在ケースに組み込まれた少なくとも一つのコンデュイットであって、少なくとも一つのイメージセンサの間に延在するとともにコネクタによって少なくとも一つのイメージセンサに電気的に接続して少なくとも一つのイメージセンサから携帯電話へのリアルタイム画像ストリームを可能にする、少なくとも一つのコンデュイットを更に有してもよい。

他の開示した実施の形態によれば、携帯電話の端部に組み込まれた複数のイメージセンサからの統合した画像データを用いてストリートビューマップのクラウドソースによる生成を行うシステムを提供する。システムは、地理的地域のストリートビューマップを維持し、ＧＰＳ座標をストリートビューマップの位置に関連させ、ストリートビュー画像を、複数のユーザの複数の携帯電話の端部に組み込まれた複数のイメージセンサから受信し、受信したストリートビュー画像の各々に関連するＧＰＳ位置を、複数の携帯電話の各々から受信し、ストリートビューマップを、ストリートビューマップのＧＰＳ位置に対応する受信したストリートビュー画像に関連するＧＰＳ位置の複数のイメージセンサからの受信したストリートビュー画像で更新するように構成された少なくとも一つのプロセッサを有してもよい。

他の開示した実施の形態によれば、携帯電話の端部に組み込まれた複数のイメージセンサからの統合した画像データを用いてストリートビューマップのクラウドソースによる生成を行う方法を提供する。方法は、地理的地域のストリートビューマップを維持し、ＧＰＳ座標をストリートビューマップの位置に関連させることと、ストリートビュー画像を、複数のユーザの複数の携帯電話の端部に組み込まれた複数のイメージセンサから受信することと、受信したストリートビュー画像の各々に関連するＧＰＳ位置を、複数の携帯電話の各々から受信することと、受信したストリートビュー画像に関連するＧＰＳ位置がストリートビューマップのＧＰＳ位置に対応するときに、ストリートビューマップを、複数のイメージセンサからの受信したストリートビュー画像で更新することと、を有してもよい。

他の開示した実施の形態によれば、携帯通信装置で用いられるコンピュータ可読媒体を提供する。コンピュータ可読媒体は、第１の方向に延在する第１の光軸を有する第１のイメージセンサから第１のリアルタイム画像ストリームを受け取るステップと、第１の方向とは異なる第２の方向に延在する第２の光軸を有する第２のイメージセンサから第２のリアルタイム画像ストリームを受け取るステップと、携帯通信装置に表示するために視野ウィンドウを第１のリアルタイム画像ストリームから決定するステップと、決定した視野ウィンドウに対応するリアルタイム表示を携帯通信装置のディスプレイで行うステップと、ディスプレイへのユーザのタッチに応答して視野ウィンドウの調整を行うことであって、調整は、第１のリアルタイム画像ストリームからの新たな視野ウィンドウの選択と第２のリアルタイム画像ストリームからの新たな視野ウィンドウの選択のうちの少なくとも一方を有する、ステップと、をプロセッサによって実行させる命令を有してもよい。

他の開示した実施の形態によれば、非一時なコンピュータ可読記憶媒体は、少なくとも一つのプロセッサによって実行させるとともにここで開示した方法のいずれかを実行するプログラム命令を格納してもよい。

上述した一般的な説明及び後の詳細な説明は、例示的な説明に過ぎず、特許請求の範囲を限定するものではない。

本開示の一部に組み込まれるとともに本開示の一部を構成する添付図面は、種々の開示した実施の形態を示す。

第１の視点からの携帯通信装置を凝視しながら歩行するユーザの略図である。 第２の視点からの図１Ａに示すユーザの略図である。 第１の視点からの本開示による第１の例示的な装置の略図である。 第２の視点からの図２Ａに示す第１の例示的な装置の略図である。 第１の視点からの本開示による第２の例示的な装置の略図である。 第２の視点からの図３Ａに示す第２の例示的な装置の略図である。 図２Ａに示す第１の例示的な装置に関連するエッジカメラアセンブリの視野の略図である。 図３Ａに示す第２の例示的な装置に関連するエッジカメラアセンブリの視野の略図である。 図２Ａに示す第１の例示的な装置に関連する複数のイメージセンサを有するエッジカメラアセンブリの視野の略図である。 開示の実施の形態によるエッジカメラアセンブリの光軸の角度を示す略図である。 携帯通信装置と一体のカメラの他の光軸に対するエッジカメラアセンブリの光軸の向きを示す略図である。 図３Ａに示す第２の例示的な装置の携帯装置の主軸に対するエッジカメラアセンブリの光軸の向きを示す略図である。 図３Ａに示す第２の例示的な装置と一体のカメラの他の視野に対するエッジカメラアセンブリの視野を示す略図である。 図３Ａに示す第２の例示的な装置に関連するエッジカメラアセンブリの回路を示す機能ブロック図である。 図２Ａに示す第１の例示的な装置に関連するエッジカメラアセンブリの回路を示す機能ブロック図である。 開示した実施の形態による拡張現実をユーザに提供する例示的な方法のフローチャートである。 開示した実施の形態による拡張現実をユーザに提供する例示的な方法のフローチャートである。 開示した実施の形態による拡張現実をユーザに提供する例示的な方法のフローチャートである。 開示した実施の形態による拡張現実をユーザに提供する例示的な方法のフローチャートである。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。 開示した実施の形態によるエッジカメラアセンブリの他の例示的な使用の略図である。

以下の詳細な説明は、添付図面を参照する。可能な場合には、同一又は同様な部分を示すために同一の参照番号を図面及び後の説明で用いる。開示は、説明する実施の形態及び例に限定されない。適切な範囲は、特許請求の範囲によって規定される。

開示した実施の形態は、リアルタイム画像表示を携帯通信装置のディスプレイに行うためにユーザの前方の環境の画像を取得するように構成されたエッジカメラアセンブリを含む。ここで用いられるように、用語「携帯通信装置」は、無線通信チップセット、スマートフォン、タブレット、スマートウォッチ、ユーザ装置（ＵＥ）、携帯端末等を含むがそれに限定されない無線ネットワークと通信を行うことができる任意のディスプレイ付き携帯装置を意味する。用語「手持ち式携帯通信装置」、「手持ち式携帯装置」、「携帯通信装置」及び「携帯装置」は、簡略のために用いられてもよく、上述した多様な装置のいずれかを意味する。

開示したエッジカメラアセンブリは、携帯通信装置に関与することができる又は携帯通信装置の一部とすることができる画像取得機能を有するシステムを含んでもよい。エッジカメラアセンブリは、ハウジングと、イメージセンサと、画像データをイメージセンサから伝送する回路と、を有してもよい。開示した実施の形態によれば、イメージセンサを、携帯通信装置に関連するケーシングの上側面と下側面とを互いに連結する端面に配置してもよい。開示の第１の態様において、携帯通信装置のための着脱自在ケースを提供する。この態様において、エッジカメラアセンブリは、携帯通信装置から分離可能であってもよいが、携帯通信装置をケースに据え置いたときに携帯通信装置に関与するように構成される。開示の第２の態様において、携帯通信装置を提供する。この態様において、エッジカメラアセンブリは、上記携帯通信装置の筐体と一体であってもよい。

本開示の二つの態様は、（「ケーシング」としても知られている）画像取得ケーシングを含んでもよい。ここでは、用語「ケーシング」を、エッジカメラアセンブリのシールド部材の任意の保護素子を指すために用いる。ケーシングを、所望の形状に成形される（熱可塑性ゴム、合成プラスチック、ポリウレタン、金属等のような）弾性材料から構成してもよい。第１の方法において、画像取得ケーシングを、エッジカメラアセンブリと携帯通信装置の両方を保護する着脱自在ケースとしてもよい。第２の方法において、画像取得ケーシングは、携帯通信装置と一体であってもよく、装置のカバーとしての役割を果たす。

開示の実施の形態による画像取得ケーシングは、携帯通信装置の少なくとも一部を包囲するハウジングを有してもよい。用語「ハウジング」は、携帯通信装置の少なくとも一部又は携帯通信装置の構成要素を収容するように設計された任意の構造又は囲いを広く含む。一例において、ハウジングは、幅及び／又は厚さより十分長い長さを有する、ユーザの手で握ることができる細長い部分を有してもよい。ハウジングは、正方形、矩形、丸みを帯びた矩形又は握ることができる他の任意の規則的若しくは不規則的な形状の断面を有してもよい。そのような構造によって、使用中に堅実な握りを繰り返すことができる。明細書及び特許請求の範囲で用いられるように、用語「上側」、「上部」、「下側」、「底部」、「前」、「後ろ」及び「後部」は、ハウジングの細長い部分が水平に向けられるとともに携帯通信装置のディスプレイ側が上に向いたときのハウジングの部分又は位置を意味する。

一部の実施の形態において、エッジカメラアセンブリは、ハウジングに搭載された又はハウジングに組み込まれたイメージセンサを有してもよい。用語「ハウジングに搭載された」又は「ハウジングに組み込まれた」は、イメージセンサが完全に又は部分的にハウジングに包み込まれる（ｅｎｃａｐｓｕｌａｔｅｄ）ことを意味する。イメージセンサを、近赤外スペクトル、赤外スペクトル、可視スペクトル及び紫外スペクトルの光信号を検出するとともに当該光信号を電気信号に変換することができる装置としてもよい。電気信号を、画像データを生成するのに用いてもよい。用語「画像データ」は、近赤外スペクトル、赤外スペクトル、可視スペクトル及び紫外スペクトルの光信号から取り出される任意の形態のデータ（例えば、情報、画像及び／又はビデオストリーム）を含む。エッジカメラアセンブリに関連するイメージセンサの例は、デジタルカメラと、携帯電話のカメラと、半導体電荷結合素子（ＣＣＤ）と、相補型酸化金属膜半導体（ＣＭＯＳ）又はＮ型酸化金属膜半導体（ＮＭＯＳ、Ｌｉｖｅ ＭＯＳ）のアクティブ画素センサと、を含んでもよい。エッジカメラアセンブリに関連するイメージセンサは、９０°より大きい視野、１２０°より大きい視野、１８０°より大きい視野又は約３６０°の視野を有してもよい。さらに、エッジカメラアセンブリに関連するイメージセンサは、６４０×４８０の分解能、１０２４×７６８の分解能、１２８０×９６０の分解能又は他の任意の適切な分解能を有してもよい。

本開示によれば、イメージセンサを、ハウジングが歩行中のユーザに保持されているときにイメージセンサの光軸が一般的にユーザの歩行方向に延在するようにハウジングに搭載してもよい（又は組み込んでもよい）。ここで用いるように、用語「光軸」は、光がカメラの視野からイメージセンサの中央まで伝播する経路を規定する仮想線を意味する。本開示において、用語「一般的にユーザの歩行方向に延在する（又は向く）」は、エッジカメラアセンブリの視野がユーザの歩行方向に対応するユーザの環境の区域をカバーすることを広く意味する。一例において、エッジカメラアセンブリを、広視野を有する２４０°魚眼レンズに関連させてもよい。他の例において、エッジカメラアセンブリの視野を図１Ｂに示す。両方の例において、イメージセンサが、ユーザの歩行方向に対応する環境の区域を取得するので、イメージセンサの光軸が一般的にユーザの歩行方向に延在する。

エッジカメラアセンブリは、イメージセンサから取得した画像データを伝送する回路を有してもよい。開示した実施の形態によれば、画像データを、携帯通信装置のディスプレイにリアルタイムで表示してもよい。ここで用いるように、用語「リアルタイム」は、画像の取得と取得した画像の表示の間に観測可能な待ち時間が一般的にないことを意味する。ここで用いる「回路」は、（ａ）アナログ及び／又はデジタル回路のみにおいての実現のようなハードウェアのみの回路の実現（例えば、ワイヤ、電気的な接続）、（ｂ）装置に種々の機能を実行させるために協働する回路、ソフトウェア及び／又はファームウェアの組合せ（例えば、プロセッサ、デジタル信号プロセッサ、ソフトウェア及びメモリの組合せ）及びソフトウェア又はファームウェアが物理的に存在しない場合でも動作に対してソフトウェア又はファームウェアを必要とする回路（例えば、マイクロプロセッサ又はマイクロプロセッサの一部）の全てを意味する。第１の方法において、回路は、携帯通信装置が着脱自在ケースに据え付けられたときに携帯通信装置のポートに関与するコネクタを有してもよい。第２の方法において、回路は、携帯通信装置の一部であるプロセッサを有してもよい。

開示した実施の形態によれば、エッジカメラアセンブリは、イメージセンサから画像データを受け取るとともに順路画像の表示を携帯通信装置のディスプレイで行うように構成された少なくとも一つのプロセッサを有してもよい又は当該プロセッサと通信を行ってもよい。少なくとも一つのプロセッサは、一つ以上の入力の論理演算を行う電気回路を有する任意の物理的な装置を構成してもよい。例えば、少なくとも一つのプロセッサは、一つ以上の集積回路、マイクロチップ、マイクロコントローラ若しくはマイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＵＩ）、デジタル信号プロセッサ（ＤＳＰ）若しくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）の全て若しくは一部、又は、命令を実行する若しくは論理演算を行うのに適した他の回路を有してもよい。少なくとも一つのプロセッサによって実行される命令を、例えば、コントローラと一体の若しくはコントローラに組み込まれたメモリに予めロードしてもよい又は個別のメモリに格納してもよい。メモリは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク、光ディスク、磁気媒体、フラッシュメモリ、他の永久メモリ、固定記憶装置若しくは揮発性メモリ、又は、命令を格納することができる他の任意の機構を備えてもよい。一実施の形態において、メモリは、複数の活動のインジケータ及び各活動に関連する視野ウィンドウを格納するように構成される。こ実施の形態を、図２０を参照しながら後の更なる詳細において開示する。

一実施の形態において、少なくとも一つのプロセッサは、二つ以上のプロセッサを有してもよい。各プロセッサは、同様な構造を有してもよい、又は、プロセッサは、互いに電気的に接続される若しくは切り離される異なる構造を有してもよい。例えば、プロセッサを個別の回路としてもよい又はプロセッサを単一の回路に集積してもよい。二つ以上の回路を用いるとき、プロセッサを、独立して構成してもよい又は協働するように構成してもよい。プロセッサを、電気的に、磁気的に、光学的に、音響的に、機械的に又は相互に作用できるようにする他の手段によって結合してもよい。開示した実施の形態において、少なくとも一つのプロセッサによって順路画像のリアルタイム表示を携帯通信装置のディスプレイで行うようにしてもよい。本開示によれば、用語「リアルタイム表示」は、イメージセンサが画像を取得してから画像が携帯通信装置に表示されるまでの小さい遅延を包含する。例えば、遅延を、約０．１ミリ秒未満、０．０５ミリ秒未満又は０．０１秒未満としてもよい。

図１Ａは、ケース１０４を有する携帯装置１０２を凝視しながらユーザ１００が歩行する状況を示す。本開示の実施の形態によれば、携帯装置１０２又はケース１０４は、エッジカメラアセンブリを有してもよい。エッジカメラアセンブリは、ユーザ１００が方向１０６の移動経路に沿って移動する際にユーザ１００の環境を表す画像データを取得することができる。ユーザ１００の有効視野を視野１０８によって表し、エッジカメラの例示的な視野を視野１１０によって表す。エッジカメラアセンブリを用いることによって、ユーザ１００は、移動経路沿いに配置されたオブジェクト１１２に衝突するのを回避することができる。一実施の形態において、装置スクリーンの障害に接近するユーザを示す画像表示をエッジカメラアセンブリによって行ってもよい。他の実施の形態において、エッジカメラアセンブリは、エッジカメラアセンブリと一体となった又はエッジカメラアセンブリに機能的に関連した処理回路で実行される障害検出アルゴリズムに応答してアラートを引き起こしてもよい又は通知を行ってもよい。

図１Ｂは、図１Ａに示す状況と同一の状況を上から示す。上述したように、携帯装置１０２がケース１０４に据え付けられたとき、エッジカメラアセンブリの光軸は、一般的には歩行方向１０６に向く。図１Ｂは、視野１１０の水平成分が歩行方向１０６に一致するユーザの環境の区域をカバーすることを示す。視野１１０の水平成分の角度範囲を、図１Ｂでは例示のために角度αで表す。一部の実施の形態において、視野１１０の水平成分の角度範囲を、例えば、４０°より大きくしてもよい、６５°より大きくしてもよい、９０°より大きくしてもよい、１２０°より大きくしてもよい又は１８０°より大きくしてもよい。代替的には、視野１１０の水平成分の角度範囲を、例えば、１６０°より小さくしてもよい、１１０°より小さくしてもよい、７０°より小さくしてもよい又は４５°より小さくしてもよい。本開示によれば、携帯装置１０２は、オブジェクト１１２がユーザの移動経路沿いに配置されていることの表示を含む順路のリアルタイム表示１１４を行ってもよい。他の実施の形態において、後に更なる詳細で説明するように、携帯装置１０２は、順路のリアルタイム表示１１４に重ね合わせコンテンツを表示してもよい。

図２Ａ及び図２Ｂは、本開示の第１の態様を示す。特に、図２Ａ及び図２Ｂは、携帯装置１０２に選択的に接続可能であるとともに携帯装置１０２から選択的に分離可能である着脱自在ケース１０４に組み込まれたエッジカメラアセンブリを示す。エッジカメラアセンブリは、上側面２０２、反対側にある下側面２０４及び上側面２０２と下側面２０４の間に配置された端面２０６を有するハウジング２００を有する。端面２０６は、下側面２０４から上方向に延在する。（「端部」又は「周辺端部」としても知られている）用語「端面」は、ここでは、上側面２０２及び下側面２０４を互いに連結する周辺領域を意味するために用いる。一部の実施の形態において、端面２０６は、平坦であるとともにハウジング２００の主面に対して直角であってもよい。代替的には、端面は、上側面２０２及び下側面２０４に対して異なる角度を有するとともに幾分湾曲してもよい。図３Ａ及び図３Ｂは、端面が図２Ａ及び図２Ｂに示すものと異なるように形成された他の実施の形態を示す。本開示によれば、エッジカメラアセンブリは、回路２０８及びイメージセンサ２１０を更に有してもよい。例示のみのために、回路２０８及びイメージセンサ２１０を、ハウジング２００から切り離して示す。実際には、一部の実施の形態によれば、イメージセンサ２１０は、イメージセンサ２１０の光軸が上側面２０２及び下側面２０４に対して直角以外の角度で傾斜して固定されるように端面２０６に固定されてもよい又は組み込まれてもよい。例えば、イメージセンサ２１０を、下側面２０４から延在する突起部に固定してもよい。

エッジカメラアセンブリは、携帯装置１０２の追加のイメージセンサの光軸が通過できるように構成された開口（例えば、孔２１２）を有してもよい。携帯装置１０２の追加のイメージセンサは、ハウジング２００に搭載されたイメージセンサ２１０と異なってもよい。一部の実施の形態において、着脱自在ケース１０４は、イメージセンサ２１０に給電を行う及び／又は携帯装置１０２に給電を行うように構成された、ハウジング２００内のバッテリ（図示せず）を有してもよい。したがって、着脱自在ケース１０４は、バッテリを無線充電するための受信機を更に有してもよい。代替的には、回路２０８を、携帯装置１０２内のバッテリからイメージセンサ２１０に電力を伝送するように構成してもよい。他の実施の形態において、エッジカメラアセンブリは、イメージセンサ２１０に関連する光軸の方向に実質的に向けられた指向性マイク（図示せず）を更に有してもよい。

開示の第１の態様によれば、エッジカメラアセンブリは、回路２０８の一部である又は回路２０８に関連するコネクタ２１４及び少なくとも一つのコンデュイット２１６を更に有してもよい。一実施の形態において、コネクタ２１４を、携帯装置１０２がケース１０４に据え付けられたときに携帯装置１０２のポートに関与するように構成してもよい。さらに、コンデュイット２１６は、イメージセンサ２１０から携帯装置１０２へのリアルタイム画像ストリームを可能にするためにイメージセンサ２１０とコネクタ２１４の間に延在するとともにイメージセンサ２１０及びコネクタ２１４に電気的に接続する。着脱自在ケース１０４の一形態において、イメージセンサ２１０を、コンデュイット２１６がイメージセンサ２１０とコネクタ２１４の間でハウジング２００を横切るようにコネクタ２１４の反対側にある端面２０６の一部に配置してもよい。本開示によれば、回路２０８は、データを携帯装置１０２とやり取りするとともに転送するインタフェース回路（図示せず）を更に有してもよい。転送されるデータは、イメージセンサ２１０によって取得される画像、ビデオデータ又は３次元走査データを有してもよい。一部の実施の形態において、回路２０８を、有線接続を介して画像データを伝送するように構成してもよい。例えば、インタフェース回路は、ＵＳＢ，マイクロＵＳＢ、ＨＤＭＩ（登録商標）、マイクロＨＤＭＩ（登録商標）、ＦｉｒｅＷｉｒｅ（登録商標）、Ａｐｐｌｅ（登録商標）等のような有線規格に適合してもよい。他の実施の形態において、回路２０８を、無線接続を介して画像データを伝送するように構成する。例えば、インタフェース回路は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、ＮＦＣ、ＺｉｇＢｅｅ（登録商標）等のような無線規格に適合してもよい。

図２Ｂは、本開示の第１の態様の第２の視点からの図である。図２Ｂに示す視点は、着脱自在ケース１０４の側面からの視点である。この図において、携帯装置１０２は、ケース１０４に据え付けられ、したがって、エッジカメラアセンブリによって、イメージセンサ２１０から携帯装置１０２へのリアルタイム画像ストリームが可能になる。一部の実施の形態において、回路２０８によって、イメージセンサ２１０を携帯装置１０２により制御することができる。例えば、イメージセンサ２１０を、携帯装置１０２のセンサによって検出される加速度に応答して起動させることができる。

図３Ａ及び図３Ｂは、本開示の第２の態様を示す。具体的には、図３Ａ及び図３Ｂは、携帯装置１０２と一体になったエッジカメラアセンブリを示す。本開示の第２の態様によれば、エッジカメラアセンブリは、（上側面２０２、下側面２０４及び端面２０６を有する）ハウジング２００、回路２０８（図示せず）及びイメージセンサ２１０を更に有する。図３Ａ及び図３Ｂに示すように、端面２０６は、湾曲するとともに上側面２０２及び下側面２０４と直角とは異なる角度を成してもよい。一部の実施の形態において、携帯装置１０２は、イメージセンサ２１０によって取得されたリアルタイム画像ストリームを表示するためのタッチセンサー式ディスプレイ３００を有してもよい。追加的には、タッチセンサー式ディスプレイ３００は、例えば、回路２０８と協働しながらユーザ１００からの入力を検出することができる。携帯装置１０２は、電源と回路２０８の間のインタフェースとすることができるポート３０２を更に有してもよい。一実施の形態において、ポート３０２を、携帯装置１０２のバッテリを充電するのに用いてもよい。他の実施の形態において、ポート３０２を、携帯装置を他の電気装置に接続するのに用いてもよい。例えば、エッジカメラアセンブリを着脱自在ケース１０４に組み込んだとき、ポート３０２を、イメージセンサ２１０と携帯装置１０２の間の通信チャネルを形成するのに用いてもよい。

本開示によれば、エッジカメラアセンブリによって、携帯装置１０２は、ユーザ１００の環境からのリアルタイム画像ストリームをイメージセンサ２１０から受け取るとともにリアルタイム画像ストリームウィンドウ３０４を対話型ユーザアプリケーションウィンドウ３０６と同時にタッチセンサー式ディスプレイ３００に表示することができる。画像を他のアプリと同時に表示するためのタッチセンサー式ディスプレイ３００のスペースが制限されているので、ナビゲーションのための表示区域（ｄｉｓｐｌａｙ ｒｅａｌ ｅｓｔａｔｅ）を有効に用いる必要がある。一実施の形態において、携帯装置１０２は、最初に、タッチセンサー式ディスプレイ３００の約５０％に対話型ユーザアプリケーションウィンドウ３０６を表示するとともにタッチセンサー式ディスプレイ３００の約５０％にリアルタイム画像ストリームウィンドウ３０４を表示する。他の実施の形態において、携帯装置１０２は、最初に、タッチセンサー式ディスプレイ３００の約６０％に対話型ユーザアプリケーションウィンドウ３０６を表示するとともにタッチセンサー式ディスプレイ３００の約４０％にリアルタイム画像ストリームウィンドウ３０４を表示する。他の実施の形態において、携帯装置１０２は、最初に、タッチセンサー式ディスプレイ３００の約７０％に対話型ユーザアプリケーションウィンドウ３０６を表示するとともにタッチセンサー式ディスプレイ３００の約３０％にリアルタイム画像ストリームウィンドウ３０４を表示する。ユーザ１００は、対話型ユーザアプリケーションウィンドウ３０６とリアルタイム画像ストリームウィンドウ３０４の比を変更するために（例えば、ＧＵＩ形態３０８を用いて）入力を行ってもよい。例えば、ユーザ１００は、リアルタイム画像ストリームウィンドウ３０４がタッチセンサー式ディスプレイ３００の約１００％をカバーするように対話型ユーザアプリケーションウィンドウ３０６とリアルタイム画像ストリームウィンドウ３０４の比を変更してもよい。他の実施の形態において、携帯装置１０２によって、ユーザ１００は、リアルタイム画像ストリームウィンドウ３０４に表示される画像データから視野を選択することができる。携帯装置１０２は、最初に、（例えば、画像データのオブジェクトを識別する画像処理アルゴリズムを用いて）ユーザ１００の移動経路に対応すると推定される視野を表示する。しかしながら、場合よっては、ユーザ１００は、リアルタイム画像ストリームウィンドウ３０４に表示される視野を変更することを所望する。本実施の形態を、図１５を参照しながら後の更なる詳細において説明する。

複数のタイプの携帯装置１０２は、上側面２０２を横切るように向けられた光軸を有する第１の追加のイメージセンサ３１０（例えば、セルフィ−カメラ）及び下側面２０４の下に組み込まれるとともに下側面２０４を横切るように向けられた光軸を有する第２の追加のイメージセンサ３１２（例えば、背面カメラ）を更に有してもよい。本開示によれば、携帯装置１０２は、回路２０８を介して、イメージセンサ２１０からの画像データ、第１の追加のイメージセンサ３１０からの画像データ及び第２の追加のイメージセンサ３１２からの画像データを受け取ってもよい。一実施の形態において、ユーザ１００は、リアルタイム画像ストリームウィンドウ３０４がイメージセンサ２１０、第１の追加のイメージセンサ３１０又は第２の追加のイメージセンサ３１２からの画像データを表示することができるようにイメージセンサ間の切替を行ってもよい。本実施の形態を、図１６を参照しながら後の更なる詳細において説明する。他の実施の形態において、携帯装置１０２によって、イメージセンサ２１０、第１の追加のイメージセンサ３１０及び第２の追加のイメージセンサ３１２のうちの少なくとも二つのイメージセンサからの画像の同時の表示をタッチセンサー式ディスプレイ３００で行ってもよい。画像の同時の表示は、統合した画像（ａｇｇｒｅｇａｔｅｄ ｉｍａｇｅ）をタッチセンサー式ディスプレイ３００に表示できるようにイメージセンサ２１０によって取得した画像及び第２の追加のイメージセンサ３１２によって取得した画像の収集に起因する。代替的には、画像の同時の表示は、異なるイメージセンサからの各ウィンドウの画像のストリーミングを含む。本実施の形態によって、携帯装置１０２は、ユーザ１００の顔及びユーザ１００の前方の環境の２方向表示をタッチセンサー式ディスプレイ３００にリアルタイムで行うことができる。２方向表示をオンラインで共有することができる又は載せることができる。本実施の形態を、図１７を参照しながら後の更なる詳細において説明する。

図４Ａ及び図４Ｂは、開示の第１の態様及び第２の態様によるエッジカメラアセンブリの斜視図である。両方の図は、下を見るユーザ１００の顔４０２に対向するタッチセンサー式ディスプレイ３００を有する携帯装置１０２がユーザ１００の手４００に保持されているときのイメージセンサ２１０の視野１１０を示す。図示したように、視野１１０は、一般的には移動の経路の方向に延在する。一例において、視野１１０は、ユーザの直立している身体の垂直軸に対して２０°と８０°の間の区域を取得することができる。開示の両方の態様によれば、視野１１０の方向は調整可能である。例えば、視野１１０は、携帯装置１０２の方向を物理的に変えることによって又は携帯装置１０２に対するイメージセンサ２１０の孔の相対方向を変えることによって調整することができる。一部の実施の形態において、イメージセンサ２１０の物理的な向きを手動で又は電気機械アクチュエータを用いることによって変えてもよい。代替的には、視野１１０を、一つ以上のイメージセンサ２１０からの出力のフィルタ処理を変えることによってデジタル的に調整してもよい。

図５は、開示の第１の態様によるエッジカメラアセンブリの斜視図である。この図において、エッジカメラアセンブリは、端面２０６に組み込まれた複数のイメージセンサ２１０を有する。各イメージセンサ２１０（例えば、２１０Ａ及び２１０Ｂ）を、（レンズ、フィルタ等のような）光学部品及び任意の照明器に関連させてもよい。立体照明器（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｉｌｌｕｍｉｎａｔｉｏｎ）を有する実施の形態は、エッジカメラアセンブリによって撮影されるオブジェクトのポイントの深さ情報を提供することができる対応する３次元デコーダを有してもよい。一部の実施の形態において、複数のイメージセンサ２１０の各々は、関連の視野（例えば、視野１１０Ａ及び視野１１０Ｂ）を有し、複数のイメージセンサ２１０のうちの少なくとも一つの視野は、複数のイメージセンサ２１０のうちのそれ以外の視野に重なり合う。追加的には、エッジカメラアセンブリを、重なり合うイメージセンサ２１０のうちの少なくとも二つから画像情報を受け取るとともに少なくとも二つの重なり合うイメージセンサ２１０からの画像情報を統合するプロセッサに関連させてもよい。例えば、プロセッサは、少なくとも二つの重なり合うイメージセンサ２１０からの画像情報をステッチングしてもよい。携帯装置１０２は、少なくとも二つの重なり合うイメージセンサ２１０からの統合された画像情報をタッチセンサー式ディスプレイ３００に表示してもよい。他の実施の形態において、携帯装置１０２は、少なくとも二つの重なり合うイメージセンサ２１０から取得される画像データを用いて仮想的な３次元画像を作成してもよい。

複数のイメージセンサ２１０を用いることによって、更に広い視野１１０を取得するとともに更に多くの情報を取得することができる。例えば、図５に示す立体視野装置は、エッジカメラアセンブリによって取得されるオブジェクト（例えば、オブジェクト１１２）のポイントの深さ情報を提供してもよい。二つのイメージセンサ２１０のみを示すが、当業者は、第３のイメージセンサ２１０、第４のイメージセンサ２１０等のような三つ以上のイメージセンサ２１０を用いることができることを認識する。したがって、複数のイメージセンサ２１０の組み合わされた視野を、１８０°より大きくすることができる、例えば、約２４０°、約３００°又は約３６０°にすることができる。ハウジング２００の複数のイメージセンサ２１０の多数のあり得る配置が存在してもよい。例えば、第１の形態において、エッジカメラアセンブリは、二つのイメージセンサ２１０を有してもよく、第１のイメージセンサは、右上隅の領域に存在し、第２のイメージセンサは、左上隅の領域に存在する。第２の形態において、エッジカメラアセンブリは、三つのイメージセンサ２１０を有してもよく、第１のイメージセンサは、上端に存在し、第２のイメージセンサは、右上隅の領域に存在し、第３のイメージセンサは、左上隅の領域に存在する。第３の形態において、エッジカメラアセンブリは、少なくとも部分的に上端部の外側に向く光学視野を有する第１のイメージセンサ２１０と、少なくとも部分的に右端部の外側に向く光学視野を有する第２のイメージセンサと、少なくとも部分的に左端部の外側に向く光学視野を有する第３のイメージセンサと、を有する。

図６は、エッジカメラアセンブリの光軸の角度を示す略図である。上述した開示によれば、エッジカメラアセンブリを携帯装置１０２又は着脱自在ケース１０４に組み込んでもよい。一実施の形態において、ハウジング２００に装着されたイメージセンサ２１０は、下側面２０４に対して一定の鈍角に向くように構成された少なくとも一つの光軸６００を有してもよい。鈍角は、９０°を超えるが１８０°未満である角度である。図６において、光軸６００の鈍角は、角度βによって表される。上述したように、イメージセンサ２１０を、端面２０６に固定してもよい又は組み込んでもよい。したがって、光軸６００も固定してもよい。換言すれば、ユーザ１００は、携帯装置１０２にダメージを与えることなく光軸６００の物理的な向きを変えることができない。一実施の形態において、ハウジング２００は、イメージセンサ２１０を保持するための少なくとも一つのチャネル（図示せず）を有してもよく、チャネルの軸は、携帯装置１０２がハウジング２００によって保持されるときに下側面２０４の一部に対して鈍角に向くようにハウジング２００から延在する。一部の例において、角度βを、約１５０°（すなわち、１４５°と１５５°の間の任意の値）、約１６０°（すなわち、１５５°と１６５°の間の任意の値）又は約１７０°（すなわち、１６５°と１７５°の間の任意の値）にしてもよい。

典型的には、ハウジング２００が歩行中のユーザ１００に保持されるとき、ハウジング２００は、ユーザ１００が歩行する面６０２に対して鋭角に向く。鋭角は、０°を超えるが９０°未満の角度である。図６において、ハウジング２００の保持角度を角度γによって表す。本開示によれば、イメージセンサ２１０の向きを、ハウジング２００が保持角度γによって保持されているときに少なくとも一つの光軸６００が一般的に歩行方向１０６に向くように決定してもよい。角度βとは異なり、角度γは一定でない。ユーザ１００が歩行するとき、ハウジング２００の保持角度を常に変えてもよい。しかしながら、典型的には、携帯装置１０２が歩行中のユーザ１００によって保持されているときに、保持角度γは、０°と９０°の間のままである。例えば、保持角度γを、約２５°（すなわち、２０°と３０°の間の任意の値）、約３５°（すなわち、３０°と４０°の間の任意の値）又は約４５°（すなわち、４０°と５０°の間の任意の値）としてもよい。保持角度γが変わる性質により、光軸６００の方向は、歩行方向１０６と完全に平行になることができない。しかしながら、上述したように、視野１１０の水平成分が、歩行方向１０６に対応するユーザの環境の予め規定された部分（例えば、区域）をカバーする限り、少なくとも一つの光軸６００が一般的に歩行方向１０６に向くと考えられる。

図７は、携帯装置１０２と一体のカメラの他の光軸に対する光軸６００の向きを示す略図である。本開示によれば、携帯装置１０２は、上側面２０２から離れる第１の方向に向く第１の追加の光軸７００を有する第１の追加のイメージセンサ３１０及び下側面２０４から離れる第２の方向に向く第２の追加の光軸７０２を有する第１の追加のイメージセンサ３１２を有してもよい。第１の追加のイメージセンサ３１０を、第２の追加のイメージセンサ３１２の側の反対側にあるハウジング２００の側に組み込んでもよい。典型的には、第１の追加の光軸７００及び第２の追加の光軸７０２は、これらの間の角度が約１８０°となるように実質的に互いに逆向きである。開示の実施の形態によれば、少なくとも部分的に端面２０６に組み込まれるイメージセンサ２１０の光軸６００は、端面２０６から離れる少なくとも第３の方向に延在する。図７に示すように、光軸６００、第１の追加の光軸７００及び第２の追加の光軸７０２は互いに異なる。具体的には、光軸６００及び第１の追加の光軸７００は互いに鈍角に向く。光軸６００と第１の追加の光軸７００の間の角度をδで表す。一部の例において、角度δは約１１０°（すなわち、１００°と１２０°の間の任意の値）である。同様に、光軸６００と第２の追加の光軸７０２は互いに鋭角に向く。光軸６００と第２の追加の光軸７０２の間の角度をεで表す。一部の例において、角度εは約４０°（すなわち、３０°と５０°の間の任意の値）である。

図８は、携帯装置１０２の主軸に対する光軸６００の向きを示す。ここでは、用語「主軸」は、慣性モーメントが最大である携帯装置１０２の三つの互いに直交する軸を意味する。簡単化及び明瞭のために、開示は、携帯装置１０２が略均一の質量分布を有するとともに質量中心が対称中心であると仮定する。主軸は、水平軸（すなわち、Ｘ軸）、縦軸（すなわち、Ｙ軸）及び横軸（すなわち、Ｚ軸）を有する。携帯装置１０２の主軸のセットは、三つの中心軸面、すなわち、Ｘ−Ｙ面、Ｘ−Ｚ面及びＹ−Ｚ面も規定する。

図８に示すように、携帯装置１０２は、第１のイメージセンサ２１０Ａ及び第２のイメージセンサ２１０Ｂを有してもよく、その各々を周辺端部面２０６に固定して組み込んでもよい又は固定してもよい。第１の追加のイメージセンサ３１０（及び第２の追加のイメージセンサ３１２）とは異なり、第１のイメージセンサ２１０Ａ及び第２のイメージセンサ２１０Ｂは、ハウジング２００の第１の側（例えば、上側面２０２）、ハウジングの第２の側（例えば、下側面２０４）及び中心軸面（例えば、Ｘ−Ｙ平面、Ｘ−Ｚ平面及びＹ−Ｚ平面）の各々に対して直交角度でない角度の固定された光軸を有してもよい。具体的には、第１のイメージセンサ２１０Ａは、中心軸面Ｘ−Ｙに対して直角角度でない角度ζ_１を成す光軸６００Ａに関連し、第２のイメージセンサ２１０Ｂは、中心軸面Ｙ−Ｚに対して直角角度でない角度ζ_２を成す光軸６００Ｂに関連する。一例において、光軸６００Ａは、中心軸面Ｘ−Ｙに対して約５°と約８０°の間の角度ζ_１だけ傾斜してもよい。他例において、光軸６００Ｂは、中心軸面Ｙ−Ｚに対して約１０°と約７０°の間の角度ζ_２だけ傾斜してもよい。一実施の形態において、イメージセンサ２１０Ａ及び２１０Ｂの各々の視野１１０の水平成分及び／又は垂直成分を、６０°より大きくしてもよい、７５°より大きくしてもよい、９０°より大きくしてもよい又は１０５°より大きくしてもよい。したがって、第１のイメージセンサ２１０Ａの視野は、第２のイメージセンサ２１０Ｂの視野と部分的に重なり合う。

図９は、携帯装置１０２と一体のカメラの他の視野に対する視野１１０を示す略図である。本開示によれば、携帯装置１０２は、少なくとも一つのイメージセンサ２１０を有してもよい（又は着脱自在ケース１０４を用いるときに少なくとも一つのイメージセンサ２１０に関連させてもよい）。少なくとも一つのイメージセンサ２１０は、周辺端部面２０６から第１の方向に延在する少なくとも一つの光軸６００を有してもよい。携帯装置１０２は、ハウジング２００に組み込まれるとともに上側面２０２から第１の方向に延在する光軸７００を有する第１の追加のイメージセンサ３１０及びハウジング２００に組み込まれるとともに下側面２０４から第３の方向に延在する光軸７０２を有する第２の追加のイメージセンサ３１２を有してもよい。図示したように、第１の追加のイメージセンサ３１０を第１の視野９００に関連させるとともに第２の追加のイメージセンサ３１２を第２の視野９０２に関連させてもよい。図６を参照しながら上述したように、光軸６００を下側面２０４に対して一定の鈍角に向けてもよい。さらに、図７を参照しながら上述したように、光軸６００を第１の追加の光軸７００に対して一定の鈍角に向けるとともに第２の追加の光軸７０２に対して一定の鋭角に向けてもよい。

一実施の形態において、視野１１０は、第２の追加のイメージセンサ３１２の視野９０２に部分的に重なり合う。着脱自在ケースの実現において、視野１１０は、携帯装置１０２がケース１０４に据え付けられたときに第２の追加のイメージセンサ３１２の視野９０２に部分的に重なり合う。イメージセンサ２１０が携帯装置１０２と一体であるとき、視野１１０は、第２の追加のイメージセンサ３１２の視野９０２に常に部分的に重なり合う。携帯装置１０２は、少なくとも一つのイメージセンサ２１０からの画像データ及び第２の追加のイメージセンサ３１２からの画像データをステッチングするように構成された、ハウジング２００内の少なくとも一つのプロセッサを有してもよい。具体的には、少なくとも一つのプロセッサは、少なくとも一つのイメージセンサ２１０からの画像データ及び第２の追加のイメージセンサ３１２からの画像データを受け取り、イメージセンサ２１０及び３１２の相対位置を考慮するスティッチングアルゴリズムを適用するとともに種々の画像の画素の変位をマッピングしてもよい。スティッチングアルゴリズムを、二つ（又はそれより多い）画像を組み合わせるのに用いてもよい。例えば、スティッチングアルゴリズムは、二つの画像の間の重複エリアを識別すること、画像データのキーポイントを検出及び整合すること、映写面を選択すること等を有してもよい。代替的には、少なくとも一つのプロセッサを、イメージセンサ２１０から受け取った画像データ、第１の追加のイメージセンサ３１０から受け取った画像データ及び第２の追加のイメージセンサ３１２から受け取った画像データの少なくとも一部をタッチセンサー式ディスプレイ３００に表示できるようにするためにイメージセンサ（すなわち、２１０，３１０及び３１２）の各々からの画像データを受け取るように構成してもよい。一例において、少なくとも一つのプロセッサは、イメージセンサ２１０、第１の追加のイメージセンサ３１０及び第２の追加のイメージセンサ３１２のうちの少なくとも二つから画像データを同時に受け取るとともに上述したイメージセンサのうちの少なくとも二つからの画像をタッチセンサー式ディスプレイ３００に同時に表示させるようにしてもよい。画像の同時の表示の例を図１７に示す。

図１０は、図３Ａに示す第２の例の装置に関連するエッジカメラアセンブリの機能ブロック図である。本開示によれば、携帯装置１０２は、処理装置１００５、ネットワークインタフェース１０１５、メモリインタフェース１００２及び周辺機器インタフェース１００４を有する。これらの構成要素を分離することができる又は一つ以上の集積回路に集積することができる。携帯装置１０２の種々の構成要素を、一つ以上の通信バス又は信号線によって結合することができる。

センサ、装置及びサブシステムを、複数の機能を促進するために周辺機器インタフェース１００４に結合することができる。例えば、イメージセンサ２１０、第１の追加のイメージセンサ３１０、第２の追加のイメージセンサ３１２及びポジショニングシステム（例えば、ＧＰＳ受信機）１０１４を周辺機器インタフェース１００４に結合することができる。深さセンサ（ｄｅｐｔｈ ｓｅｎｓｏｒ）、動きセンサ、光センサ、近接センサ、温度センサ及び生体認証センサのような他のセンサ１０１６を、関連の機能を促進するために周辺機器インタフェース１００４に接続することができる。

通信機能を、無線周波数受信機及び送信機及び／又は光（例えば、赤外）受信機及び送信機に接続したイーサネット（登録商標）ポートとすることができるネットワークインタフェース１０１５を介して促進してもよい。ネットワークインタフェース１０１５の特定の設計及び実現は、携帯装置１０２が動作しようとする（一つ以上の）通信ネットワークに依存する。例えば、一部の実施の形態において、携帯装置１０２は、ＧＳＭ（登録商標）ネットワーク、ＧＰＲＳネットワーク、ＥＤＧＥネットワーク、ＷｉＦｉ（登録商標）又はＷｉＭａｘ（登録商標）ネットワーク及びＢｌｕｅｔｏｏｔｈ（登録商標）で動作するように設計されたネットワークインタフェース１０１５を有する。

Ｉ／Ｏシステム１０２０は、タッチスクリーンコントローラ１０２１、オーディオコントローラ１０２２及び／又は（一つ以上の）他の入力コントローラ１０２３を有してもよい。タッチスクリーンコントローラ１０２１をタッチセンサー式ディスプレイ３００に結合することができる。タッチセンサー式ディスプレイ３００及びタッチスクリーンコントローラ１０２１は、例えば、容量性技術、抵抗性技術、赤外技術及び弾性表面波技術を含むがそれに限定されないタッチ検知技術並びにタッチセンサー式ディスプレイ３００への一つ以上の接触点を決定する他の近接センサアレイ又は他の素子のいずれかを用いてタッチ、動き又は制動を検知することができる。タッチセンサー式ディスプレイ３００を、例えば、仮想な又はソフトなボタン及び／又はキーボードを実現するのに用いることもできる。

オーディオコントローラ１０２２を、音声認識、ボイスレプリケーション（ｖｏｉｃｅ ｒｅｐｌｉｃａｔｉｏｎ）、デジタル記録及び電話機能のような音声使用可能機能（ｖｏｉｃｅ−ｅｎａｂｌｅｄ ｆｕｎｃｔｉｏｎｓ）を促進するためにスピーカ１０２６及びマイクロフォン１０２８に結合することができる。（一つ以上の）他の入力コントローラ１０２３を、一つ以上のボタン、ロッカースイッチ、サムホイール、赤外ポート、ＵＳＢポート、及び／又は、スタイラスのようなポインタ装置等の他の入力／制御装置１０３０に結合することができる。

メモリインタフェース１００２を記憶装置１０１０に結合することができる。記憶装置１０１０は、高速ランダムアクセスメモリ、及び／又は、一つ以上の磁気ディスク記憶装置、一つ以上の光記憶装置及び／又はフラッシュメモリ（例えば、ＮＡＮＤ，ＮＯＲ）のような不揮発性メモリを有してもよい。記憶装置１０１０は、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、ＲＴＸＣ（登録商標） Ｑｕａｄｒｏｓ、Ｌｉｎｕｘ（登録商標）及びＷｉｎｄｏｗｓ（登録商標）のようなオペレーティングシステム１０３２、又は、ＶＸＷｏｒｋＳ（登録商標）のような埋め込みオペレーティングシステム（ｅｍｂｅｄｄｅｄ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を格納してもよい。オペレーティングシステム１０３２は、基本的なシステムサービス（ｂａｓｉｃ ｓｙｓｔｅｍ ｓｅｒｖｉｃｅ）を処理するとともにハードウェア依存タスクを実行する命令を含むことができる。

記憶装置１０１０は、一つ以上の追加の装置、一つ以上のコンピュータ及び／又は一つ以上のサーバとの通信を促進するために通信命令１０３４を格納してもよい。記憶装置１０１０は、グラフィカルユーザインタフェース処理を促進するためのグラフィカルユーザインタフェース命令１０３６、センサに関連する処理及び機能を促進するためのセンサ処理命令１０３８、電話に関連する処理及び機能を促進するための電話命令１０４０、電子メッセージングに関連する処理及び機能を促進するためのメッセージング命令１０４２、ウェブブラウジングに関連する処理及び機能を促進するためのウェブブラウジング命令１０４４、メディア処理に関連する処理及び機能を促進するためのメディア処理命令１０４６、ＧＰＳ及びナビゲーションに関連する処理及び機能を促進するためのＧＰＳ／ナビゲーション命令１０４８、カメラ命令１０５０、及び／又は、他の処理及び機能を促進するための他のソフトウェア命令１０５２を有することができる。

本開示によれば、下を見るユーザ１００の顔に対向するタッチセンサー式ディスプレイ３００を有する携帯装置１０２がユーザ１００の手に保持されているときに、イメージセンサ２１０の視野１１０は、一般的には移動の経路の方向に延在する。したがって、イメージセンサ２１０は、移動の経路の方向に沿って画像ストリームを取得することができる。一部の実施の形態において、センサ処理命令１０３８は、イメージセンサ２１０からの画像ストリームを処理装置１００５によって取得できるようにする命令を有する。一実施の形態において、メディア処理命令１０４６は、取得した画像におけるユーザ１００の移動の経路のオブジェクトの識別を処理装置１００５によって行うことができるようにする命令を有してもよい。識別したオブジェクトは、例えば、人、販売施設（ｓａｌｅｓ ｅｓｔａｂｌｉｓｈｍｅｎｔ）又は消火栓である。さらに、本開示の一実施の形態によれば、通信命令１０３４は、識別したオブジェクトについての情報を処理装置１００５によって調べることができる命令を有する。例えば、処理装置１００５は、識別したオブジェクトが人であるときに人の名前を調べることができる。例えば、識別したオブジェクトが販売施設である場合、処理装置１００５は、販売施設で購入できる商品又は販売施設で利用できるサービスについての詳細を調べることができる。

一実施の形態において、処理装置１００５は、識別したオブジェクトを含む取得した画像ストリームをタッチセンサー式ディスプレイ３００にリアルタイムで表示することができる。さらに、処理装置１００５は、識別したオブジェクトに関連する一つ以上の視覚インジケータをタッチセンサー式ディスプレイ３００に表示することができる。用語「視覚インジケータ」は、表示されるアイテム又はコンテンツの表示、例えば、文字、アイコン又は図形を意味する。例えば、識別したオブジェクトが販売施設であるとき、視覚インジケータは、販売施設の名称及び販売施設の販売品を表すアイコンを有してもよい。一部の実施の形態において、視覚インジケータは、売出し（ｃｏｍｍｅｒｃｉａｌ ｏｆｆｅｒ）についての情報、例えば、例示的な販売施設の現在行われているセールについての情報を表してもよい。視覚インジケータを、取得したリアルタイム画像ストリームに重ね合わせてもよい。例えば、例示的な販売施設で現在行われているセールを表す視覚インジケータを、販売施設に対応するリアルタイム画像ストリームの一部に重ね合わせてもよい。一部の実施の形態において、画像ストリームの関心のあるエリアが覆い隠されるのを回避するために視覚インジケータの重ね合わせの間にオフセットを追加してもよい。さらに、視覚インジケータは、タッチセンサー式ディスプレイ３００にタッチしたときに更なる情報を利用できることの表示を含んでもよい。例えば、クリックできるリンクである。処理装置１００５を、タッチ検知に応答して動作を実行するように更にプログラムすることができる。例えば、処理装置１００５は、クリックできるリンクへのタッチ検知に応答して例示的な販売施設で現在行われているセールの詳細をタッチセンサー式ディスプレイ３００に表示することができる。

一部の実施の形態において、他のソフトウェア命令１０５２は、識別したオブジェクトに衝突する経路にユーザ１００が存在するか否かを処理装置１００５によって決定することができる命令を有する。一例として、処理装置１００５は、取得した画像ストリームにおいて識別した消火栓に衝突する経路にユーザ１００が存在することを決定することができる。処理装置１００５は、衝突の決定に応答して、衝突する経路の警告を生成する。警告を、タッチセンサー式ディスプレイ３００の視覚インジケータ、スピーカ１０２６を用いる音声警告、他の入力／制御装置１０３０に含まれる触覚アクチュエータを用いる触覚警告又は警告システムの二つ以上の組合せを用いてユーザ１００に供給してもよい。ユーザ１００は、警告に応答して、消火栓への衝突を回避するための回避行動をとることができる。

一部の実施の形態において、処理装置１００５は、識別したオブジェクトを含むリアルタイム画像ストリームをタッチセンサー式ディスプレイ３００の第１の部分に表示することができ、リアルタイム画像ストリームと同時に対話型ユーザアプリケーションをタッチセンサー式ディスプレイ３００の第２部分に表示することができる。処理装置１００５は、最初に、識別したオブジェクトを含むリアルタイム画像ストリームをタッチセンサー式ディスプレイ３００の約５０％に表示するとともに対話型ユーザアプリケーションをタッチセンサー式ディスプレイ３００の約５０％に表示してもよい。他の実施の形態において、処理装置１００５は、最初に、識別したオブジェクトを含むリアルタイム画像ストリームをタッチセンサー式ディスプレイ３００の少なくとも約６０％に表示するとともに対話型ユーザアプリケーションをタッチセンサー式ディスプレイ３００の最大でも約４０％に表示してもよい。ユーザ１００は、識別したオブジェクトを含むリアルタイム画像ストリームと対話型ユーザアプリケーションの比を変更するために、タッチセンサー式ディスプレイ３００のＧＵＩ形態を用いて入力を行うことができる。対話型ユーザアプリケーションの一例は、メッセージングアプリケーションである。ユーザ１００は、メッセージを送受信するとともに他のユーザとの通信を行うためにメッセージングアプリケーションを用いてもよい。一部の実施の形態において、メディア処理命令１０４６は、ユーザ１００が処理装置１００５を用いることによって画像を取得した画像から選択できるようにする命令を有する。例えば、例示的な販売施設の画像は、イメージセンサ２１０からの画像ストリームにおいて取得される。さらに、メッセージング命令１０４２は、選択した画像をユーザに処理装置１００５を用いてメッセージングアプリケーションを介して他のユーザに送信できるようにする命令を有してもよい。

一部の実施の形態において、ＧＰＳ／ナビゲーション命令１０４８は、処理装置１００５がポジショニングシステム１０１４から取得される位置情報を用いることによって目的地までのターンバイターン指示を生成できるようにする命令を有する。ユーザ１００が、ユーザの顔がタッチセンサー式ディスプレイに対向する状態で順路を移動すると、処理装置１００５は、イメージセンサ２１０からのリアルタイム画像ストリームをタッチセンサー式ディスプレイ３００に表示することができる。処理装置１００５は、リアルタイム画像ストリームと同時にターンバイターン指示に関連する少なくとも一つの視覚インジケータをタッチセンサー式ディスプレイ３００に表示するために、ポジショニングシステム１０１４から取得される位置情報を用いてもよい。ターンバイターン指示を、目的地までの移動の経路に関連させることができる。一部の実施の形態において、視覚インジケータは、移動の経路に沿った場所についての情報を有してもよい。具体的には、処理装置１００５は、移動の経路からの第１の予め決定された距離の場所及び／又はユーザ１００の現在地からの第２の予め決定された距離の場所に関連する視覚インジケータを提供してもよい。第２の予め決定された距離を第１の予め決定された距離より長くしてもよい。例えば、処理装置１００５は、移動の経路から最長でも３００ｍしか離れていない場所に関連する視覚インジケータ及びユーザ１００の現在地から最長でも５００ｍしか離れていない場所に関連する視覚インジケータを提供してもよい。他の実施の形態において、ポジショニングシステム１０１４は、コンパスを備え、ＧＰＳ／ナビゲーション命令１０４８は、ターンバイターン指示に関連する視覚インジケータを表示するためにコンパスから取得される方向情報を（位置情報と共に）処理装置１００５によって用いることができるようにする命令を更に有する。視覚インジケータは、ターンバイターン指示を表す矢印、コンパスの表示、次のターンまでの距離を表す数字、販売施設の名称又は通りの名前を有してもよい。

一部の実施の形態において、ＧＰＳ／ナビゲーション命令１０４８は、処理装置１００５によって位置情報をポジショニングシステム１０１４から受け取ることができるようにする命令を有する。ユーザ１００が、タッチセンサー式ディスプレイがユーザの顔に対向する状態で順路を移動すると、処理装置１００５は、イメージセンサ２１０からのリアルタイム画像ストリームをタッチセンサー式ディスプレイ３００に表示することができる。さらに、処理装置１００５は、少なくとも一つの視覚インジケータをタッチセンサー式ディスプレイ３００に表示するために、ポジショニングシステム１０１４から取得される位置情報を用いてもよい。一例として、処理装置１００５は、ユーザ１００の近くにあるレストランに関連する視覚インジケータを表示するために、ポジショニングシステム１０１４から取得される位置情報を用いてもよい。リアルタイム画像ストリーム及び視覚インジケータをタッチセンサー式ディスプレイ３００の異なる部分に表示してもよい。一部の実施の形態において、視覚インジケータをリアルタイム画像ストリームに重ね合わせてもよい。一部の実施の形態において、ＧＰＳ／ナビゲーション命令１０４８及び他のソフトウェア命令１０５２は、対話型ユーザアプリケーションウィンドウ３０６に表示される対話型ユーザアプリケーションから得られる情報に基づいてリアルタイム画像ストリームウィンドウ３０４の拡張現実コンテンツ（例えば、視覚インジケータ）を処理装置１００５によって生成できるようにしてもよい。具体的には、対話型ユーザアプリケーションをメッセージングアプリケーションとしてもよく、情報を、意味的テキスト認識（ｓｅｍａｎｔｉｃ−ｂａｓｅｄ ｔｅｘｔ ｒｅｃｏｇｎｉｔｉｏｎ）、ベクトル空間分析、規則に基づく分析（ｒｕｌｅ−ｂａｓｅｄ ａｎａｌｙｓｉｓ）、統計分析又は他の既知の技術のような言語分析を用いて得てもよい。例えば、情報は、ユーザ１００が空腹であることのようなユーザ１００の状態についての情報を有してもよい。その後、処理装置１００５は、ユーザ１００のエリアのレストランに関連する一つ以上の視覚インジケータをリアルタイム画像ストリームに重ね合わせて表示してもよい。

図１１は、図２Ａに示す第１の例示的な装置に関連するエッジカメラアセンブリの機能ブロック図である。本開示によれば、着脱自在ケース１０４は、センサユニット１１１０を有する。センサユニット１１１０は、深さセンサ及びイメージセンサ２１０、センサ光学系１１１２並びにセンサ駆動回路１１１４を有する。センサユニット１１１０は、照明器１１２２、関連の照明器光学系１１２４及び照明器駆動回路１１２０を更に有する。照明器１１２２を、例えば、閃光光源（ｆｌａｓｈ ｌｉｇｈｔ ｓｏｕｒｃｅ）又は立体照明源（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｓｏｕｒｃｅ）としてもよい。センサユニット１１１０は、コントローラ１１１６及びインタフェース１１１８を更に有する。コントローラ１１１６は、センサ駆動回路１１１４及び照明器駆動回路１１２０を制御する。本実施の形態によれば、エッジカメラアセンブリは、制御回路１１３２、位置情報サービス回路１１３４及び画像処理回路１１３６を更に備える。制御回路１１３２、位置情報サービス回路１３４及び画像処理回路１１３６のうちの一つ以上を着脱自在ケースの一部として設けてもよい又は携帯装置１０２の携帯装置回路１１５０に集積してもよい。コントローラ１１１６は、インタフェース１１１８を介して制御回路１１３２と通信を行うことができる。携帯装置１０２のユーザインタフェースは、タッチセンサー式ディスプレイ３００、スピーカ１０２６及び触覚アクチュエータ１１４２を備える。当業者は、携帯装置１０２に関連するエッジカメラアセンブリを参照しながら上述した全ての機能を着脱自在ケース１０４に関連するエッジカメラアセンブリによって実行できることを認識する。

図１２Ａは、本開示の例示的な実施の形態によるユーザ１００に拡張現実を提供する例示的な方法１２００を示す。一実施の形態において、方法１２００のステップのうちの少なくとも一部を、図１０に示す携帯装置１０２によって実行してもよい。他の実施の形態において、方法１２００のステップのうちの少なくとも一部を、図１１に示すセンサユニット１１１０によって実行してもよい。以下の説明において、例示のために図１０及び図１１の所定の構成要素を参照する。しかしながら、他の実現も可能であり、他の構成要素を、例示的な方法を実現するのに利用してもよい。

ステップ１２０２において、処理装置１００５（又は制御回路１１３２）は、移動の経路の方向に沿った画像ストリームをイメージセンサ２１０から取得する。ステップ１２０４において、処理装置１００５（又は制御回路１１３２）は、取得した画像ストリームにおけるユーザ１００の移動の経路のオブジェクトを識別する。識別したオブジェクトは、例えば、人、販売施設又はバス停である。ステップ１２０６において、処理装置１００５（又は制御回路１１３２）は、識別したオブジェクトについての情報を調べる。一例において、識別したオブジェクトは人であり、処理装置１００５は、記憶装置１０１０の人の名前を調べることができる。他の例において、識別したオブジェクトがバス停であるとき、処理装置１００５は、到着する予定となっている次のバスについての詳細を調べることができる。一実施の形態において、識別したオブジェクトについての情報を調べるステップは、識別したオブジェクトを含む画像をリモートサーバに送信することを有してもよく、リモートサーバは、識別したオブジェクトについての情報を検索する。ステップ１２０８において、処理装置１００５（又は制御回路１１３２）は、識別したオブジェクトを含む取得した画像ストリームをリアルタイムでタッチセンサー式ディスプレイ３００に表示する。ステップ１２１０において、処理装置１００５（又は制御回路１１３２）は、識別したオブジェクトに関連する視覚インジケータをタッチセンサー式ディスプレイ３００に表示する。例えば、識別したオブジェクトが販売施設であるとき、視覚インジケータは、販売施設の名称及び販売施設の商品を表すアイコンを含んでもよい。一実施の形態において、視覚インジケータは、売出しについての情報、例えば、例示的な販売施設の現在行われているセールについての情報を表してもよい。視覚インジケータを、取得したリアルタイム画像ストリームに重ね合わせてもよい。例えば、例示的な販売施設で現在行われているセールを表す視覚インジケータを、販売施設に対応するリアルタイム画像ストリームの一部に重ね合わせてもよい。

図１３Ａ〜１３Ｃは、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。図１３Ａにおいて、取得した画像ストリーム１３１２は、タッチセンサー式ディスプレイ３００に表示される。（本例では「ｃｈｏｃｏｌａｔｅ ｋｉｔｃｈｅｎ」を表す）視覚インジケータ１３１４は、取得した画像ストリーム１３１２に重ね合わせされる。さらに、視覚インジケータは、タッチセンサー式ディスプレイ３００（例えば、アイコン１３１６）にタッチしたときに更なる情報を利用できることの表示を有してもよい。アイコン１３１６へのタッチに応答して、識別したオブジェクトについての更なる詳細がタッチセンサー式ディスプレイ３００に表示される。例えば、アイコン１３１６へのタッチに応答して、更なる詳細１３１２が図１３Ｂに示すように表示される。さらに、詳細１３２２は、タッチセンサー式ディスプレイ３００（例えば、アイコン１３２４）にタッチしたときに歩行誘導（ｗａｌｋｉｎｇ ｇｕｉｄａｎｃｅ）を利用できることの表示を有してもよい。アイコン１３２４へのタッチに応答して、（図１３Ｃに示すような）マップ１３３２が対話型ユーザアプリケーションウィンドウ３０６に表示される。本例において、地図は、ユーザ１００の位置から「ｃｈｏｃｏｌａｔｅ ｋｉｔｃｈｅｎ」までのルートを有する。

図１２Ｂは、本開示の例示的な実施の形態による識別したオブジェクトへのユーザ１００の衝突を回避するための例示的な方法を示す。一実施の形態において、方法１２２０のステップのうちの少なくとも一部を、図１０に示す携帯装置１０２によって実行してもよい。他の実施の形態において、方法１２２０のステップのうちの少なくとも一部を、図１１に示すセンサユニット１１１０によって実行してもよい。以下の説明において、例示のために図１０及び図１１の所定の構成要素を参照する。しかしながら、他の実現も可能であり、他の構成要素を、例示的な方法を実現するのに利用してもよい。

ステップ１２２２において、処理装置１００５（又は制御回路１１３２）は、移動の経路の方向に沿った画像ストリームをイメージセンサ２１０から取得する。ステップ１２２４において、処理装置１００５（又は制御回路１１３２）は、取得した画像ストリームにおけるユーザ１００の移動の経路のオブジェクトを識別する。識別したオブジェクトを、例えば、街灯柱としてもよい。ステップ１２２６において、処理装置１００５（又は制御回路１１３２）は、識別したオブジェクトと衝突する経路にユーザ１００が存在するか否かを決定する。一例として、処理装置１００５は、取得した画像ストリームの識別される街灯柱に衝突する経路にユーザ１００が存在するか否かを決定してもよい。ステップ１２２８において、処理装置１００５は、衝突する経路の警告を生成する。警告を、タッチセンサー式ディスプレイ３００の視覚インジケータ、スピーカ１０２６を用いる音声警告、他の入力／制御装置１０３０に含まれる触覚アクチュエータを用いる触覚警告又は警告システムの二つ以上の組合せを用いてユーザ１００に供給してもよい。ユーザ１００は、警告に応答して、街灯柱への衝突を回避するための回避行動をとることができる。他の実施の形態において、画像処理回路１１３６は、識別したオブジェクトと衝突する経路にユーザ１００が存在するか否かを決定することができる。制御回路１１３２は、衝突の決定に応答して、衝突する経路の警告を生成する。警告を、タッチセンサー式ディスプレイ３００の視覚インジケータ、スピーカ１０２６を用いる音声警告、他の入力／制御装置１０３０に含まれる触覚アクチュエータを用いる触覚警告又は警告システムの二つ以上の組合せを用いてユーザ１００に供給してもよい。

図１３Ｄは、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。図１３Ｄにおいて、取得した画像ストリーム１３１２は、タッチセンサー式ディスプレイ３００に表示される。本例において、視覚インジケータ１３４２は、街灯柱と衝突する経路にユーザ１００が存在することの警告である。図示したように、ユーザ１００が警告に気付くことを確認するために、視覚インジケータ１３４２を対話型ユーザアプリケーションウィンドウ３０６に表示してもよい。

図１２Ｃは、本開示の例示的な実施の形態によるユーザ１００に拡張現実を提供する例示的な方法１２４０を示す。一実施の形態において、方法１２４０のステップのうちの少なくとも一部を、図１０に示す携帯装置１０２によって実行してもよい。他の実施の形態において、方法１２４０のステップのうちの少なくとも一部を、図１１に示すセンサユニット１１１０によって実行してもよい。以下の説明において、例示のために図１０及び図１１の所定の構成要素を参照する。しかしながら、他の実現も可能であり、他の構成要素を、例示的な方法を実現するのに利用してもよい。ステップ１２４２において、処理装置１００５（又は制御回路１１３２）は、移動の経路の方向に沿った画像ストリームをイメージセンサ２１０から取得する。ステップ１２４４において、処理装置１００５（又は制御回路１１３２）は、ポジショニングシステム１０１４（又は位置情報サービス回路１１３４）から位置情報を取得する。一例として、位置情報は、ユーザ１００の位置情報及び目的地までの移動の経路に関連する位置情報を有してもよい。ステップ１２４６において、処理装置１００５（又は制御回路１１３２）は、取得した画像ストリームをリアルタイムでタッチセンサー式ディスプレイ３００に表示する。ステップ１２４８において、処理装置１００５（又は制御回路１１３２）は、リアルタイム画像ストリームと同時に視覚インジケータをタッチセンサー式ディスプレイ３００に表示する。一例において、本実施の形態の視覚インジケータをターンバイターン指示に関連させてもよい。他の例において、本実施の形態の視覚インジケータをユーザ１００に近接する位置に関連させてもよい。

図１３Ｅは、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。取得した画像ストリーム１３１２は、タッチセンサー式ディスプレイ３００の一部に表示される。さらに、目的地までのターンバイターン指示を表す視覚インジケータ１３５２は、取得した画像ストリーム１３１２の上に重ね合わされる。

図１２Ｄは、本開示の例示的な実施の形態によるユーザ１００に拡張現実を提供する例示的な方法１２６０を示す。方法１２６０を、例えば、取得した画像ストリームとゲーム映像（ｇａｍｅ ｇｒａｐｈｉｃ）とを組み合わせることによって拡張現実を提供するゲームにおいて用いる。一実施の形態において、方法１２６０のステップのうちの少なくとも一部を、図１０に示す携帯装置１０２によって実行してもよい。他の実施の形態において、方法１２６０のステップのうちの少なくとも一部を、図１１に示すセンサユニット１１１０によって実行してもよい。以下の説明において、例示のために図１０及び図１１の所定の構成要素を参照する。しかしながら、他の実現も可能であり、他の構成要素を、例示的な方法を実現するのに利用してもよい。ステップ１２６２において、処理装置１００５（又は制御回路１１３２）は、移動の経路の方向に沿った画像ストリームをイメージセンサ２１０から取得する。ステップ１２６４において、処理装置１００５（又は制御回路１１３２）は、取得した画像ストリームをリアルタイムでタッチセンサー式ディスプレイ３００に表示する。ステップ１２６６において、処理装置１００５（又は制御回路１１３２）は、視覚インジケータをタッチセンサー式ディスプレイ３００に表示する。例示的なゲームにおいて、視覚インジケータを、取得した画像ストリームの上に重ね合わされるゲームキャラクターとしてもよい。

図１３Ｆは、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。取得した画像ストリーム１３１２は、タッチセンサー式ディスプレイ３００の一部に表示される。さらに、ゲームキャラクターを表す視覚インジケータ１３６２は、取得した画像ストリーム１３１２の上に重ね合わされる。ゲームキャラクターを、対話型ユーザアプリケーションウィンドウ３０６に表示されるアプリケーションに関連させてもよい又は関連させなくてもよい。

図１４は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本例において、エッジカメラアセンブリによって、現在使われているアプリケーションに画像を「ドラッグ及びドロップ」することができる。具体的には、エッジカメラアセンブリを、携帯装置１０２で用いられるように構成されたコンピュータ可読媒体に関連させてもよい。コンピュータ可読媒体は、処理装置１００５によって実行される際に、ユーザ１００が移動経路に沿って移動する際のユーザ１００の環境を表す画像データを、少なくとも一つのイメージセンサ２１０から受け取るステップと、リアルタイム画像ストリームをタッチセンサー式ディスプレイ３００に表示する表示するステップと、リアルタイム画像ストリームと同時に対話型ユーザアプリケーションをタッチセンサー式ディスプレイ３００に表示する表示するステップと、を処理装置１００５によって実行させる命令を有する。例えば、携帯装置１０２は、対話型ユーザアプリケーションウィンドウ３０６と同時にリアルタイム画像ストリームウィンドウ３０４を表示してもよい。本実施の形態のステップは、タッチセンサー式ディスプレイ３００を用いるユーザ１００がリアルタイム画像ストリームに関連する領域にタッチするとともにリアルタイム画像ストリームのうちの少なくとも１フレーム１４００を対話型ユーザアプリケーションに転送できるようにすることと、少なくとも１フレーム１４００に関連する対話型ユーザアプリケーションの動作を実行することと、を更に有する。

関連の実施の形態において、対話型ユーザアプリケーションをメッセージングアプリケーションとしてもよく、命令は、少なくとも１フレーム１４００を含むメッセージを遠隔の受信者に送信することを更に有する。一実施の形態において、少なくとも１フレーム１４００を、少なくとも一つのイメージセンサ２１０によって取得される単一のフレーム、例えば、画像としてもよい。他の実施の形態において、少なくとも１フレーム１４００を、少なくとも一つのイメージセンサ２１０によって取得される複数のフレーム、例えば、ライブビデオストリームとしてもよい。本実施の形態の提案する実現において、タッチは、リアルタイムストリームに関連する領域（例えば、画像ストリームウィンドウ３０４）から対話型ユーザアプリケーションに関連する領域（例えば、対話型ユーザアプリケーションウィンドウ３０６）へのドラッグ及びドロップ動作に従って少なくとも一つのフレーム１４００を選択するためにＧＵＩ形態１４０２を押圧することを有してもよい。追加的には、命令は、リアルタイム画像ストリームをバッファリングすることと、メッセージングアプリケーションを介してリアルタイム画像ストリームのバッファリングされた部分を転送できるようにユーザ１００がタッチセンサー式ディスプレイ３００にタッチできるようにすることと、を更に有する。

図１５は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。携帯装置１０２の保持される向きが人によって異なるので、各ユーザの視野の関連の部分も変わる。したがって、開示の他の実施の形態において、ユーザ１００の即時の経路の画像をタッチセンサー式ディスプレイ３００に表示することができるようにするために携帯装置１０２の角度方向を修正する調整可能なウィンドウを設ける方法を提供する。調整可能なウィンドウによって、ユーザ１００は、リアルタイム画像ストリームウィンドウ３０４を見るための視野を自由に選択することができる。例えば、リアルタイム画像ストリームウィンドウ３０４のつまみジェスチャー（ｐｉｎｃｈ ｇｅｓｔｕｒｅ）を用いることによって又は特定のＧＵＩ形態を用いることによって、ユーザ１００は、表示する画像データを選択することができる。画像データの選択を、受け取った画像データのクロッピングとみなすことができる。具体的には、エッジカメラアセンブリを、携帯装置１０２で用いられるように構成されたコンピュータ可読媒体に関連させてもよい。コンピュータ可読媒体は、処理装置１００５によって実行される際に、ユーザ１００が移動経路１５００に沿って移動する際のユーザ１００の環境を表す画像データを、少なくとも一つのイメージセンサ２１０から受け取るステップを処理装置１００５によって実行させる命令を有する。画像１５０２は、イメージセンサ２１０から受け取った画像データの一例である。

ステップは、携帯装置１０２へのリアルタイム表示のために画像データから視野１５０４を選択することを更に有してもよい。視野１５０４の選択を、ユーザが視野ウィンドウを選択できるようにする制御装置からのユーザ入力を検出することによってユーザ１００により手動で実行してもよい。代替的には、選択は、携帯装置１０２の角度方向を検出することと、角度方向に基づいて視野１５０４を自動的に調整することと、を有してもよい。追加的には、選択は、ユーザ１００が移動経路１５００に沿って移動する際の携帯装置１０２の動きパターンを検出することと、携帯装置１０２の動きを補償するために視野ウィンドウ１５０４を自動的に調整することと、を有してもよい。一例として、選択した視野ウィンドウ１５０４は、移動経路１５００に対応してもよい。ステップは、選択した視野ウィンドウ１５０４を対話型ユーザアプリケーションウィンドウ３０６と同時にタッチセンサー式ディスプレイ３００に表示することと、視野ウィンドウの外側の画像データをタッチセンサー式ディスプレイ３００の表示から除外することと、を更に有してもよい。本開示によれば、命令は、視野ウィンドウ１５０４をリアルタイムで調整することを更に有してもよい。

図１６は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本例において、エッジカメラアセンブリによって、携帯装置１０２は、単一のジェスチャーを用いて三つ（又はそれ以上）のカメラ入力の間の切替を行うことができる。具体的には、エッジカメラアセンブリは、一つ以上のイメージセンサ２１０を有してもよく、携帯装置１０２で使用されるように構成されたコンピュータ可読媒体に関連させてもよい。コンピュータ可読媒体は、第１の方向に延在する第１の光軸（例えば、光軸６００）を有する第１のイメージセンサ（例えば、イメージセンサ２１０）から第１のリアルタイム画像ストリーム１６００を受け取るステップと、第１の方向とは異なる第２の方向に延在する第２の光軸（例えば、光軸７００）を有する第２のイメージセンサ（例えば、第１の追加のイメージセンサ３１０）から第２のリアルタイム画像ストリームを受け取るステップと、第１の方向及び第２の方向とは異なる第３の方向に延在する第３の光軸（例えば、光軸７０２）を有する第３のイメージセンサ（例えば、第２の追加のイメージセンサ３１２）から第３のリアルタイム画像ストリームを受け取るステップと、を処理装置１００５によって実行させる命令を有する。上述した説明において、方法は、携帯装置１０２に関連する三つ全てのイメージセンサ２１０からの画像データを受け取ることを有するが、当業者は、本実施の形態を更に少ないカメラによって実施されることを認識する。

ステップは、携帯装置１０２に表示するために視野ウィンドウを第１のリアルタイム画像ストリーム１６０２から決定することと、決定した視野ウィンドウ（例えば、選択した視野ウィンドウ１５０４）に対応するリアルタイム表示をタッチセンサー式ディスプレイ３００に行うステップと、タッチセンサー式ディスプレイ３００へのユーザのタッチに応答して視野ウィンドウ１５０４の調整を行うことであって、調整は、第１のリアルタイム画像ストリーム１６００からの新たな視野ウィンドウ１５０４の選択、第２のリアルタイム画像ストリーム１６０４からの新たな視野ウィンドウ１５０２の選択及び第３のリアルタイム画像ストリーム１６０４からの新たな視野ウィンドウ１５０４の選択のうちの少なくとも一つを有することと、を更に有する。一実施の形態において、視野ウィンドウ１５０４の調整を行うことは、ディスプレイにおける連続動作を有する。連続動作は、二つの異なる方向に沿って行われ、第１の方向に沿った第１の動作は、リアルタイム画像ストリームの視野ウィンドウを変更し、第２の方向に沿った第２の動作は、リアルタイム画像ストリームのソースを変更する。

図１７は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本例において、エッジカメラアセンブリによって、携帯装置１０２は、互いに横切る光軸に沿って取得した２方向画像を表示、格納及び／又は共有することができる。例えば、ユーザ１００の前方の環境のビデオを、ユーザの顔の画像と同時に取得してもよい。具体的には、エッジカメラアセンブリは、互いに横切る光軸に沿って取得した２方向ビデオストリームを表示するために携帯装置１０２に関連させてもよい。携帯装置１０２は、上側面２０２、下側面２０４及び側端（例えば、端部面２０６）を有するハウジング２００を有してもよい。携帯装置１０２は、上側面２０２に配置されたタッチセンサー式ディスプレイ３００と、上側面２０２から離れる第１の方向に延在する第１の光軸を有する第１のイメージセンサ（例えば、第１の追加のイメージセンサ３１０）であって、携帯装置１０２がタッチセンサー式ディスプレイ３００を見るユーザ１００の手に保持されているときにユーザ１００の顔を取得するように構成された、第１のイメージセンサと、を更に有してもよい。携帯装置１０２は、側端に少なくとも部分的に組み込まれるとともに側端から離れる第２の方向に延在する第２の光軸を有する第２のイメージセンサであって、携帯装置１０２がタッチセンサー式ディスプレイ３００を見るユーザ１００の手に保持されているときユーザ１００の移動経路１５００を取得するように構成され、第１の方向は第２の方向を横切る、第２のイメージセンサを更に有してもよい。携帯装置１０２は、ユーザ１００の顔の第１のリアルタイム画像ストリームを第１のイメージセンサから取得し、ユーザ１００の移動経路１５００の第２のリアルタイム画像ストリームを第２のイメージセンサから取得し、ユーザ１００の顔及びユーザ１００の移動経路１５００の２方向表示をタッチセンサー式ディスプレイ３００においてリアルタイムで行うようにプログラムされた少なくとも一つのプロセッサ（例えば、処理装置１００５）を更に有してもよい。

関連の実施の形態において、２方向表示は、第１のリアルタイム画像ストリームに対する第１のウィンドウ１７００及び第２のリアルタイム画像ストリームに対する第２のウィンドウ１７０２を有してもよい。リアルタイム画像ストリームウィンドウ３０４に関連して上述した説明に加えて、第１のウィンドウ１７００と第２のウィンドウ１７０２のうちの少なくとも一方をタッチセンサー式ディスプレイ３００へのタッチによって実現可能にしてもよい。例えば、第２のウィンドウ１７０２を、タッチセンサー式ディスプレイ３００の約１５％、約３０％又は約５０％としてもよい。追加的には、第１のウィンドウ１７００と第２のウィンドウ１７０２のうちの少なくとも一方の位置をタッチセンサー式ディスプレイ３００へのタッチによって移動可能にしてもよい。他の関連の実施の形態において、少なくとも一つのプロセッサは、規定された期間中に２方向表示を格納すること、リアルタイムの２方向表示を遠隔の受信者に無線送信すること、リアルタイムの２方向表示をサーバに無線でアップロードすること、及び／又は、２方向表示を対話型ユーザアプリケーションに転送することを更に行ってもよい。追加的には、少なくとも一つのプロセッサは、２方向表示に関連する領域から対話型ユーザアプリケーションに関連する領域へのドラッグ及びドロップ動作を識別したときに２方向表示を転送してもよい。

図１８は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本例において、エッジカメラアセンブリを自己起動させる方法を提供する。例えば、処理装置１００５が、（保持を表す傾斜角度のような）適切な向きで前方に移動することを表す信号を受け取るとき、処理装置１００５は、エッジカメラアセンブリを自動的に起動させるとともに画像データをタッチセンサー式ディスプレイ３００に表示させる。具体的には、エッジカメラアセンブリを、携帯装置１０２で用いられるように構成されたコンピュータ可読媒体に関連させてもよい。コンピュータ可読媒体は、処理装置１００５によって実行される際に、以下のステップを処理装置１００５によって実行させる命令を有する。ステップ１８００は、携帯装置１０２が前進運動しているという第１の表示を携帯装置１０２の少なくとも一つのセンサから受け取ることを有する。一実施の形態において、少なくとも一つのセンサは、加速度計を有してもよく、第１の表示は、加速度に関連する測定を有してもよい。例えば、第１の表示は、予め決定された時間中に測定された約２ｋｍ／時と３５ｋｍ／時の間の速度である。ステップ１８０２は、携帯装置１０２のイメージセンサ（例えば、イメージセンサ２１０）が画像を取得する向きにあるという第２の表示を携帯装置１０２の少なくとも一つのセンサから受け取ることを有する。一実施の形態において、少なくとも一つのセンサは、傾斜を検出するセンサを含み、第２の表示は、携帯装置１０２の傾斜角に対応する。例えば、傾斜角は、携帯通信装置のユーザが歩行する面に対して約０°と約４５°の間であってもよい。代替的には、少なくとも一つのセンサは、近接センサを含み、第２の表示は、少なくとも一つのセンサが遮られているか否かの反映である。ステップ１８０６において、第１の表示と第２の表示の両方に応答して、順路画像のリアルタイム表示をタッチセンサー式ディスプレイ３００に自動的に行う。

関連の実施の形態において、命令は、携帯装置１０２の速度が予め決定されたしきい値を超えたことを検出したときに、携帯装置１０２の傾斜角が予め決定された範囲内にあるときに、携帯装置１０２の速度が予め決定されたしきい値より下に減少したことを検出したときに、及び／又は、携帯装置１０２の速度が予め決定されたしきい値を超えたことを検出したときに、自動的に取得を行うように構成される。追加的には、命令は、画像取得のための予め決定されたしきい値をユーザ１００によって選択できるように構成され、予め決定されたしきい値は、速度と携帯装置１０２の向きのうちの少なくとも一方を含む。一実施の形態において、命令は、タッチセンサー式ディスプレイ３００がアクティブであるか否かを検出することと、アクティブなディスプレイの検出と第１の表示及び第２の表示の両方との組合せに応答して、順路画像のリアルタイム表示をタッチセンサー式ディスプレイ３００に自動的に行うことと、を更に有する。他の実施の形態において、命令は、携帯装置１０２のバッテリ状態が予め規定されたしきい値より高いか否かを決定することと、バッテリ状態が予め規定されたしきい値より高いことの決定と第１の表示及び第２の表示の両方との組合せに応答して、順路画像のリアルタイム表示をタッチセンサー式ディスプレイ３００に自動的に行うことと、を更に有する。

図１９は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本例において、エッジカメラアセンブリは、一つのイメージセンサを２方向から画像データを取得するのに用いるように携帯装置１０２のケーシングに組み込まれる。図１９に示すように、多方向カメラを、携帯装置１０２のベゼル（ｂｅｚｅｌ）に組み込んでもよい。具体的には、本実施の形態において、画像取得ケーシングを提供する。画像取得ケーシングは、上向きの表示面（例えば、タッチセンサー式ディスプレイ３００）及び反対側の下側面（例えば、下側面２０４）を有する。画像取得ケーシングは、携帯装置１０２の少なくとも一部を包囲するハウジング２００と、イメージセンサ２１０と、表示面にリアルタイムの表示を行うために画像データをイメージセンサ２１０から伝送する回路と、を有してもよい。本実施の形態において、イメージセンサ２１０は、ハウジング２００に搭載されるとともに第１の方向に延在する第１の光軸及び第１の方向とは異なる第２の方向に延在する第２の光軸を有してもよく、第１の光軸は、携帯装置１０２がハウジング２００によって保持されているときに下側面に対して一定の鈍角に向けられるように構成される。本実施の形態によれば、周辺端部面から延在する第１の方向の画像データ及び上向きの表示面から延在する第２の方向の画像データをイメージセンサ２１０によって取得できるようにするために、イメージセンサ２１０を、ハウジング２００に組み込まれた光学装置１９００に関連させてもよい。第１の形態において、第１の光軸と第２の光軸の間の角度は鈍角である。第１の形態において、第２の光軸と第２の光軸の間の角度は鋭角である。角度の例を、図６〜９を参照しながら上述した。

図２０は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本例において、エッジカメラアセンブリによって、携帯装置１０２がユーザ１００の活動に基づいて視野ウィンドウ１５０４を変更できる。例えば、自転車に搭載された携帯装置は、歩行するユーザの視野とは異なる視野ウィンドウを必要とすることがある。本実施の形態において、ユーザの活動を検出するとともに検出した活動に基づいて視野ウィンドウを変更する方法を提供する。具体的には、エッジカメラアセンブリを、携帯装置１０２で用いられるように構成されたコンピュータ可読媒体に関連させてもよい。コンピュータ可読媒体は、処理装置１００５によって実行される際に、ユーザ１００が移動経路１５００に沿って移動する際のユーザ１００の環境を表す画像データをイメージセンサ２１０から受け取るステップと、ユーザ１００が関与する活動を反映する情報を、少なくとも一つのセンサから受け取るステップと、を処理装置１００５によって実行させる命令を有する。活動を反映する情報は、速度の表示、加速度の表示及び／又は携帯装置１０２の傾斜角の表示を有してもよい。複数の活動は、歩行、自転車の運転、車の運転。オートバイの運転、及び、セグウェイ、スクーター、ホバーボード等のような他の任意のモータ付き車両（ｍｏｔｏｒｅｄ ｖｅｈｉｃｌｅ）のうちの少なくとも二つを含んでもよい。実施の形態のステップは、メモリにある複数の活動のインジケータ及び各活動に関連する視野ウィンドウにアクセスするステップと、携帯装置１０２へのリアルタイム表示のために、視野ウィンドウ１５０４を選択するステップであって、選択した視野ウィンドウは、ユーザ１００が現在関与する活動に関連するステップと、選択した視野ウィンドウを携帯通信装置のディスプレイに適用するステップと、を更に有する。一実施の形態において、視野を選択することは、ユーザの経路に関連する境界を超える画像データを視野から除外するための画像認識アルゴリズムを実行することを有してもよい。

図２１は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。現在、オンライン地図サービス（例えば、Ｇｏｏｇｌｅ（登録商標）マップのストリートビュー）は、長期間に亘って時代遅れの画像を提供する。この理由は、オンライン地図を維持する企業が数か月又は数年ごとにストリートビュー画像を取得できるからである。しかしながら、エッジカメラアセンブリを有する携帯装置１０２を常に用いるユーザのコミュニティは、ユーザの周辺の画像を常に取得できる。この情報を、オンライン地図サービスにストリートビューを更に頻繁に規則的にアップロードする及び／又はユーザのコミュニティの環境の３次元走査インデックス（３Ｄ ｓｃａｎｎｉｎｇ ｉｎｄｅｘ）をクラウドソースするのに用いてもよい。一例において、携帯装置１０２の端部に組み込まれた複数のイメージセンサ２１０からの統合した画像データを用いてストリートビューマップ及び／又は３次元走査インデックスのクラウドソースによる生成を行うシステムを提供する。システムは、地理的地域のストリートビューマップ及び／又は３次元走査インデックスを維持し、ＧＰＳ座標をストリートビューマップ及び／又は３次元走査インデックスの位置に関連させるように構成された処理装置１００５を備える。処理装置１００５は、画像データ（例えば、リアルタイムで又は後に受信したストリートビュー画像）を、複数のユーザ１００の複数の携帯装置１０２の端部に組み込まれた複数のイメージセンサ２１０から受信し、受信した画像データに関連するＧＰＳ位置を、複数の携帯装置１０２の各々から受信するように更に構成される。その後、処理装置１００５は、受信したストリートビュー画像に関連するＧＰＳ位置がストリートビューマップ及び／又は３次元走査インデックスのＧＰＳ位置に対応するときに、ストリートビューマップ及び／又は３次元走査インデックスを、複数のイメージセンサからの受信したストリートビュー画像で更新する。

関連の実施の形態において、処理装置１００５は、個人情報を分かりにくくするために携帯装置１０２がストリートビュー画像を変更した後に複数の携帯電話からストリートビュー画像を受信してもよい。例えば、処理装置１００５は、複数のユーザ１００に関連するメタ情報を用いることなく複数の携帯装置１０２からストリートビュー画像を受信してもよい。処理装置１００５は、関心のある特定位置及び／又は関心のあるエリアの画像を要求してもよい。さらに、処理装置１００５は、ストリートビュー画像の各々に関連するタイムスタンプを受信するとともに複数の重なり合うストリートビュー画像を複数のユーザ１００から受信した後にマップを最新のストリートビュー画像で更新してもよい。処理装置１００５は、複数のユーザ１００から受信した重なり合うストリートビュー画像を統合するとともにマップを統合されたストリートビュー画像で更新してもよい。本実施の形態の一つの実現を示す例を図２１に示す。本例において、サーバ２１００は、店２１０２の現在のストリートビュー画像が更新されてないと決定することができる。サーバ２１００は、店２１０２の更新された画像を要求する表示を携帯装置１０２に送信する。イメージセンサ２１０を用いる携帯装置１０２は、ユーザの介入なく、一代替においてはユーザが知識を有することなく、店２１０２の画像を取得することができる。ストリートビュー画像は、ネットワーク２１０４を介してサーバ２１００に転送され、その後、オンライン地図サービス２１０８が更新される。

図２２は、開示した実施の形態によるエッジカメラアセンブリの例示的な使用の略図である。本開示によれば、イメージセンサ２１０によって取得した画像データと関わる対話型ユーザアプリケーションにアクセスするユーザ１００に便利な方法を提供するコンピュータ実現方法を提供する。一例において、ユーザ１００が、リアルタイム画像ストリームウィンドウ３０４に位置するＧＵＩ形態２２０を押圧した後、複数の対話型ユーザアプリケーションに関連する複数のアイコン（例えば、アイコン２２０２）をリアルタイム画像ストリームウィンドウ３０４に表示する。ユーザ１００は、どのアイコンをリアルタイム画像ストリームウィンドウ３０４に表示するかを選択するオプションを有してもよい。一実施の形態において、ユーザ１００が、複数の対話型ユーザアプリケーションに関連するアイコンの一つを押圧した後、対応する対話型ユーザアプリケーションを対話型ユーザアプリケーションウィンドウ３０４に開く。メージセンサ２１０によって取得した画像データとかかわる対話型ユーザアプリケーションの一例を、図１４を参照しながら上述した。

以上の説明を例示のために行った。以上の説明は、包括的ではなく、開示した正確な形態又は実施の形態に限定されない。変更及び適合は、明細書の考察及び開示した実施の形態の実施から当業者に明らかである。さらに、開示した実施の形態の態様をメモリに格納されたものとして説明したが、当業者は、これらの態様を二次記憶装置、例えば、ハードディスク若しくはＣＤ ＲＯＭ、ＲＡＭ若しくはＲＯＭの他の形態、ＵＳＢメディア、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）又は他の光ドライブメディア（ｏｐｔｉｃａｌ ｄｒｉｖｅ ｍｅｄｉａ）のような他のタイプのコンピュータ可読媒体に格納することもできることがわかる。

明細書及び開示した方法に基づくコンピュータプログラムは、経験のある開発者の技術の範囲内である。種々のプログラム又はプログラムモジュールを、当業者に知られている技術のいずれかを用いて作成することができる又は既存のソフトウェアに関連して設計することができる。例えば、プログラムセクション又はプログラムモジュールを、Ｎｅｔ Ｆｒａｍｅｗｏｒｋ（登録商標）、Ｎｅｔ Ｃｏｍｐａｃｔ Ｆｒａｍｅｗｏｒｋ（及びＶｉｓｕａｌ Ｂａｓｉｃ（登録商標），Ｃ等の関連の言語）、Ｊａｖａ（登録商標）、Ｃ＋＋（登録商標）、Ｏｂｊｅｃｔｉｖｅ−Ｃ（登録商標）、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組合せ又はＪａｖａ（登録商標）アプレットを埋め込んだＨＴＭＬを介して設計することができる。

さらに、ここでは例示の実施の形態を説明したが、任意の及び全ての実施の形態の範囲は、本開示に基づいて当業者によって理解できるような等価の要素、変形、省略、（例えば、種々の実施の形態に亘る態様の）組合せ、適合及び／又は変更を有する。特許請求の範囲の限定は、特許請求の範囲で用いられる言葉に基づいて広く解釈されるべきであり、本願の手続中に本明細書に記載した例に限定されるものではない。例は、包括的なものと解釈すべきである。さらに、開示した方法のステップを、ステップの並び替え及び／又はステップの挿入若しくは削除を含む任意の方法で変更してもよい。したがって、明細書及び例を例示として考慮すべきであり、正確な範囲及び精神は、特許請求の範囲及び等価物の全範囲によって表される。

Claims (180)

1. 上向きの表示面及び反対側の下側面を有する、手持ち式携帯通信装置のための画像取得ケーシングであって、
   前記手持ち式携帯通信装置の少なくとも一部を包囲するハウジングと、
   前記ハウジングに搭載されるとともに前記手持ち式携帯通信装置が前記ハウジングによって保持されているときに前記下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサであって、前記少なくとも一つのイメージセンサは、ユーザが歩行するときにユーザが歩行する面に対して鋭角に向けられ、前記少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く、少なくとも一つのイメージセンサと、
   前記表示面にリアルタイムの表示を行うために画像データを前記少なくとも一つのイメージセンサから伝送する回路と、
   を備える画像取得ケーシング。
2. 前記ハウジングは、前記手持ち式携帯通信装置の追加のイメージセンサの光軸が通過できるように構成された孔を有し、前記追加のイメージセンサは、前記ハウジングに搭載された前記少なくとも一つのイメージセンサとは異なる請求項１に記載の画像取得ケーシング。
3. 前記ハウジングは、前記少なくとも一つのイメージセンサを保持する少なくとも一つのチャネルを有し、前記チャネルの軸は、前記手持ち式携帯通信装置が前記ハウジングによって保持されているときに前記下側面の一部に対して鈍角に前記ハウジングから延在する請求項１に記載の画像取得ケーシング。
4. 前記ハウジングは、周辺端部を有し、前記少なくとも一つのイメージセンサは、前記周辺端部に組み込まれている請求項１に記載の画像取得ケーシング。
5. 前記画像取得ケーシングは、前記手持ち式携帯通信装置と一体である請求項１に記載の画像取得ケーシング。
6. 前記手持ち式携帯通信装置は、前記表示面に直角に向いた光軸を有する第１の追加のイメージセンサと、前記下側面の下に組み込まれた第２の追加のイメージセンサと、を更に有する請求項５に記載の画像取得ケーシング。
7. 前記少なくとも一つのイメージセンサ、前記第１の追加のイメージセンサ及び前記第２の追加のイメージセンサからの画像データを、前記回路を介して取得し、
   前記少なくとも一つのイメージセンサからの画像、前記第１の追加のイメージセンサからの画像及び前記第２の追加のイメージセンサからの画像を前記表示面に同時に表示するように構成された少なくとも一つのプロセッサを更に備える請求項６に記載の画像取得ケーシング。
8. 前記手持ち式携帯通信装置に選択的に接続可能であるとともに前記手持ち式携帯通信装置から選択的に分離可能となるように構成された請求項１に記載の画像取得ケーシング。
9. 前記手持ち式携帯通信装置が前記ハウジングに据え付けられたときに前記手持ち式携帯通信装置のポートと電気的な接続を行うコネクタを更に有する請求項８に記載の画像取得ケーシング。
10. 前記少なくとも一つのイメージセンサに給電するように構成された、前記ハウジング内のバッテリを更に有する請求項８に記載の画像取得ケーシング。
11. 前記回路は、前記手持ち式携帯通信装置内のバッテリから前記少なくとも一つのイメージセンサに電力を供給するように更に構成された請求項８に記載の画像取得ケーシング。
12. 前記少なくとも一つのイメージセンサに関連する少なくとも一つの光軸の方向に実質的に向いた指向性マイクロホンを更に有する請求項１に記載の画像取得ケーシング。
13. 前記手持ち式携帯通信装置は、携帯電話とタブレットのうちの少なくとも一方である請求項１に記載の画像取得ケーシング。
14. ケーシングと、
    前記ケーシングの第１の側にある上向きの表示面と、
    前記ケーシングの第２の側にある、前記表示面の反対側にある下側面と、
    前記ケーシングに搭載されるとともに前記下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサであって、前記少なくとも一つのイメージセンサは、前記ケーシングが歩行中のユーザによって保持されるときにユーザが歩行する面に対して鋭角に向けられ、前記少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く、少なくとも一つのイメージセンサと、
    前記表示面にリアルタイムの表示を行うために画像データを前記少なくとも一つのイメージセンサから伝送する回路と、
    を備える手持ち式携帯通信装置。
15. 前記ケーシングの前記第１の側に組み込まれるとともに前記表示面から離れる第１の方向に向かう第１の追加の光軸を有する第１の追加のイメージセンサと、
    前記ケーシングの前記第２の側に組み込まれるとともに前記表示面から離れる第２の方向に向かう第２の追加の光軸を有する第２の追加のイメージセンサと、
    を更に備え、前記少なくとも一つのイメージセンサは、前記表示面と前記下側面の間に配置された前記ケーシングの端部に少なくとも部分的に組み込まれ、前記少なくとも一つのイメージセンサの少なくとも一つの光軸は、前記端部から離れる少なくとも一つの第３の方向に延在し、前記少なくとも一つの光軸、前記第１の追加の光軸及び前記第２の追加の光軸は、互いに異なる請求項１４に記載の手持ち式携帯通信装置。
16. 前記少なくとも一つの光軸及び前記第２の追加の光軸は、互いに鋭角に向いている請求項１５に記載の手持ち式携帯通信装置。
17. 前記少なくとも一つの光軸及び前記第２の追加の光軸は、互いに鈍角に向いている請求項１５に記載の手持ち式携帯通信装置。
18. 上向きの表示面及び反対側の下側面を有する、手持ち式携帯通信装置のための着脱自在ケースであって、
    前記手持ち式携帯通信装置の少なくとも一部を包囲するハウジングと、
    前記手持ち式携帯通信装置が前記ハウジングに据え付けられたときに前記手持ち式携帯通信装置のポートと電気的な接続を行うコネクタと、
    前記ハウジングに搭載されるとともに前記手持ち式携帯通信装置が前記ハウジングによって保持されているときに前記下側面に対して一定の鈍角に向けられるように構成された少なくとも一つの光軸を有する少なくとも一つのイメージセンサであって、前記少なくとも一つのイメージセンサは、ユーザが歩行するときにユーザが歩行する面に対して鋭角に向けられ、前記少なくとも一つの光軸は、一般的にはユーザの歩行方向を向く、少なくとも一つのイメージセンサと、
    前記表示面にリアルタイムの表示を行うために画像データを前記少なくとも一つのイメージセンサから伝送する回路と、
    を備える着脱自在ケース。
19. 前記少なくとも一つのイメージセンサの視野は１８０°より大きい請求項１８に記載の着脱自在ケース。
20. 前記少なくとも一つのイメージセンサは、複数のイメージセンサを有し、前記少なくとも一つのイメージセンサのうちの少なくとも一つは、前記複数のイメージセンサのうちの他のイメージセンサの視野と重なり合う請求項１８に記載の着脱自在ケース。
21. ユーザが表示情報に関わる間にユーザの前方の環境のリアルタイムの景色を表示する携帯装置であって、
    一般的に中心軸平面を有するハウジングと、
    前記ハウジングの第１の側のタッチセンサー式ディスプレイと、
    前記第１の側の反対側にある前記ハウジングの第２の側の後部と、
    前記第１の側と前記第２の側の間の周辺端部面と、
    前記ハウジング内に固定され、前記ハウジングの第１の側、前記ハウジングの第２の側及び前記中心軸平面の各々に対して直角でない角度の固定された光軸を有する少なくとも一つのイメージセンサと、
    を備える携帯装置。
22. 前記少なくとも一つのイメージセンサは、前記周辺端部面に少なくとも部分的に組み込まれた請求項２１に記載の携帯装置。
23. 前記少なくとも一つのイメージセンサの前記固定された光軸は、前記中心軸平面に対して約５°と約８０°の間で傾斜している請求項２１に記載の携帯装置。
24. 前記少なくとも一つのイメージセンサの前記固定された光軸は、前記中心軸平面に対して約１０°と約７０°の間で傾斜している請求項２１に記載の携帯装置。
25. 前記少なくとも一つのイメージセンサの視野は６０°より大きい請求項２１に記載の携帯装置。
26. 前記ハウジングの前記第１の側に組み込まれるとともに前記第１の側から離れる第１の方向に延在する第１の追加の光軸を有する第１の追加のイメージセンサと、
    前記ハウジングの前記第２の側に組み込まれるとともに前記第１の側から離れる第２の方向に延在する第２の追加の光軸を有する第２の追加のイメージセンサと、
    を更に備え、前記少なくとも一つのイメージセンサの光軸は、前記第１の追加の光軸に対して一定の鈍角に向くとともに前記第２の追加の光軸に対して一定の鋭角に向く請求項２１に記載の携帯装置。
27. 前記少なくとも一つのイメージセンサの視野は、前記第２の追加のイメージセンサの視野と部分的に重なり合う請求項２６に記載の携帯装置。
28. 前記第１の追加のイメージセンサからの画像データ及び前記第２の追加のイメージセンサからのデータをステッチングするように構成された、前記ハウジング内の少なくとも一つのプロセッサを更に備える請求項２７に記載の携帯装置。
29. 前記少なくとも一つのイメージセンサ、前記第１の追加のイメージセンサ及び前記第２の追加のイメージセンサからの画像データを取得し、
    前記少なくとも一つのイメージセンサから受け取った画像データ、前記第１の追加のイメージセンサから受け取った画像データ及び前記第２の追加のイメージセンサから受け取った画像データの少なくとも一部を前記タッチセンサー式ディスプレイに表示可能とするように構成された少なくとも一つのプロセッサを更に備える請求項２６に記載の携帯装置。
30. 前記少なくとも一つのイメージセンサ、前記第１の追加のイメージセンサ及び前記第２の追加のイメージセンサからの画像データを同時に取得し、
    前記イメージセンサのうちの少なくとも二つからの画像を前記タッチセンサー式ディスプレイに同時に表示するように構成された少なくとも一つのプロセッサを更に備える請求項２９に記載の携帯装置。
31. 前記少なくとも一つのセンサは、前記周辺端部面に固定して配置された第１のイメージセンサ及び第２のイメージセンサを有する請求項２１に記載の携帯装置。
32. 前記第１のイメージセンサの視野は、前記第２のイメージセンサの視野と部分的に重なり合う請求項３１に記載の携帯装置。
33. 前記少なくとも一つのイメージセンサは、第１の方向から延在する第１の光軸及び前記第１の光軸とは異なる第２の方向に延在する第２の光軸を有するイメージセンサを有し、前記第１の光軸は、前記第１の側に対して一定の鈍角に向けられるように構成された請求項２１に記載の携帯装置。
34. 前記第１の方向は、前記周辺端部面から延在し、前記第２の方向は、前記第１の側から延在する請求項３３に記載の携帯装置。
35. タッチセンサー式ディスプレイを有する携帯装置のための着脱自在ケースであって、
    前記携帯装置の少なくとも一部を包囲するハウジングであって、前記ハウジングは、第１の側と、前記第１の側の反対側にある第２の側と、前記第１の側及び前記第２の側と相互に連結するとともに一般的に中心軸平面を有する周辺端部面と、を有する、ハウジングと、
    前記携帯装置が前記ハウジングに据え付けられたときに前記携帯装置のポートと電気的な接続を行うコネクタと、
    前記ハウジング内に固定され、前記ハウジングの第１の側、前記ハウジングの第２の側及び前記中心軸平面の各々に対して直角でない角度の固定された光軸を有する少なくとも一つのイメージセンサと、
    前記タッチセンサー式ディスプレイの面にリアルタイムの表示を行うために画像データを前記少なくとも一つのイメージセンサから伝送する回路と、
    を備える着脱自在ケース。
36. 前記回路は、前記携帯装置の前方の環境のリアルタイムの景色を対話型ユーザアプリケーションウィンドウと同時に前記タッチセンサー式ディスプレイに表示するために前記少なくとも一つのイメージセンサからの画像データを伝送するように構成された請求項３５に記載の着脱自在ケース。
37. 前記回路は、無線接続を介して前記画像データを伝送するように構成された請求項３５に記載の着脱自在ケース。
38. 前記回路は、有線接続を用いて前記画像データを伝送するように構成された請求項３５に記載の着脱自在ケース。
39. 前記ハウジングは、前記携帯装置に組み込まれた追加のイメージセンサを露出するための開口を有する請求項３５に記載の着脱自在ケース。
40. 前記少なくとも一つのイメージセンサの視野は、前記携帯装置に組み込まれた前記追加のイメージセンサの視野と重なり合う請求項３９に記載の着脱自在ケース。
41. 移動の順路を進む間に下方を見るユーザに拡張現実を提供するように構成された手持ち式携帯通信装置であって、
    上面、下面及び側端を有するハウジングと、
    前記上面に配置されたタッチセンサー式ディスプレイと、
    前記タッチセンサー式ディスプレイが下を見るユーザの顔に対向した状態で前記手持ち式携帯通信装置がユーザに保持されるような向きに前記ハウジング内に固定して組み込まれたイメージセンサと、
    前記イメージセンサから画像ストリームを取得し、
    取得した画像ストリームにおけるユーザの移動の経路のオブジェクトを識別し、
    識別したオブジェクトについての情報を調べ、
    前記識別したオブジェクトを含む前記取得した画像ストリームをリアルタイムで前記タッチセンサー式ディスプレイに表示し、
    前記識別したオブジェクトに関連する視覚インジケータを前記タッチセンサー式ディスプレイに表示するようにプログラムされた少なくとも一つのプロセッサと、
    を備える手持ち式携帯通信装置。
42. 前記視覚インジケータは、アイコン又は単語を含む請求項４１に記載の携帯通信装置。
43. 前記視覚インジケータは、売出しについての情報を含む請求項４１に記載の携帯通信装置。
44. 前記オブジェクトは、人であり、調べられる情報は、人の名前を含む請求項４１に記載の携帯通信装置。
45. 前記オブジェクトは、販売施設であり、前記情報は、前記販売施設で入手できる製品又はサービスについての詳細を含む請求項４１に記載の携帯通信装置。
46. 前記少なくとも一つのプロセッサは、前記オブジェクトとの衝突コースにユーザが存在するか否を決定するとともに前記衝突コースの警告を生成するように更にプログラムされた請求項４１に記載の携帯通信装置。
47. 前記警告は、触知できる警告、視覚的な警告及び音声のうちの少なくとも一つ又は触知できる警告、視覚的な警告及び音声の組合せである請求項４６に記載の携帯通信装置。
48. 前記少なくとも一つのプロセッサは、前記識別した物体を含む取得したリアルタイム画像ストリームを前記タッチセンサー式ディスプレイの第１の部分に表示するとともに前記取得したリアルタイム画像ストリームと同時に対話型ユーザアプリケーションを前記タッチセンサー式ディスプレイの第２の部分に表示するように更にプログラムされた請求項４１に記載の携帯通信装置。
49. 前記対話型ユーザアプリケーションは、メッセージングアプリケーションであり、前記少なくとも一つのプロセッサは、ユーザが前記メッセージングアプリケーションを介して少なくとも一つの画像を前記取得した画像ストリームからリアルタイムで送信できるように更にプログラムされた請求項４８に記載の携帯通信装置。
50. 前記少なくとも一つのプロセッサは、前記視覚インジケータをリアルタイム画像ストリームに重ね合わせるように更にプログラムされた請求項４１に記載の携帯通信装置。
51. 前記視覚インジケータは、前記タッチセンサー式ディスプレイにタッチする際に更なる情報を利用できる表示を含み、前記少なくとも一つのプロセッサは、前記視覚インジケータへのユーザのタッチに応答して動作を実行するように更にプログラムされた請求項４１に記載の携帯通信装置。
52. ＧＰＳチップを更に備え、前記少なくとも一つのプロセッサは、
    目的地までの一連のターンバイターン指示を方向誘導アプリケーションから受け取り、
    ユーザの顔が前記タッチセンサー式ディスプレイに対向した状態でユーザが順路を進む際に、前記イメージセンサからの取得したリアルタイム画像ストリームを前記タッチセンサー式ディスプレイに表示し、
    前記ターンバイターン指示に関連した少なくとも一つの視覚インジケータを前記取得したリアルタイム画像ストリームと同時に表示するために、前記ＧＰＳチップから取得した位置情報を用いるように更にプログラムされた請求項４１に記載の携帯通信装置。
53. コンパスを更に備え、前記少なくとも一つのプロセッサは、前記少なくとも一つの視覚インジケータを表示するために、前記ＧＰＳチップから取得した前記位置情報及び前記コンパスから取得した方向情報用いるように更にプログラムされた請求項５２に記載の携帯通信装置。
54. 前記ターンバイターン指示は、移動の経路に関連し、前記少なくとも一つの視覚インジケータは、前記移動の経路に沿った位置についての情報を含む請求項５２に記載の携帯通信装置。
55. 前記少なくとも一つの視覚インジケータは、矢印、コンパスの表示、次のターンまでの距離を表す数字、販売施設の名称及び通りの名前のうちの少なくとも一つを含む請求項５２に記載の携帯通信装置。
56. タッチセンサー式ディスプレイを有する手持ち式携帯通信装置のための着脱自在ケースであって、
    上面、下面及びこれらの間の端部を有するハウジングと、
    少なくとも一つのイメージセンサであって、前記手持ち式携帯通信装置が前記着脱自在ケースに据え付けられるとともに前記タッチセンサー式ディスプレイが下を見るユーザの顔に対向する状態で下を見るユーザの手に保持されたときに、前記少なくとも一つのイメージセンサの光軸が一般的には移動の経路の方向に延在するような向きに前記ハウジングに組み込まれる少なくとも一つのイメージセンサと、
    前記手持ち式携帯通信装置が前記ハウジングに据え付けられたときに前記手持ち式携帯通信装置のポートと電気的な接続を行うコネクタと、
    前記着脱自在ケースに組み込まれた少なくとも一つのコンデュイットであって、前記少なくとも一つのイメージセンサの間に延在するとともに前記コネクタによって前記少なくとも一つのイメージセンサに電気的に接続して前記少なくとも一つのイメージセンサから前記手持ち式携帯通信装置へのリアルタイム画像ストリームを可能にする、少なくとも一つのコンデュイットと、
    視覚インジケータを前記リアルタイム画像ストリームに重ね合わせる少なくとも一つのプロセッサと、
    を備える着脱自在ケース。
57. 前記少なくとも一つのイメージセンサは、前記コネクタに対向する端部の一部内に組み込まれ、前記少なくとも一つのコンデュイットは、前記イメージセンサと前記コネクタの間で前記ハウジングを横断する請求項５６に記載の着脱自在ケース。
58. 下を向いて手持ち式携帯通信装置のタッチセンサー式ディスプレイを見る間に移動の順路を進むユーザに拡張現実を提供する方法であって、
    イメージセンサから画像ストリームを取得することであって、前記手持ち式携帯通信装置が、前記タッチセンサー式ディスプレイが下方を見るユーザの顔に対向する状態で下を見るユーザの手に保持されたときに、前記イメージセンサは、前記イメージセンサの光軸が一般的には移動の経路の方向に延在するような向きに前記手持ち式携帯通信装置のケーシングに固定して組み込まれることと、
    取得した画像ストリームにおけるユーザの移動の経路のオブジェクトを識別することと、
    識別したオブジェクトについての情報を調べることと、
    前記識別したオブジェクトを含む前記取得した画像ストリームを、前記タッチセンサー式ディスプレイにリアルタイムで表示することと、
    前記識別したオブジェクトに関連する視覚インジケータを前記タッチセンサー式ディスプレイに表示することと、
    を備える方法。
59. 前記ケーシングは、前記手持ち式携帯通信装置と一体である請求項５８に記載の方法。
60. 前記ケーシングは、前記手持ち式携帯通信装置から分離可能である請求項５８に記載の方法。
61. 上向きの表示面及び反対側の下側面を有する、手持ち式携帯通信装置のための画像取得ケーシングであって、
    前記手持ち式携帯通信装置の少なくとも一部を包囲するハウジングと、
    前記ハウジングに搭載されるとともに第１の方向に延在する第１の光軸及び前記第１の方向とは異なる第２の方向に延在する第２の光軸を有する少なくとも一つのイメージセンサであって、前記第１の光軸は、前記手持ち式携帯通信装置が前記ハウジングによって保持されているときに前記下側面に対して一定の鈍角に向くように構成された、少なくとも一つのイメージセンサと、
    前記表示面にリアルタイムの表示を行うために画像データを前記少なくとも一つのイメージセンサから伝送する回路と、
    を備える画像取得ケーシング。
62. 前記画像取得ケーシングは、前記手持ち式携帯通信装置から分離可能である請求項６１に記載の画像取得ケーシング。
63. 前記画像取得ケーシングは、前記手持ち式携帯通信装置と一体である請求項６１に記載の画像取得ケーシング。
64. 前記ハウジングは、周辺端部面を有し、前記第１の方向は前記周辺端部面から延在し、前記第２の方向は前記上向きの表示面から延在する請求項６１に記載の画像取得ケーシング。
65. 前記第１の光軸と前記第２の光軸の間の角度は、鈍角である請求項６１に記載の画像取得ケーシング。
66. 前記第１の光軸と前記第２の光軸の間の角度は、鋭角である請求項６１に記載の画像取得ケーシング。
67. 端部に組み込まれた複数のイメージセンサは、前記ハウジングの前記上向きの表示面と前記下側面とを相互に連結させる請求項６１に記載の画像取得ケーシング。
68. 前記手持ち式携帯通信装置は、携帯電話とタブレットのうちの少なくとも一方である請求項６１に記載の画像取得ケーシング。
69. 前記回路は、無線接続を介して前記画像データを伝送するように構成された請求項６１に記載の画像取得ケーシング。
70. 前記回路は、有線接続を用いて前記画像データを伝送するように構成された請求項６１に記載の画像取得ケーシング。
71. ディスプレイと、
    上面に沿って前記ディスプレイを保持するとともに前記上面の反対にある下面を有するハウジングであって、端部を前記上面と前記下面の間に配置したハウジングと、
    前記上面に組み込まれるとともに前記上面から離れる第１の方向に延在する第１の光軸を有する少なくとも一つの第１のイメージセンサと、
    前記下面に組み込まれるとともに前記下面から離れる第２の方向に延在する第２の光軸を有する少なくとも一つの第２のイメージセンサと、
    前記端部に少なくとも部分的に組み込まれるとともに前記端部から離れる第３の方向に延在する第３の光軸を有する少なくとも一つの第３のイメージセンサであって、前記第１の方向、前記第２の方向及び前記第３の方向は互いに異なる、少なくとも一つの第３のイメージセンサと、
    前記ハウジング内の少なくとも一つのプロセッサであって、前記少なくとも一つの第１のイメージセンサからの画像データ、前記少なくとも一つの第２のイメージセンサからの画像データ及び前記少なくとも一つの第３のイメージセンサからの画像データを受け取り、前記少なくとも一つの第１のイメージセンサからの画像データ、前記少なくとも一つの第２のイメージセンサからの画像データ及び前記少なくとも一つの第３のイメージセンサからの画像データを前記ディスプレイに表示させることができる少なくとも一つのプロセッサと、
    を備える携帯通信装置。
72. 前記第３の光軸及び前記第２の光軸は、互いに鈍角に向く請求項７１に記載の携帯通信装置。
73. 前記第３の光軸及び前記第１の光軸は、互いに鈍角に向く請求項７１に記載の携帯通信装置。
74. 前記少なくとも一つのプロセッサは、前記少なくとも一つの第１のイメージセンサ、前記少なくとも一つの第２のイメージセンサ及び前記少なくとも一つの第３のイメージセンサのうちの少なくとも二つからの画像情報を同時に受け取るとともに前記少なくとも一つの第１のイメージセンサ、前記少なくとも一つの第２のイメージセンサ及び前記少なくとも一つの第３のイメージセンサのうちの少なくとも二つからの画像を前記ディスプレイに同時に表示するように構成された請求項７１に記載の携帯通信装置。
75. 同時の画像の表示は、少なくとも二つのイメージセンサからの画像を同時にストリーミングすることを有する請求項７１に記載の携帯通信装置。
76. 前記少なくとも一つのプロセッサは、前記少なくとも一つの第２のイメージセンサによって取得した画像データ及び前記少なくとも一つの第３のイメージセンサによって取得した画像データを統合するとともに統合した画像を前記ディスプレイに表示するように更にプログラムされた請求項７１に記載の携帯通信装置。
77. 前記ハウジングは、前記少なくとも一つの第３のイメージセンサとは反対の位置にある少なくとも一つの第４のイメージセンサを有し、前記少なくとも一つのプロセッサは、前記少なくとも一つの第１のイメージセンサからの画像データ、前記少なくとも一つの第２のイメージセンサからの画像データ、前記少なくとも一つの第３のイメージセンサからの画像データ及び前記少なくとも一つの第４のイメージセンサからの画像データを前記ディスプレイに表示できるようにした請求項７１に記載の携帯通信装置。
78. 前記ディスプレイは、タッチセンサー式である請求項７１に記載の携帯通信装置。
79. 上向きの表示面及び反対側の下側面を有する、携帯装置のための画像取得ケーシングであって、
    前記携帯装置の少なくとも一部を包囲するハウジングであって、上面、下面及び前記上面と前記下面を互いに連結する端部を有するハウジングと、
    前記端部に組み込まれる複数のイメージセンサであって、前記複数のイメージセンサの各々は光軸を有し、前記携帯装置が前記ハウジングによって保持されているときに、各光軸は、前記上向きの表示面及び前記下側面に垂直な軸と異なる、複数のイメージセンサと、
    画像データを前記複数のイメージセンサからディスプレイに伝送する回路と、
    を備える画像取得ケーシング。
80. 前記画像取得ケーシングは、前記携帯装置と一体である請求項７９に記載の画像取得ケーシング。
81. 前記携帯装置は、前記ハウジングの上面から離れて延在する光軸を有する第１の追加のイメージセンサと、前記下側面に組み込まれた第２の追加のイメージセンサと、を有する請求項８０に記載の画像取得ケーシング。
82. 前記ハウジングの上面は、前記下側面に略一致する請求項８０に記載の画像取得ケーシング。
83. 前記画像取得ケーシングは、前記携帯装置から分離可能である請求項７９に記載の画像取得ケーシング。
84. 前記画像取得ケーシングは、前記携帯装置が前記ハウジングに据え付けられたときに前記携帯装置のポートと電気的な接続を行うコネクタを有する請求項８３に記載の画像取得ケーシング。
85. 前記ハウジングは、前記携帯装置に組み込まれた追加のイメージセンサを露出するための開口を有する請求項８３に記載の画像取得ケーシング。
86. 前記複数のイメージセンサの各々は、関連の視野を有し、前記複数のイメージセンサの少なくとも一つの視野は、前記複数のイメージセンサの他のイメージセンサの視野と重なり合う請求項７９に記載の画像取得ケーシング。
87. 前記携帯装置は、重なり合うイメージセンサのうちの少なくとも二つからの画像情報を受け取る少なくとも二つの重なり合うイメージセンサからの画像情報を統合する請求項８６に記載の画像取得ケーシング。
88. 前記統合することは、前記少なくとも二つの重なり合うイメージセンサからの画像情報をステッチングすることを有する請求項８７に記載の画像取得ケーシング。
89. 前記携帯装置は、少なくとも二つの重なり合うイメージセンサからの統合された画像情報を前記ディスプレイに表示するように構成された少なくとも一つのプロセッサを更に有する請求項８６に記載の画像取得ケーシング。
90. 前記携帯装置は、少なくとも二つの重なり合うイメージセンサからの画像情報を用いて仮想的な３次元画像を作成するように構成された少なくとも一つのプロセッサを更に有する請求項８６に記載の画像取得ケーシング。
91. 前記複数のイメージセンサは、二つのイメージセンサを有し、第１のイメージセンサは、前記ハウジングの右上隅の領域に存在し、第２のイメージセンサは、前記ハウジングの左上隅の領域に存在する請求項７９に記載の画像取得ケーシング。
92. 前記複数のイメージセンサは、三つのイメージセンサを有し、第１のイメージセンサは、前記ハウジングの上端に存在し、第２のイメージセンサは、前記ハウジングの右上隅の領域に存在し、第３のイメージセンサは、前記ハウジングの左上隅の領域に存在する請求項７９に記載の画像取得ケーシング。
93. 前記端部に組み込まれた複数のイメージセンサは、少なくとも部分的に上端部の外側に向く光学視野を有する第１のイメージセンサと、少なくとも部分的に右端部の外側に向く光学視野を有する第２のイメージセンサと、少なくとも部分的に左端部の外側に向く光学視野を有する第３のイメージセンサと、を有する請求項７９に記載の画像取得ケーシング。
94. 前記回路は、無線接続を介して前記画像データを伝送するように構成された請求項７９に記載の画像取得ケーシング。
95. 前記回路は、有線接続を用いて前記画像データを伝送するように構成された請求項７９に記載の画像取得ケーシング。
96. 携帯通信装置で用いられるコンピュータ可読媒体であって、プロセッサによって実行される際に、
    前記携帯通信装置が前進運動しているという第１の表示を前記携帯通信装置の少なくとも一つのセンサから受け取るステップと、
    前記携帯通信装置のイメージセンサが画像を取得する向きにあるという第２の表示を前記携帯通信装置の前記少なくとも一つのセンサから受け取るステップと、
    前記第１の表示と前記第２の表示の両方に応答して、順路画像のリアルタイム表示を前記携帯通信装置のディスプレイに自動的に行うステップと、
    を前記プロセッサによって実行させる命令を有するコンピュータ可読媒体。
97. 前記命令は、順路画像のリアルタイム表示中に追加の非画像情報を前記ディスプレイに表示することを更に備える請求項９６に記載のコンピュータ可読媒体。
98. 前記少なくとも一つのセンサは加速度計を含み、前記第１の表示は、加速度に関連する測定を有する請求項９６に記載のコンピュータ可読媒体。
99. 前記第１の表示は、予め決定された時間中に測定された約２ｋｍ／時と３５ｋｍ／時の間の速度である請求項９６に記載のコンピュータ可読媒体。
100. 前記少なくとも一つのセンサは、傾斜を検出するセンサを含み、前記第２の表示は、前記携帯通信装置の傾斜角に対応する請求項９６に記載のコンピュータ可読媒体。
101. 傾斜角は、前記携帯通信装置のユーザが歩行する面に対して約０°と約４５°の間である請求項９６に記載のコンピュータ可読媒体。
102. 前記少なくとも一つのセンサは、近接センサを含み、前記第２の表示は、前記少なくとも一つのセンサが遮られているか否かの反映である請求項９６に記載のコンピュータ可読媒体。
103. 前記命令は、前記携帯通信装置の速度が予め決定されたしきい値を超えたことを検出したときに、自動的に取得を行うように構成された請求項９６に記載のコンピュータ可読媒体。
104. 前記命令は、前記携帯通信装置の傾斜角が予め決定された範囲内にあるときに、自動的に取得を行うように構成された請求項９６に記載のコンピュータ可読媒体。
105. 前記命令は、前記携帯通信装置の速度が予め決定されたしきい値より下に減少したことを検出したときに、自動的に取得を行うように構成された請求項９６に記載のコンピュータ可読媒体。
106. 前記命令は、前記携帯通信装置の速度が予め決定されたしきい値を超えたことを検出したときに、自動的に画像取得を行うように構成された請求項９６に記載のコンピュータ可読媒体。
107. 前記命令は、画像取得のための予め決定されたしきい値をユーザによって選択できるように構成され、前記予め決定されたしきい値は、速度と前記携帯通信装置の向きのうちの少なくとも一方を含む請求項９６に記載のコンピュータ可読媒体。
108. 前記命令は、前記ディスプレイがアクティブであるか否かを検出することと、アクティブな前記ディスプレイの検出と前記第１の表示及び前記第２の表示の両方との組合せに応答して、順路画像のリアルタイム表示を前記携帯通信装置の前記ディスプレイに自動的に行うことと、を更に有する請求項９６に記載のコンピュータ可読媒体。
109. 前記命令は、前記携帯通信装置のバッテリ状態が予め規定されたしきい値より高いか否かを決定することと、前記バッテリ状態が予め規定されたしきい値より高いことの決定と前記第１の表示及び前記第２の表示の両方との組合せに応答して、順路画像のリアルタイム表示を前記携帯通信装置の前記ディスプレイに自動的に行うことと、を更に有する請求項９６に記載のコンピュータ可読媒体。
110. 携帯通信装置で用いられるコンピュータ可読媒体であって、プロセッサによって実行される際に、
     ユーザが移動経路に沿って移動する際のユーザの環境を表す画像データを、前記携帯通信装置に関連する少なくとも一つのイメージセンサから受け取るステップと、
     前記携帯通信装置へのリアルタイム表示のために、ユーザの移動経路に対応する視野ウィンドウを前記画像データから選択するステップと、
     前記視野ウィンドウを対話型ユーザアプリケーションウィンドウと同時にディスプレイに表示するとともに前記視野ウィンドウの外側の前記画像データを前記ディスプレイの表示から除外するステップと、
     を前記プロセッサによって実行させる命令を有するコンピュータ可読媒体。
111. 前記命令は、前記対話型ユーザアプリケーションウィンドウを前記ディスプレイの半分より多くに表示するとともに前記視野ウィンドウを前記ディスプレイの半分未満に表示することを更に有する請求項１１０に記載のコンピュータ可読媒体。
112. 前記命令は、前記対話型ユーザアプリケーションウィンドウを前記ディスプレイの少なくとも約７０％に表示するとともに前記視野ウィンドウを前記ディスプレイの多くとも約３０％に表示することを更に有する請求項１１０に記載のコンピュータ可読媒体。
113. 前記命令は、ユーザの入力に応答して前記対話型ユーザアプリケーションウィンドウと前記視野ウィンドウの間の比を変更することを更に有する請求項１１２に記載のコンピュータ可読媒体。
114. 前記少なくとも一つのイメージセンサは、前記携帯通信装置に組み込まれている請求項１１０に記載のコンピュータ可読媒体。
115. 前記少なくとも一つのイメージセンサは、前記携帯通信装置のケースに組み込まれている請求項１１０に記載のコンピュータ可読媒体。
116. 前記選択することは、ユーザが前記視野ウィンドウを選択することを可能にする制御装置からのユーザ入力を検出することを含む請求項１１０に記載のコンピュータ可読媒体。
117. 前記選択することは、前記携帯通信装置の角度方向を検出することと、前記角度方向に基づいて視野を自動的に調整することと、を含む請求項１１０に記載のコンピュータ可読媒体。
118. 前記命令は、前記プロセッサによって視野をリアルタイムで調整することを更に有する請求項１１０に記載のコンピュータ可読媒体。
119. 前記リアルタイムで調整することは、前記携帯通信装置の方向の変化の検出に応答して自動的に行われる請求項１１８に記載のコンピュータ可読媒体。
120. 前記リアルタイムで調整することは、前記ディスプレイの制御装置とのユーザのやり取りに応じて手動で行われる請求項１１８に記載のコンピュータ可読媒体。
121. 前記選択することは、前記携帯通信装置の角度方向を検出することと、前記角度方向に基づいて視野を自動的に調整することと、を含む請求項１１０に記載のコンピュータ可読媒体。
122. 前記選択することは、ユーザが前記移動経路に沿って移動する際の前記携帯通信装置の動きパターンを検出することと、前記携帯通信装置の動きを補償するために視野を自動的に調整することと、を含む請求項１１０に記載のコンピュータ可読媒体。
123. 携帯通信装置で用いられるコンピュータ可読媒体であって、プロセッサによって実行される際に、
     ユーザが移動経路に沿って移動する際のユーザの環境を表す画像データを、前記携帯通信装置に関連する少なくとも一つのイメージセンサから受け取るステップと、
     ユーザが関与する活動を反映する情報を、少なくとも一つのセンサから受け取るステップと、
     メモリにある複数の活動のインジケータ及び各活動に関連する視野ウィンドウにアクセスするステップと、
     前記携帯通信装置へのリアルタイム表示のために、視野ウィンドウを前記画像データから選択するステップであって、選択した視野ウィンドウは、ユーザが現在関与する活動に関連するステップと、
     前記選択した視野ウィンドウを前記携帯通信装置のディスプレイに適用するステップと、
     を前記プロセッサによって実行させる命令を有するコンピュータ可読媒体。
124. 前記活動を反映する情報は、速度の表示を有する請求項１２３に記載のコンピュータ可読媒体。
125. 前記活動を反映する情報は、加速度の表示を有する請求項１２３に記載のコンピュータ可読媒体。
126. 前記活動を反映する情報は、前記携帯通信装置の傾斜角の表示を有する請求項１２３に記載のコンピュータ可読媒体。
127. 視野を選択することは、ユーザの経路に関連する境界を超える画像データを視野から除外するための画像認識を有する請求項１２３に記載のコンピュータ可読媒体。
128. 前記複数の活動は、歩行、自転車の運転、車の運転及びオートバイの運転のうちの少なくとも二つを含む請求項１２３に記載のコンピュータ可読媒体。
129. 携帯通信装置で用いられるコンピュータ可読媒体であって、プロセッサによって実行される際に、
     ユーザが移動経路に沿って移動する際のユーザの環境を表すリアルタイム画像ストリームを、前記携帯通信装置に関連する少なくとも一つのイメージセンサから受け取るステップと、
     前記リアルタイム画像ストリームを前記携帯通信装置のタッチスクリーンディスプレイに表示するステップと、
     対話型ユーザアプリケーションを前記リアルタイム画像ストリームと同時に前記携帯通信装置の前記タッチスクリーンディスプレイに表示するステップと、
     前記タッチスクリーンディスプレイを用いるユーザが前記リアルタイム画像ストリームに関連する領域にタッチするとともに前記リアルタイム画像ストリームのうちの少なくとも１フレームを前記対話型ユーザアプリケーションに転送できるようにするステップと、
     前記少なくとも１フレームに関連する前記対話型ユーザアプリケーションの動作を実行するステップと、
     を前記プロセッサによって実行させる命令を有するコンピュータ可読媒体。
130. 前記対話型ユーザアプリケーションは、メッセージングアプリケーションであり、前記命令は、前記少なくとも１フレームを含むメッセージを遠隔の受信者に送信することを更に有する請求項１２９に記載のコンピュータ可読媒体。
131. 前記タッチは、前記リアルタイム画像ストリームに関連する領域から前記対話型ユーザアプリケーションへのドラッグ及びドロップ動作を含む請求項１２９に記載のコンピュータ可読媒体。
132. 前記少なくとも１フレームは、単一のフレーム取得である請求項１２９に記載のコンピュータ可読媒体。
133. 前記リアルタイム画像ストリームの複数フレームを前記対話型ユーザアプリケーションに転送し、前記複数フレームは、ビデオクリップである請求項１２９に記載のコンピュータ可読媒体。
134. 前記少なくとも一つのイメージセンサは、前記タッチスクリーンディスプレイに対して鈍角である光軸を有する請求項１２９に記載のコンピュータ可読媒体。
135. 前記命令は、前記リアルタイム画像ストリームをバッファリングすることと、メッセージングアプリケーションを介して前記リアルタイム画像ストリームのバッファリングされた部分を転送できるようにユーザが前記タッチスクリーンディスプレイにタッチできるようにすることと、を更に有する請求項１２９に記載のコンピュータ可読媒体。
136. 互いに横切る軸に沿って取得した２方向ビデオストリームを表示するための手持ち式携帯通信装置であって、
     上面、下面及び側端を有するハウジングと、
     前記上面に配置されたタッチセンサー式スクリーンと、
     前記上面から離れる第１の方向に延在する第１の光軸を有する第１のイメージセンサであって、前記手持ち式携帯通信装置が前記タッチセンサー式スクリーンを見るユーザの手に保持されているときにユーザの顔を取得するように構成された、第１のイメージセンサと、
     前記側端に少なくとも部分的に組み込まれるとともに前記側端から離れる第２の方向に延在する第２の光軸を有する第２のイメージセンサであって、前記手持ち式携帯通信装置が前記タッチセンサー式スクリーンを見るユーザの手に保持されているときにユーザの移動経路を取得するように構成され、前記第１の方向は前記第２の方向を横切る、第２のイメージセンサと、
     ユーザの顔の第１のリアルタイム画像ストリームを前記第１のイメージセンサから取得し、
     ユーザの移動経路の第２のリアルタイム画像ストリームを前記第２のイメージセンサから取得し、
     ユーザの顔及びユーザの移動経路の２方向表示を前記タッチセンサー式スクリーンにおいてリアルタイムで行うようにプログラムされた少なくとも一つのプロセッサと、
     を備える手持ち式携帯通信装置。
137. 前記第２のイメージセンサは、前記下面から延在する突起部に配置された請求項１３６に記載の手持ち式携帯通信装置。
138. 前記２方向表示は、前記第１のリアルタイム画像ストリームに対する第１のウィンドウ及び前記第２のリアルタイム画像ストリームに対する第２のウィンドウを有する請求項１３６に記載の手持ち式携帯通信装置。
139. 第１のウィンドウと第２のウィンドウのうちの少なくとも一方は、前記タッチセンサー式スクリーンへのタッチによって実現可能である請求項１３６に記載の手持ち式携帯通信装置。
140. 前記第１のウィンドウと前記第２のウィンドウのうちの少なくとも一方の位置は、前記タッチセンサー式スクリーンへのタッチによって移動可能である請求項１３９に記載の手持ち式携帯通信装置。
141. 前記少なくとも一つのプロセッサは、規定された期間中に前記２方向表示を格納するように更にプログラムされた請求項１３６に記載の手持ち式携帯通信装置。
142. 前記少なくとも一つのプロセッサは、リアルタイムの２方向表示を遠隔の受信者に無線送信するように更にプログラムされた請求項１３６に記載の手持ち式携帯通信装置。
143. 前記少なくとも一つのプロセッサは、リアルタイムの２方向表示をサーバに無線でアップロードするように更にプログラムされた請求項１３６に記載の手持ち式携帯通信装置。
144. 前記少なくとも一つのプロセッサは、前記２方向表示を対話型ユーザアプリケーションに転送するように更にプログラムされた請求項１３６に記載の手持ち式携帯通信装置。
145. 前記少なくとも一つのプロセッサは、前記２方向表示に関連する領域から前記対話型ユーザアプリケーションに関連する領域へのドラッグ及びドロップ動作を識別したときに前記２方向表示を転送するように更にプログラムされた請求項１４４に記載の手持ち式携帯通信装置。
146. 移動の順路を進む間に下を見るユーザに方向誘導を行うように構成された手持ち式携帯通信装置であって、
     上面、下面及び側端を有するハウジングと、
     前記上面に配置されたタッチセンサー式ディスプレイと、
     前記タッチセンサー式ディスプレイが下を見るユーザの顔に対向する状態で前記手持ち式携帯通信装置がユーザの手に保持されているときに光軸が一般的に移動の経路の方向に延在する向きに前記ハウジングに固定して組み込まれたイメージセンサと、
     ＧＰＳチップと、
     目的地までの一連のターンバイターン指示を方向誘導アプリケーションから受け取り、
     前記タッチセンサー式ディスプレイがユーザの顔に対向した状態でユーザが順路を進む際に、前記イメージセンサからのリアルタイム画像ストリームを前記タッチセンサー式ディスプレイに表示し、
     前記ターンバイターン指示の少なくとも一つの視覚インジケータを前記リアルタイム画像ストリームと同時に表示するために、前記ＧＰＳチップから取得した位置情報を用いるようにプログラムされた少なくとも一つのプロセッサと、
     を備える手持ち式携帯通信装置。
147. コンパスを更に備え、前記少なくとも一つのプロセッサは、前記少なくとも一つの視覚インジケータを表示するために、前記ＧＰＳチップから取得した前記位置情報及び前記コンパスから取得した方向情報用いるように更にプログラムされた請求項１４６に記載の手持ち式携帯通信装置。
148. 前記少なくとも一つのプロセッサは、対話型ユーザアプリケーションを前記リアルタイム画像ストリーム及び前記少なくとも一つの視覚インジケータと同時に前記タッチセンサー式ディスプレイに表示するように更にプログラムされた請求項１４６に記載の手持ち式携帯通信装置。
149. 前記対話型ユーザアプリケーションは、メッセージングアプリケーションである請求項１４８に記載の手持ち式携帯通信装置。
150. ユーザがメッセージングアプリケーションを介して前記リアルタイム画像ストリームから少なくとも一つの画像をリアルタイムで送信できるようにした請求項１４８に記載の手持ち式携帯通信装置。
151. 前記少なくとも一つのプロセッサは、前記少なくとも一つの視覚インジケータを前記リアルタイム画像ストリームに重ね合わせるように更にプログラムされた請求項１４６に記載の手持ち式携帯通信装置。
152. 前記少なくとも一つのプロセッサは、前記視覚インジケータへのユーザのタッチに応答して動作を実行するように更にプログラムされた請求項１４６に記載の手持ち式携帯通信装置。
153. 前記少なくとも一つの視覚インジケータは、矢印を有する請求項１４６に記載の手持ち式携帯通信装置。
154. 前記少なくとも一つの視覚インジケータは、コンパスの表示を有する請求項１４６に記載の手持ち式携帯通信装置。
155. 前記少なくとも一つの視覚インジケータは、次のターンまでの距離を表す数字を有する請求項１４６に記載の手持ち式携帯通信装置。
156. 前記少なくとも一つの視覚インジケータは、通りの名前を有する請求項１４６に記載の手持ち式携帯通信装置。
157. 前記少なくとも一つの視覚インジケータは、移動の経路に沿った場所についての情報を有する請求項１４６に記載の手持ち式携帯通信装置。
158. 手持ち式携帯電話のための着脱自在ケースであって、
     ハウジングと、
     前記ハウジングに組み込まれた少なくとも一つのイメージセンサと、
     前記手持ち式携帯電話が前記着脱自在ケースに据え付けられたときに前記手持ち式携帯電話のポートにはめ込まれるように構成された、前記ハウジング内のコネクタと、
     前記着脱自在ケースに組み込まれた少なくとも一つのコンデュイットであって、前記少なくとも一つのイメージセンサの間に延在するとともに前記コネクタによって前記少なくとも一つのイメージセンサに電気的に接続して前記少なくとも一つのイメージセンサから前記手持ち式携帯電話へのリアルタイム画像ストリームを可能にする、少なくとも一つのコンデュイットと、
     を備える着脱自在ケース。
159. 前記ハウジング内のバッテリを更に有する請求項１５８に記載の着脱自在ケース。
160. 前記バッテリは、前記ハウジング内の前記イメージセンサに給電するとともに前記手持ち式携帯電話に給電するように構成された請求項１５９に記載の着脱自在ケース。
161. 前記バッテリにワイヤレス充電を行う受信機を更に備える請求項１５９に記載の着脱自在ケース。
162. 前記ハウジングは、下面及び前記下面から上方に延在する端部を有し、前記イメージセンサは、前記端部内に組み込まれる請求項１５８に記載の着脱自在ケース。
163. 前記少なくとも一つのイメージセンサは、前記コネクタの反対側にある前記端部の一部に配置され、前記少なくとも一つのコンデュイットは、前記イメージセンサと前記コネクタの間で前記ハウジングを横切る請求項１６２に記載の着脱自在ケース。
164. 前記ハウジング内の前記少なくとも一つのイメージセンサは、前記手持ち式携帯電話によって制御されるように構成された請求項１５８に記載の着脱自在ケース。
165. 前記着脱自在ケース内の前記少なくとも一つのイメージセンサは、前記手持ち式携帯電話のセンサによって検出された加速度に応答して起動されるように構成された請求項１６４に記載の着脱自在ケース。
166. 携帯電話の端部に組み込まれた複数のイメージセンサから収集した画像データを用いてストリートビューマップのクラウドソースによる生成を行うシステムであって、
     地理的地域のストリートビューマップを維持し、ＧＰＳ座標を前記ストリートビューマップの位置に関連させ、
     ストリートビュー画像を、複数のユーザの複数の携帯電話の端部に組み込まれた複数のイメージセンサから受信し、
     受信したストリートビュー画像の各々に関連するＧＰＳ位置を、前記複数の携帯電話の各々から受信し、
     前記ストリートビューマップを、前記ストリートビューマップのＧＰＳ位置に対応する前記受信したストリートビュー画像に関連するＧＰＳ位置の前記複数のイメージセンサからの前記受信したストリートビュー画像で更新するように構成された少なくとも一つのプロセッサを備えるシステム。
167. 前記少なくとも一つのプロセッサは、個人情報を分かりにくくするために前記携帯電話が前記ストリートビュー画像を変更した後に前記複数の携帯電話から前記ストリートビュー画像を受信するように更に構成された請求項１６６に記載のシステム。
168. 前記少なくとも一つのプロセッサは、前記複数のユーザに関連するメタ情報を用いることなく前記複数の携帯電話から前記ストリートビュー画像を受信するように更に構成された請求項１６６に記載のシステム。
169. 前記少なくとも一つのプロセッサは、前記ストリートビュー画像をリアルタイムで受信するように更に構成された請求項１６６に記載のシステム。
170. 前記少なくとも一つのプロセッサは、前記ストリートビュー画像の各々に関連するタイムスタンプを受信するとともに複数の重なり合うストリートビュー画像を前記複数のユーザから受信した後に前記ストリートビューマップを最新のストリートビューマップで更新するように更に構成された請求項１６６に記載のシステム。
171. 前記少なくとも一つのプロセッサは、前記複数のユーザから受信した重なり合うストリートビュー画像を統合するとともに前記ストリートビューマップを統合されたストリートビューマップで更新するように更に構成された請求項１６６に記載のシステム。
172. 携帯電話の端部に組み込まれた複数のイメージセンサから収集した画像データを用いてストリートビューマップのクラウドソースによる生成を行う方法であって、
     地理的地域のストリートビューマップを維持し、ＧＰＳ座標を前記ストリートビューマップの位置に関連させることと、
     ストリートビュー画像を、複数のユーザの複数の携帯電話の端部に組み込まれた複数のイメージセンサから受信することと、
     受信したストリートビュー画像の各々に関連するＧＰＳ位置を、前記複数の携帯電話の各々から受信することと、
     前記ストリートビューマップを、前記ストリートビューマップのＧＰＳ位置に対応する前記受信したストリートビュー画像に関連するＧＰＳ位置の前記複数のイメージセンサからの前記受信したストリートビュー画像で更新することと、
     を備える方法。
173. 前記複数のイメージセンサは、前記携帯電話のための複数の着脱自在ケースに関連する請求項１７２に記載の方法。
174. 前記複数のイメージセンサは、前記携帯電話の端面に配置された請求項１７２に記載の方法。
175. 携帯通信装置で用いられるコンピュータ可読媒体であって、プロセッサによって実行される際に、
     第１の方向に延在する第１の光軸を有する第１のイメージセンサから第１のリアルタイム画像ストリームを受け取るステップと、
     前記第１の方向とは異なる第２の方向に延在する第２の光軸を有する第２のイメージセンサから第２のリアルタイム画像ストリームを受け取るステップと、
     前記携帯通信装置に表示するために視野ウィンドウを前記第１のリアルタイム画像ストリームから決定するステップと、
     決定した視野ウィンドウに対応するリアルタイム表示を前記携帯通信装置のディスプレイに行うステップと、
     前記ディスプレイへのユーザのタッチに応答して前記視野ウィンドウの調整を行うことであって、前記調整は、前記第１のリアルタイム画像ストリームからの新たな視野ウィンドウの選択と前記第２のリアルタイム画像ストリームからの新たな視野ウィンドウの選択のうちの少なくとも一方を有する、ステップと、
     を前記プロセッサによって実行させる命令を有するコンピュータ可読媒体。
176. 前記第１の光軸と前記第２の光軸の間の角度は、鈍角である請求項１７５に記載のコンピュータ可読媒体。
177. 前記第１の光軸と前記第２の光軸の間の角度は、鋭角である請求項１７５に記載のコンピュータ可読媒体。
178. 前記命令は、前記第１の方向及び前記第２の方向とは異なる第３の方向に延在する第３の光軸を有する第３のイメージセンサから第３のリアルタイム画像ストリームを受け取ることを更に有し、前記調整は、前記第１のリアルタイム画像ストリームからの新たな視野ウィンドウの選択、前記第２のリアルタイム画像ストリームからの新たな視野ウィンドウの選択及び前記第３のリアルタイム画像ストリームからの新たな視野ウィンドウの選択のうちの少なくとも一つを有する請求項１７５に記載のコンピュータ可読媒体。
179. 前記視野ウィンドウの調整を行うことは、前記ディスプレイにおける連続動作を有する請求項１７５に記載のコンピュータ可読媒体。
180. 前記連続動作は、二つの異なる方向に沿って行われ、第１の方向に沿った第１の動作は、リアルタイム画像ストリームの前記視野ウィンドウを変更し、第２の方向に沿った第２の動作は、リアルタイム画像ストリームのソースを変更する請求項１７９に記載のコンピュータ可読媒体。

Images