JP2016502175A - モバイルデバイスにおけるユーザプレゼンスの検出 - Google Patents

モバイルデバイスにおけるユーザプレゼンスの検出 Download PDF

Info

Publication number
JP2016502175A
JP2016502175A JP2015539709A JP2015539709A JP2016502175A JP 2016502175 A JP2016502175 A JP 2016502175A JP 2015539709 A JP2015539709 A JP 2015539709A JP 2015539709 A JP2015539709 A JP 2015539709A JP 2016502175 A JP2016502175 A JP 2016502175A
Authority
JP
Japan
Prior art keywords
user
mobile device
face
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015539709A
Other languages
English (en)
Inventor
レズニック ユーリー
レズニック ユーリー
ジーフォン チェン
ジーフォン チェン
ヴァナム ラーフル
ヴァナム ラーフル
アスバン エドゥアルド
アスバン エドゥアルド
パラササラシー ヴァルシータ
パラササラシー ヴァルシータ
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2016502175A publication Critical patent/JP2016502175A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

モバイルデバイスのユーザプレゼンスを例えば、1または複数のセンサを使用して決定するためのシステム、方法、および手段を提供する。モバイルデバイスは、顔を検出する。モバイルデバイスは、検出された顔と関連付けられた顔の距離を決定する。モバイルデバイスは、モバイルデバイスが移動中または停止中かどうかを示すことができる動きステータスを決定する。モバイルデバイスは、動きステータスを決定する1または複数のセンサからの情報を使用する。モバイルデバイスは、顔の距離および動きステータスに基づいてユーザプレゼンスを確認する。

Description

本発明は、モバイルデバイスにおけるユーザプレゼンスを検出するための方法および装置に関する。
(関連出願の相互参照)
本出願は、2012年10月22日に出願された米国特許仮出願第61/717,055号明細書、および2012年10月31日に出願された米国特許仮出願第61/720,717号明細書の利益を主張するものであり、その開示内容は、参照により本明細書に組み込まれる。
モバイルデバイス、例えば、タブレットコンピュータ、スマートフォン、ラップトップコンピュータなどは、多数のセンサを備えることができる。モバイルデバイスを場所から場所に容易に運ぶことができるので、モバイルデバイスのユーザ検出およびユーザの顔の距離推定は、骨の折れる作業となる。組み込まれたセンサ、例えば、カメラによって提供されるデータは、正確でない場合もある。既存の検出アルゴリズム(例えば、Viola−Jones法顔検出器)は結果的に、多くの実際の状況において誤認警報またはユーザ検出の失敗を起こす恐れがある。
本発明は、モバイルデバイスにおけるユーザプレゼンスを検出するための改善された方法および装置を提供する。
モバイルデバイスのユーザプレゼンスを例えば、1または複数のセンサを使用して決定するためのシステム、方法、および手段を提供する。モバイルデバイスは、顔を検出できる。モバイルデバイスは、検出された顔と関連付けることができる顔の距離を決定できる。顔の距離は、瞳孔間距離、カメラの視野角、両目の角度、または検出された顔の頭幅をキャプチャした角度のうちの1または複数に基づいて算出される。
モバイルデバイスは、(例えば、モバイルデバイスが移動中か停止中かどうかの)動きステータスを決定できる。動きステータスは、モバイルデバイス内の1または複数のセンサを使用して決定される。
モバイルデバイスは、顔の距離および動きステータスに基づいてユーザプレゼンスを確認できる。ユーザプレゼンスを確認するために、例えば、モバイルデバイスは、距離の閾値を決定して、距離の閾値を顔の距離と比較することができる。距離の閾値は、動きステータスに基づいて決定される。
較正定数Cの例示的なモデリングを示すグラフである。 環境照度を計算するために使用できる論理の例を示す図である。 UAD(ユーザアクティビティ検出)APIおよびフレームワークのアーキテクチャの例を示す図である。 IDP(瞳孔間距離)を使用して、画面からユーザまでの距離の例示的な計算を示す図である。 (例えば、顔検出器によってレポートされるような)頭スケール/幅を使用して、画面からユーザまでの距離の例示的な計算を示す図である。 センサの信号処理のデータ構造の例を示す図である。 顔検出および顔近接決定の精度を改善するための合成論理(fusion logic)の例を示すフローチャートである。 開示された1または複数の実施形態を実装できる例示的な通信システムのシステム図である。 図7Aに示した通信システム内で使用される例示的な無線送信/受信ユニット(WTRU)のシステム図である。 図7Aに示した通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図7Aに示した通信システム内で使用される別の例示的な無線アクセスネットワークおよび別の例示的なコアネットワークのシステム図である。 図7Aに示した通信システム内で使用される別の例示的な無線アクセスネットワークおよび別の例示的なコアネットワークのシステム図である。
具体的な実施形態の詳細な説明は、さまざまな図面を参照して説明される。本説明は、可能な実装の詳細な例を提供するが、詳細は、例示的であり、決して本適用の範囲を限定することを意図しないことに留意されたい。
改善されたユーザ体験(例えば、改善されたビデオのレンダリングおよびストリーミング)に関して、デバイス(例えば、モバイルデバイス)内のカメラ(例えば、前向きカメラまたは後ろ向きカメラ)を使用して環境光を測定するためのシステム、方法、手段を提供できる。カメラ(例えば、スタンドアロンカメラ、スマートフォン、タブレットおよびラップトップなどの内蔵型カメラ)は、統合された自動露出能力を有することができる。カメラによって写真が撮られると、カメラの露出時間、絞り、およびISO速度パラメータを調節して(例えば、自動的に調節して)、写真の均衡のとれたカラー(またはグレイ(gray)レベル)の分布を実現できる。例えば、露出時間、絞り、およびISO速度を含む、調節された値(例えば、自動的に調節された値)を使用して、写真が撮られた時に示される環境光パラメータ(例えば、シーン照度パラメータ)を算出する/測定する/推定することができる。
シーン照度の算出値は、例えば、ビデオストリーミング、ビデオ会議、モバイルゲームアプリケーションなどの、マルチメディアアプリケーションを改善するためにモバイルデバイス(例えば、スマートフォン、タブレット、ラップトップ、カメラなど)によって使用される。例えば、環境光パラメータ(例えば、照度パラメータ)は、モバイルデバイスが(例えば、アプリケーション経由で)アプリケーションのユーザインタフェース(例えば、テキストサイズ、テキストフォント、テキストカラー、テキスト情報など)、アプリケーションのビジュアルプレゼンテーション(例えば、コントラスト比、解像度など)、および/またはアプリケーションのデータ伝送または配信パラメータ(例えば、帯域幅、符号化レート、要求された解像度など)を変更するために使用される。
環境照度の知識は、ビジュアル情報をデバイスのディスプレイにレンダリングするのに有用である。例えば、モバイルデバイスは、専用の環境照度センサを備えることができる。環境照度センサは、正確でない情報を提供する場合もある。例えば、環境照度センサによって提供される読み取りは、桁がずれていることもある。一部のデバイスにおいて、そのようなセンサが無い場合もある。環境照度を推定するまたは算出する代替的方法を提供できる。本明細書で説明される実装は、ビデオをパーソナルコンピュータ(PC)または環境光センサを含むことができない他のタイプのデバイスにレンダリングするために適用される。
ISO速度と目的照度が関連する、カメラ設定/パラメータの関係が存在する。この関係は、以下のような、入射光式露出の数式によって与えられる。
ここにEは、(例えば、ルクスによる)照度とし、Nは、口径比(例えば、F値)とし、tは、秒数による露出時間(例えば、シャッター速度)とし、Sは、ISO演算速度とし、Cは、入射光計測器の較正定数とする。
数式1は、照度Eに関して書き換えることができる。例えば、数式1は、以下のように書き換えることができる。
数式2は、モバイルデバイスのカメラの1または複数のカメラ設定/パラメータの抽出値によって使用される。カメラ設定は、例えば、照度、口径比、露出時間、ISO演算速度、入射光計測器の較正定数などを含むことができる。キャプチャされた画像のカメラ設定は、JPEGのEXIFファイルヘッダに記録される。カメラ設定は、カメラのAPI(アプリケーションプログラミングインタフェース)介して取得される。カメラは、照度を計算する数式2を用いて使用される。較正定数Cの固有値は、正確な結果を確保するために決定される。
入射光較正定数の1または複数の値を使用できる。例えば、ISO 2720:1974は、写真の露出計の設計について論じることができ、平面光レセプタが使用されるときにCを240から400までの範囲に設定するように提案することができる。半球型レセプタの場合、ISO 2720:1974は、Cの範囲を320から540までにするように提案することができる。理想的なCの適正値は、デバイス固有のベースで決定される。
較正定数Cの選択に関連する実装が本明細書で説明される。例えば、表1は、モバイルデバイス(例えば、スマートフォン)の前向きカメラを使用することによっておよび光計測器(例えば、SpectraCine Candella−II環境光計測器)を使用することによって取得できる測定の例を提供する。写真は、モバイルデバイスに常駐するアプリケーション(例えば、ネイティブなカメラアプリケーション)によって取られ、そしてJPEG画像として保存できる。カメラ設定値は、保存されたJPEG画像から取得される。例えば、カメラパラメータは、JPEGファイルのEXIFヘッダから読み出すことができる。カメラ設定値は、カメラのAPIから取得することができ、従って、写真は、モバイルデバイスに常駐するアプリケーションによって取られなくてもよく、および/または保存されなくてもよい。
較正定数Cの決定において、直射日光の暴露に対応する測定が含まれる場合、結果となる較正定数Cは、354.5に等しい。直射日光の暴露に対応する第1の測定が除外される場合、残りのポイントは、680に等しい較正定数Cを使用して上手くモデル化される。図1は、較正定数Cの例示的なモデリングを示すグラフである。図1に示すように、直射日光の暴露に対応する第1の測定は、例えば、我々の参照デバイス(例えば、SpectraCine Candella−II)のダイナミックレンジの限界に達する場合もあるので、問題となる。第1の測定によってキャプチャされたような、直射日光の暴露においてディスプレイをビューする状況は、ディスプレイのビューイングが表示パラメータに関わらず困難である状況を表す場合もある。第1の測定を除外することによって取得できる例示的なモデルを使用した推定は、例えば、表1に例示されたように、提供される。
図2は、環境照度を計算する例を示す図である。図2に示すように、202において、モバイルデバイスが環境光センサを含むか否かの決定を行うことができる。モバイルデバイスが環境光センサを含むのであれば、204において、環境光センサおよび/またはモバイルデバイスが信頼できる/検証されたか否かの決定を行うことができる。本明細書で説明されるように、一部の環境光センサは、環境光パラメータ(例えば、照度パラメータ)を適切に決定するほど正確ではない場合もある。環境光パラメータを正確に決定することができる環境光センサおよび/またはモバイルデバイスは、信頼できるまたは検証されたと見なすことができる。検証は、モバイルデバイスまたはモバイルデバイスに常駐するアプリケーションによって事前設定することができるか、または検証は、モバイルデバイスに常駐するアプリケーションによって必要に応じて決定できる。モバイルデバイスが環境光センサを含まない,および/または環境光センサおよび/またはモバイルデバイスが信頼できないまたは検証されてないのであれば、206においてカメラを使用して、210においてモバイルデバイスの環境光パラメータ(例えば、照度パラメータ)を決定できる。環境光センサおよび/またはモバイルデバイスが信頼できるまたは検証されたのであれば、208において環境光センサを使用して、210においてモバイルデバイスの環境光パラメータ(例えば、照度パラメータ)を決定できる。
環境光パラメータ(例えば、照度パラメータ)は、ユーザの体験を強化するおよび/またはモバイルデバイスの性能を高めるモバイルデバイスのアプリケーションによって使用される。例えば、モバイルデバイスに常駐するアプリケーションのUI(ユーザインタフェース)パラメータ、配信パラメータ、および/またはビジュアル情報パラメータは、環境光パラメータに応答して変更される。例えば、UIパラメータは、テキストサイズ、テキストフォント、テキストカラー、テキスト情報、またはユーザに表示されるアプリケーションのユーザ入力とすることができる。環境光パラメータを使用してUIパラメータを変更することによって、テキストまたはユーザ入力がモバイルデバイスで体験した特定の照度に変更されるので、ユーザは、より良いビューおよびアプリケーションとの対話が可能となる。配信パラメータは、例えば、(例えば、ネットワークから)コンテンツを受信するためのアプリケーション/モバイルデバイスに要求された/割り振られた帯域幅、(例えば、ネットワークから受信される)コンテンツの符号化レート、または(例えば、ネットワークから受信される)コンテンツに要求された解像度であってよい。モバイルデバイスは、帯域幅を利用し(例えば、帯域幅をより効率的に利用する)、バッテリ電力を節約し、および/またはモバイルデバイスのディスプレイに表示されるコンテンツを、例えば、環境光パラメータを使用して、アプリケーションの配信パラメータを変更することによって体験される特定の照明条件に合わせることによって処理電力を削減できる。ビジュアル情報パラメータは、例えば、アプリケーションの静止画像またはビデオのコントラスト比または解像度であってよい。ユーザは、例えば、アプリケーションのビジュアル情報パラメータを変更することによって体験される特定の照明条件においてアプリケーションの静止画像またはビデオをモバイルデバイスのディスプレイでビューできる。
モバイルデバイスの前向きカメラおよび/またはセンサからの1または複数の入力を使用して、例えば、ユーザのプレゼンスを検出して、画面から彼の/彼女までの距離を推定するためのフレームワークおよびアプリケーションプログラミングインタフェース(API)に関連する実装を提供できる。本明細書で説明される実装は、モバイルデバイスの複数のセンサからの入力を組み合わせて、ユーザのプレゼンスおよび画面までの彼の/彼女の距離をアプリケーションにレポートする、ライブラリ/モジュールに関するフレームワークおよびAPI(例えば、トップレベルのAPI)を提案できる。複数のセンサは、ユーザのプレゼンスおよびモバイルデバイスからの彼の/彼女の推定距離を推論するために使用される補間情報をキャプチャできる。
ユーザ検出および画面までのユーザの距離の推定を提供できる。例えば、ユーザ検出および画面までのユーザの距離は、ビデオレートおよび/または帯域幅利用の量を削減する適応型ストリーミングアプリケーションで使用するために提供される。ユーザ検出および画面までのユーザの距離は、ビデオ会議アプリケーションにおいて、例えば、通信システムのUI(ユーザインタフェース)および/または振る舞いを最適化するために使用するように提供される。ユーザ検出および画面からユーザの顔までの距離は、3Dゲーミングまたはストリーミングアプリケーションにおいて、(例えば、ユーザの相対位置および/またはビューの方向に基づいて)3Dオブジェクトおよび/またはビデオのレンダリングを改善するのに有用である。ユーザの顔検出および画面からユーザまでの距離は、ウェブブラウジングおよびテキスト編集アプリケーションにおいて、フォントのスケールおよびページ表示を調節(例えば、動的に調節する)して、ユーザがそれらをより便利に読めるようにするのに有用である。ユーザ検出および画面までのユーザの距離は、将来の表示ハードウェアが解像度または他のレンダリングパラメータを低減する(例えば、動的に低減する)のに役立ち、結果的にユーザへのビデオ配信でのエネルギー節約および/または精度の改善が生じる。ユーザ検出および画面までのユーザの距離は、ユーザの距離および関連する彼の/彼女の視力の限界および/またはモーションコントロールの精度に基づいて調節される、一般的UI関数およびコントロール(例えば、アイコンなど)に有用である。
ユーザの距離は、他の関数およびアプリケーションに作用できるパラメータとすることができる。本明細書で説明される実装は、ユーザの振る舞いを最適化するために、ユーザについての情報を必要とする複数のアプリケーションに有用であるフレームワークおよびAPIを定義できる。
本明細書で説明される実装は、モバイルデバイスのユーザ検出およびユーザ距離推定に関連する。例えば、本明細書で説明される実装は、顔検出における誤認警報および誤検出に対処できる。顔検出アルゴリズム(例えば、モバイルオペレーティングシステムに供給されるアルゴリズム)は、誤認警報となり、結果的に顔の距離の正確でない推定となる、バックグラウンドをユーザの顔として検出できる。誤検出は、ユーザが電話機を持つ際に彼の/彼女の顔に近すぎて、例えば、カメラが顔検出のために顔全体をキャプチャすることができない時に発生する。
本明細書で説明される実装は、ユーザアクティビティの検出に対処できる。アプリケーションは、顔検出の代わりにユーザのアクティビティが検出されることを要求できる。例えば、以下のユーザアクティビティのうちの1または複数を識別できる:ユーザが電話機を手に持っている、ユーザが電話機をポケットに入れている、ユーザが電話機をテーブル(またはその他の固定された/静止した場所)に置いている、など。ユーザの異なるアクティビティが検出されるおよび/または識別されると、ユーザアクティビティ適応型アプリケーションを(例えば、本明細書で説明される実装に従って)設計できる。
モバイルデバイスが手に取られる場合、モバイルデバイスは、ユーザが静止位置(例えば、座っているまたは立っている)にいる間、ユーザが動いている(例えば、歩いているまたは車で移動している)間、ユーザの膝に乗せている(例えば、居間に座ってタブレットの映画を見ている)間、または他のステートの間はその状態を保つことができる。このような区別は、ビューイング距離(即ち、ユーザの顔の距離)および他の条件(例えば、固視)が、異なるステートでビデオが認識される方法に作用するので役立つ。ステート間を(例えば、モバイルデバイスのセンサによって)区別して、ユーザアクティビティ適応型アプリケーションを設計することが可能となる。例えば、モバイルデバイスにおいて、加速度計(複数)およびジャイロスコープ(複数)を使用して、ユーザが静止位置にいる(例えば、センサの読み取りのばらつきが小さい)こと、ユーザが動いている(例えば、センサの読み取りのばらつきが大きい)こと、デバイスがユーザの膝に乗っている(例えば、センサの読み取りが筋振戦の低頻度を示す)ことを決定できる。これらのステート(例えば、動きステート)は、典型的なビューイング距離と関連付けることができる。識別されたステートに対し、例えば、マルチメディアアプリケーションのストリーミングビットレートは、特定されたステートに従って適応される。
本明細書で説明される実装は、センサおよびカメラフレームワークおよびAPIに対処できる。センサ(例えば、カメラおよび/または顔検出)は、ビデオストリーミング(例えば、ビューイング条件適応型ストリーミング)に使用できる。センサは、他のアプリケーション、例えば、ユーザ適応型ビデオ符号化、ユーザ適応型ウェブブラウザなどに使用できる。異なるアプリケーションは、異なる機能性を要求できる。そのアプリケーションは、ユーザ適応型であってよい。本明細書で説明される実装は、ユーザ検出(例えば、顔検出、ユーザプレゼンスなど)を提供できる。
本明細書で説明される実装は、センサ信号処理に対処できる。モバイルセンサによって集められたデータから有用な情報を抽出するために、実装は、例えばフィルタを設計してセンサデータの統計を集める、信号処理を含むことができる。センサによって集められたデータは、均一でない、不規則な、および/またはランダムなデータの場合もある。実装は、フィルタを集められたデータに直接適用しなくてよい。
センサおよびカメラフレームワークおよびAPIを提供できる。図3は、UAD(ユーザアクティビティ検出)APIおよびフレームワークのアーキテクチャを示す図である。図3に示すように、アプリケーション318は、UAD APIを利用するように構成される。図3に示すように、UAD316を提供できる。UAD316は、モバイルデバイス上で稼働するOSの上に構築される。OSは、異なるハードウェアデバイス302および/またはモバイルデバイスのセンサ、例えば、センサ、カメラ310、画面の方位(orientation)、GPSなどへのアクセシビリティを提供できる。UAD316フレームワークは、モバイルデバイスの1または複数のセンサ、例えば、カメラ310、マイクロフォン、光センサ306、GPS(全地球測位システム)、加速度計304、ジャイロスコープ、近接センサ308、コンパス、歩数計、タッチスクリーン312、皮膚電動センサ、圧力計/センサ(例えば、ユーザが電話機を握る力を測定するセンサ)、光センサ306などからのデータ/入力をキャプチャできる。UADフレームワークは、1または複数のセンサからのデータ/入力を処理できる。UADフレームワークは、処理結果を専用UAD APIを介してアプリケーションに提示できる。
UAD316は、以下のうちの1または複数を含むことができる:表示処理330、カメラ処理328、画像処理および顔検出332、センサ信号処理322、324、および326、および合成論理320。このアーキテクチャを拡張できる。オペレーティングシステム(例えば、アンドロイドオペレーティングシステム)314を提供できる。本明細書の実装の説明においてアンドロイドオペレーティングシステムは、例示的なOSとして使用されるが、基本原理は、他のオペレーティングシステムに適用できる。
UAD316の表示処理330を提供できる。一部のアプリケーションの場合、ユーザは、UADの背後で起きていることを知りたくない場合もある。例えば、ユーザは、ストリーミングビデオを見ているかもしれず、他の情報に気を取られたくないかもしれない。アプリケーションは、アプリケーションによって提供されたコンテンツを表示し(例えば、コンテンツのみを表示する)、そしてUADから入力(例えば、カメラ画像)しないようにできる。一部のアプリケーションの場合、ユーザは、UADブロックからのコンテンツを見たいかもしれない。例えば、デバッグモードまたは一部の対話型アプリケーションにおいて、ユーザは、画面表示から顔検出結果を見たいかもしれない。UAD316は、ユーザがUAD結果を表示するか否かを選択するオプションを提供できる。
表示処理は、カメラ処理および顔検出ブロックからビットマップファイルを読み取るためのスレッドを設定して、スレッドを画面に(周期的に)表示できる。UAD結果を表示することが所望であれば、表示処理および/または顔の表示を遂行できる。これは、内部的およびユーザに透過的に行うことができる。
カメラ処理を提供できる。カメラによってキャプチャされた画像を獲得する(例えば、アンドロイドOS上の)実装は、camera intent method(カメラインテントメソッド)およびCamera.takePicture()methodを含むことができる、ユーザ起動のキャプチャを含み、そして異なるコールバック関数(例えば、setPreviewCallback、setPreviewCallbackWithBuffer、およびsetOneShotPreviewCallback)によって設定される、コールバックキャプチャをプレビューできる。顔検出器は、カメラから画像を受信する(例えば、画像(複数)を連続的に受信する)ことができる。コールバックメソッドを利用できる。ユーザが(例えば、アンドロイドOSのAPIレベル10およびそれ以前のレベルを用いて)コールバックを使用している間、プレビューを画面に表示したくなければ、OSのディスプレイSurfaceHolderをヌル(null)に設定する(例えば、アンドロイドではsetPreviewDisplay(ヌル)に設定する)ことによって遂行される。ユーザは、SurfaceHolderを有するOSにsetPreviewDisplay関数を提供でき、提供できなければ、コールバックは(例えば、アンドロイドOSのAPIレベル11において)機能することができない。OS(例えば、アンドロイド)は、API関数(例えば、APIレベル11およびそれ以降のレベルのsetPreviewTextureと呼ばれるAPI関数)を付加できる。この関数は、カメラ画像のGPU処理およびレンダリングに使用できる。APIは、本明細書で説明されるフレームワークのカメラのコールバックに使用できる。
カメラ処理ブロックは、表示処理ブロックと対話することができる。カメラは、ディスプレイの方位を知ることができ、そして(例えば、顔の距離を算出する前に)パラメータを提供できる。カメラ処理ブロックは、ビットマップ(bmp)バッファを表示処理ブロックと共有できる。
カメラ処理は、カメラのコールバックAPIからの生画像データを引き出すスレッドを設定して、画像処理および顔検出を(周期的に)行うことができる。これは、内部的およびユーザに透過的に行うことができる。
画像処理および顔検出を提供できる。画像処理は、顔検出の前に付加される。フレームワークによって生画像データを操作する1または複数の画像処理技術を付加させることができる。例えば、フレームワークは、カメラ画像のノイズ除去、ダウンサンプリング/アップサンプリング、時間的画像フィルタリングなどを利用できる。例えば、YUV画像は、ビットマップ画像に変換されて、例えば、カラー画像出力および/または濃淡画像出力として提供できる。
OSが顔検出のネイティブなAPIを提供するのであれば、本明細書で説明される実装は、顔検出のネイティブなAPIを利用できる。例えば、アンドロイドOSは、このような機能性を提供できる。実装は、ソフトウェア実装(例えば、Viola−Jones法アルゴリズムのソフトウェア実装)を稼働できる。
顔検出推定(例えば、顔検出器の結果を使用する)を提供できる。顔検出器の結果が肯定であれば、その結果を利用して、モバイルデバイスの画面までのユーザの距離を推定できる。眼球位置検出器を利用してユーザのIPD(瞳孔間距離)を決定して、画面からユーザまでの距離を導くことができる。ユーザのIPD値は、ユーザが指定できるパラメータのうちの1つとして利用できる。デフォルトIPD値を設定できる。例えば、デフォルトIPDは、成人の視聴者の平均値に対応できる、63mmに設定される。成人の視聴者のIPD分布の標準偏差は、およそ3.8mmとなる。大多数の視聴者の場合、視聴者の真のIPDは、18%までが63mmとは異なる可能性がある。
眼球位置の検出が有効でないまたは肯定的結果が出なければ、顔幅/スケールパラメータが顔検出アルゴリズムによって戻される、実装を利用できる。図4Aは、瞳孔間距離(IPD)を使用して画面からユーザの顔までの距離の例示的な計算を示す図である。図4Bは、(例えば、顔検出器によってレポートされるような)頭スケール/幅を使用して画面からユーザまでの距離の例示的な計算を示す図である。カメラの視野角およびユーザの目の角度(α)または頭幅をキャプチャする角度(β)を利用できる。カメラの視野角は、モバイルデバイス402の方位によって決まる。値は、方位センサからの入力(複数)を読み取って、カメラの視野角が修正されたことを確保した決定の後に読み込まれる。
ユーザの目の角度(α)を使用して画面までのユーザの距離を計算する実装を提供できる。頭幅の角度(β)を使用した導出も同様となる。画面からユーザまでの距離dは、以下の式を使用して決定される。
この式は、以下のように書き換えされる。
従って、以下の式を利用できる。
この式によって以下の式が与えられる。
これらの数式を利用して、モバイルデバイスの画面からユーザまでの距離dを決定できる。
センサ信号処理を提供できる。OSは、複数のセンサをサポートできる。例えば、アンドロイドOSのバージョンは、異なる13のセンサをサポートできる。電話機は、使用可能なそれらのセンサのサブセットを含むことができる。センサデータの信号処理は、UADの一部に含むことができる。異なるユーザアクティビティは、結果的に異なるセンサデータの統計となる。例えば、人々は、モバイルデバイスを手に持つ場合もあれば、モバイルデバイスをポケットに入れる、および/またはモバイルデバイスをテーブルの上に置く場合もあり、各条件は、結果的に異なるセンサデータの統計となる。
図5は、センサ信号処理のデータ構造の例を示す図である。信号処理(例えば、フィルタリング)は、均一の信号サンプリングが有益である。一部のOS(例えば、アンドロイド)において、センサからのサンプリングデータが均一でない場合がある。各要素が複数のコンポーネントを有することができるところに循環バッファを設計して利用できる。例えば、各要素は、図5に示すように、2つのコンポーネント、サンプル値およびタイムスタンプを有することができる。センササンプルを(例えば、ランダムに)循環バッファに入れることができるが、統計は、合成論理によって規則的に読み込まれる。タイムスタンプは、統計を精緻化するのに使用できる。タイムスタンプは、重み付けフィルタ設計に使用できる。センサ信号処理ブロックは、同様の構造を共有でき、従って、共通部分は、フレキシブルなAPIを有するクラスとして実装される。
合成論理を提供できる。合成論理は、1または複数の(例えば、複数の)センサからの入力を組み合わせて、例えば、APIによってアプリケーションに示されるUAD測定基準を作成できる。本明細書で説明される実装は、異なるセンサ信号処理ブロック、画像処理および顔検出ブロックなどから統計および他の有用な情報を集めて計算できる。本明細書で説明される実装は、アプリケーション(複数)の要件(複数)に基づいて統計を分析して処理できる。本明細書で説明される実装は、アプリケーション設計の結果を作成できる。合成論理の一例は、ユーザが画面の前にいるかどうかを検出して、例えば、本明細書で説明されるように、顔検出結果を改善することである。
UAD APIを提供できる。トップレベルのユーザアクティビティAPIの要素を本明細書で提供できる。例えば、UADライブラリを開始するために、アプリケーションは、クラスUserActivity Detectionをインスタンス化できる。これは、以下の呼び出しを用いて行われる。
ここにdisplay_flagは、前向きカメラのプレビューウィンドウが画面に映し出されるかどうかを示す。
この関数は、例えば、アプリケーションのonCreate()コールバック関数から呼び出すことができる。プレビューウィンドウを表示することが所望であれば、アプリケーションは、以下のように呼び出す。
表示を停止するために、アプリケーションは、以下のように呼び出すことができる。
アプリケーションは、アクティビティコールバックの以下の呼び出しのうちの1または複数を付加できる。
ユーザアクティビティ結果(複数)を読み込むために、アプリケーションは、以下のインタフェースを使用できる。
ここにm_uad_resultは、現在以下の構造として定義されている。
ユーザアクティビティ検出は、例えば、ユーザがモバイルデバイス(例えば、電話機/タブレット)を手(両手)に持っているとき、ユーザがモバイルデバイスをポケット/袖に入れて持ち歩いているとき、および/または(例えば、モバイルデバイスがテーブルの上にあれば)ユーザがモバイルデバイスを手に持っていないまたは持ち歩いてないときに提供できる。
ユーザがビデオまたはその他のコンテンツをユーザのモバイルデバイスで見ているとき、電話機は、ユーザの手の中にある。ユーザのプレゼンスを検出するための実装は、複数の基準に基づくことができる。例えば、ユーザのプレゼンスを検出するための実装は、モバイルデバイスの(例えば、3方向すべてにおける)加速度と方位に対する重力の方向との統計に基づくことができる。
加速度計によって作成されたデータ(例えば、データのばらつき)が一定値の閾値を超えれば、ユーザが目の前にいる(present)と決定できる。電話機の方位を使用して、例えば、閾値を下げることによって、検出を改善できる。例えば、ユーザがビデオをユーザのモバイルデバイスで見るとき、ユーザは、モバイルデバイスを角度の一定の範囲に保つことができる。この角度の範囲は、本明細書で説明される実装によって利用される。(例えば、角度の範囲を経由した)電話機の方位は、ユーザがビデオをユーザのモバイルデバイスで見るときのシナリオに利用される。
複数のセンサから受信されたデータの合成(例えば、組み合わせ)を利用して、顔検出および顔近接検出の誤認警報を削減できる。例えば、OpenCVは、Viola−Jones法顔検出アルゴリズムを、例えば、Viola−Jones法顔検出アルゴリズムに基づくオープンソースの実装として実装できる。(例えば、誤認警報および誤検出レートを削減することによって)顔検出を改善する特徴を例えば、幾何学的顔の特徴、時間的動き限界、ポスト画像処理技術などを使用することによって使用または付加できる。ネイティブな顔検出アルゴリズムを利用して、例えば、(例えば、アンドロイドOSの)Viola−Jones法顔検出アルゴリズムを補足できる。電話機の付加的なセンサを利用して、顔検出結果を改善できる。例えば、アンドロイドのネイティブな顔検出アルゴリズムは、誤認警報となり、結果的に顔の距離の間違った推定となる、いくつかのバックグラウンドをユーザの顔として検出できる。誤検出の別のシナリオは、ユーザがモバイルデバイスを持つ際に彼の/彼女の顔に近すぎて、カメラが顔検出のために顔全体をキャプチャすることができない場合となる。
図6は、例えば、本明細書で説明される合成技術を使用できる、顔検出および顔近接決定の例を示す。602において、顔検出アルゴリズムを呼び出すことができる。顔が検出されると、例えば、デバイスとユーザの顔との間の距離は、例えば、本明細書で説明されるような、画像プレーン検出器(ipd)および/またはカメラの視野角範囲によって算出される。顔の距離に沿って、604において、顔の距離の変更レートを計算できる。顔の距離の変更レートは、検出された顔の一貫性を調べるために遂行される。例えば、顔の距離の変更レートが高いと、606において、検出された顔が誤りであったと決定でき、そして複数のデバイスセンサからの情報を使用して、ユーザプレゼンスを決定できる。
加速度計の統計を使用して、ユーザがデバイスを手に持っているか否かを(例えば、動きステータスは、デバイスが移動中または移動していないかを示す)決定できる。608において、ユーザの動きを検出できる(例えば、動きステータスは、デバイスが移動中であることを示す)。ユーザの動きが検出されると(例えば、動きステータスは、デバイスが移動中であることを示す)、610において、ユーザの顔と画面との間の距離を範囲の上限に定めることができる(例えば、ユーザプレゼンスを確認するために8−27インチの範囲を検出された動きに沿って使用でき、従って、動きが検出され、そして8−27インチの範囲内で顔が検出されると、ユーザのプレゼンスを確認できる)。8−27インチの範囲は、ユーザがユーザのモバイルデバイスを手に持つときに通常達成可能な範囲である。加速度計のデータが、デバイスが停止中であることを示すと(例えば、動きステータスは、デバイスが停止中であることを示す)、614において、ユーザがデバイスを手に持っていないと見なされ、614において、範囲の上限が緩和され、そして別の範囲に設定できる(例えば、8−70インチの範囲を使用してユーザプレゼンスを確認でき、従って、動きが検出されず、そして8−70インチの範囲内で顔が検出されると、ユーザのプレゼンスを確認できる)。8−70インチの範囲は、顔検出器アルゴリズムの典型的な操作範囲に対応できる。ユーザが画面から遠ければ、カメラの解像度および顔検出器の精度は、ユーザのプレゼンスを検出できるほど十分でない。
顔検出結果を処理する場合、他の要因、例えば、人の動きの速度(例えば、人間の動きの有限速度)を考慮に入れることができる。例えば、人が電話機を手に持っていると、ビューイング距離がゆっくり変化すると見なすことができ、そして特定の範囲(例えば、3−5インチ/秒)を超えるジャンプを誤認警報のインジケータとして使用できる。
612または616において、取得された顔の距離値は、例えば、ローパスフィルタまたはメジアン(median)フィルタを使用して、時間的フィルタされる。フィルタされた結果は、UAD APIを呼び出すことができる、ユーザアプリケーションに送信できる。
顔検出アルゴリズムが顔を検出しない状況において、本明細書で説明される実装は、センサの統計および/または以前に検出された顔の距離によって決まる。620において、センサのデータがユーザのプレゼンス、および顔の距離値がユーザアクティビティの平均距離である閾値(例えば、12.7インチ)未満であることを示すならば、624において、検出された顔の距離の値を保持できる。これは、顔は検出されなかったがユーザプレゼンスが検出されて、ユーザが以前にデバイスに近づいていたのであれば、ユーザがなおもデバイスの近くにいるが、カメラが顔検出のために顔全体をキャプチャすることができないという可能性が高い理由による。計算された顔の距離値が閾値(例えば、12.7インチ)よりも大きかった状況において、626において、コンピュータの顔の距離を閾値(例えば、12.7インチ)にドリフトできる(例えば、漸次的にドリフトできる)。
ユーザの顔が検出されず、どのユーザプレゼンスも検出されなかった状況において、628において、タイムアウトが開始され、そして顔の距離値を閾値(例えば、70インチ)に向かってドリフトできる(例えば、漸次的にドリフトできる)。この閾値は、例えば、ユーザが前向きカメラを使用できるとき、ユーザが感知される水平が限界となる。
両方の事例におけるドリフトの使用(例えば、漸次的なドリフト)は、特別なロバスト性をアルゴリズムに付加できる。例えば、ユーザは、カメラの視野に一時的に入る/出ることもあり、彼/彼女が再度短い時間期間に現れても、ドリフトにより、レポートされた距離のわずかな変動しか生じない。
本明細書で開示される詳細は、例示的であり、本適用の範囲を限定することを意図しない。付加的な実装は、開示された発明の主題に使用または付加できる。例えば、環境照度センサは、例えば、カメラおよび/または照度センサが(例えば、ユーザが電話機を手に持つことによって)ブロックされたかどうかを決定するカメラ入力との組み合わせにおいて利用される。電話機の方位もまた、例えば、顔検出器が操作可能であるかどうかなどを決定するために利用される。ディスプレイタッチ、近接、およびマイクロフォンセンサなどの、他のセンサからの入力を合成論理に組み込んで(例えば、組み合わせて)、結果の信頼性を改善できるが、これらのセンサに限定されるわけではない。
図7Aは、開示された1または複数の実施形態を実装できる例示的な通信システム500の図である。通信システム500は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する、多元接続システムであってよい。通信システム500は、無線帯域幅を含むシステムリソースの共有を通じて、複数の無線ユーザがそのようなコンテンツにアクセスすることを可能にできる。例えば、通信システム500は、CDMA(符号分割多元接続)、TDMA(時分割多元接続)、FDMA(周波数分割多元接続)、OFDMA(直交FDMA)、SC−FDMA(単一キャリアFDMA)などの、1または複数のチャネルアクセス方法を用いることができる。
図7Aに示すように、通信システム500は、無線送信/受信ユニット(WTRU)502a、502b、502c、502d、無線アクセスネットワーク(RAN)503/504/505、コアネットワーク506/507/509と、公衆交換電話網(PSTN)508、インターネット510と、他のネットワーク512を含むことができるが、開示された実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素も企図している。WTRU502a、502b、502c、502dのそれぞれは、無線環境で操作および/または通信するように構成された任意のタイプのデバイスであってよい。例として、WTRU502a、502b、502c、502dは、無線信号を送信および/または受信するように構成されてもよく、UE(ユーザ機器)、移動局、固定式または移動式加入者ユニット、ページャ、携帯電話機、PDA(携帯情報端末)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品、または圧縮ビデオ通信を受信して処理する能力がある他の端末機を含んでよい。
通信システム500はまた、基地局514aと基地局514bを含むこともできる。基地局514a、514bのそれぞれは、WTRU502a、502b、502c、502dのうちの少なくとも1つとワイヤレスにインタフェースして、コアネットワーク506/507/509、インターネット510、および/またはネットワーク512などの、1または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスであってよい。例として、基地局514a、514bは、BTS(ベーストランシーバ基地局)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、AP(アクセスポイント)、無線ルータなどであってよい。基地局514a、514bはそれぞれ、単一要素として示されているが、基地局514a、514bは、相互接続された任意の数の基地局および/またはネットワーク要素を含むことができることが認識されよう。
基地局514aは、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどの、他の基地局および/またはネットワーク要素(図示せず)を含むこともできる、RAN503/504/505の一部にすることができる。基地局514aおよび/または基地局514bは、セル(図示せず)と呼ばれる、特定の地理的領域内で無線信号を送信および/または受信するように構成される。セルは、セルセクタにさらに分割される。例えば、基地局514aと関連付けられたセルを3つのセクタに分割できる。従って、一実施形態において、基地局514aは、3つのトランシーバ、即ち、セルの各セクタに1トランシーバを含むことができる。別の実施形態において、基地局514aは、マルチ−入力・マルチ−出力(MIMO)技術を用いることができ、従って、セルの各セクタに複数のトランシーバを利用できる。
基地局514a、514bは、適した任意の無線通信リンク(例えば、無線周波数(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光線など)であってよい、エアーインターフェース515/516/517を介してWTRU502a、502b、502c、502dのうちの1または複数と通信できる。エアーインターフェース515/516/517は、適した任意の無線アクセス技術(RAT)を使用して確立できる。
より詳細には、上述のように、通信システム500は、多元接続システムであってよく、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなどの、1または複数のチャネルアクセススキームを用いることができる。例えば、RAN503/504/505内の基地局514aおよびWTRU502a、502b、502cは、広域帯CDMA(WCDMA)を使用してエアーインターフェース515/516/517を確立できる、UTRA(ユニバーサル移動通信システム(UMTS)地上波無線アクセス)などの無線技術を実装できる。WCDMAは、高速パケットアクセス(HSPA)および/またはHSPA+(進化型HSPA)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
別の実施形態において、基地局514aおよびWTRU502a、502b、502cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)を使用してエアーインターフェース515/516/517を確立できる、進化型UMTS地上波無線アクセス(E−UTRA)などの無線技術を実装できる。
他の実施形態において、基地局514aおよびWTRU502a、502b、502cは、IEEE802.16(即ち、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、CDMA20001X、CDMA2000EV−DO、IS−2000(Interim Standard 2000)、IS−95(Interim Standard 95)、IS−856(Interim Standard 856)、GSM(Global System for Mobile communications)、EDGE(Enhanced Data rates for GSM Evolution)、GERAN(GSM EDGE)などの無線技術を実装できる。
図7Aの基地局514bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであってよく、職場、住居、車、キャンパスなどの、ローカルエリアで無線接続性を容易にするために適した任意のRATを利用できる。一実施形態において、基地局514bおよびWTRU502c、502dは、無線ローカルエリアネットワーク(WLAN)を確立するIEEE802.11などの、無線技術を実装できる。別の実施形態において、基地局514bおよびWTRU502c、502dは、無線パーソナルエリアネットワーク(WPAN)を確立するIEEE802.15などの、無線技術を実装できる。さらに別の実施形態において、基地局514bおよびWTRU502c、502dは、セルベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立できる。図7Aに示すように、基地局514bは、インターネット510に直接接続できる。従って、基地局514bは、コアネットワーク506/507/509経由でインターネット510にアクセスする必要がない。
RAN503/504/505はコアネットワーク506と通信でき、コアネットワーク506は、音声、データ、アプリケーション、および/またはVoIP(ボイスオーバーインターネットプロトコル)サービスをWTRU502a、502b、502c、502dのうち1または複数に提供するように構成された任意のタイプのネットワークであってよい。例えば、コアネットワーク506/507/509は、呼制御、課金サービス、モバイルロケーションベースのサービス、プリペイド電話、インターネット接続性、ビデオ配布などを提供でき、および/またはユーザ認証などのハイレベルのセキュリティ機能を遂行できる。図7Aに示していないが、RAN503/504/505および/またはコアネットワーク506/507/509は、RAN503/504/505と同じRATまたは異なるRATを用いる、他のRATとの直接または間接通信であってよいことが認識される。例えば、E−UTRA無線技術を利用できるRAN503/504/505に接続されることに加えて、コアネットワーク506/507/509はまた、GSM無線技術を用いた別のRAN(図示せず)と通信することもできる。
コアネットワーク506/507/509はまた、WTRU502a、502b、502c、502dがPSTN508、インターネット510、および/または他のネットワーク512にアクセスするためのゲートウェイとして機能することもできる。PSTN508は、旧来の音声電話サービス(POST)を提供する回線交換電話網を含むことができる。インターネット510は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)およびインターネットプロトコル(IP)などの、共通の通信プロトコルを使用して相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク512は、他のサービスプロバイダによって所有および/または運用される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク512は、RAN503/504/505と同じRATまたは異なるRATを用いることができる、1または複数のRANに接続された別のコアネットワークを含むことができる。
通信システム500内のWTRU502a、502b、502c、502dの一部またはすべては、マルチモード能力を含むことができる。即ち、WTRU502a、502b、502c、502dは、異なる無線リンク上で異なる無線ネットワークと通信する複数のトランシーバを含むことができる。例えば、図7Aに示したWTRU502cは、セルベースの無線技術を用いることができる基地局514aと、IEEE802無線技術を用いることができる基地局514bとの通信を行うように構成される。
図7Bは、例示的なWTRU502のシステム図である。図7Bに示すように、WTRU502は、プロセッサ518、トランシーバ520、送信/受信要素522、スピーカ/マイクロフォン524、キーパッド526、ディスプレイ/タッチパッド528、ノンリムーバブルメモリ530、リムーバブルメモリ532、電源534、GPS(全地球測位システム)チップセット536、および他の周辺機器538を含むことができる。WTRU502は、実施形態と整合性を保った上で、上述の要素の任意の組み合わせを含むことができることが認識されよう。また、実施形態は、基地局514aおよび514b、および/または基地局514aおよび514bが、限定されるわけではないが、とりわけトランシーバ基地局(BTS)、ノードB、サイトコントローラ、AP(アクセスポイント)、ホームノードB、進化型ホームノードB(eノードB)、ホーム進化型ノードB(HeNB)、ホーム進化型ノードBゲートウェイ、およびプロキシノードを表すことができるノードが、図7Bおよび本明細書で説明される要素の一部またはすべてを含むことができることを企図している。
プロセッサ518は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、DSP(デジタル信号プロセッサ)、GPU(graphics processing unit)、複数のマイクロプロセッサ、DSPコアと連動する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、ASIC(特定用途向け集積回路)、FPGA(現場プログラム可能ゲートアレイ)回路、その他のタイプのIC(集積回路)、ステートマシンなどであってよい。プロセッサ518は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU502が無線環境で動作可能にさせるその他の機能性を遂行できる。プロセッサ518をトランシーバ520に結合でき、トランシーバ520を送信/受信要素522に結合できる。図7Bは、プロセッサ518とトランシーバ520とを個別のコンポーネントとして示しているが、プロセッサ518とトランシーバ520とを電子パッケージまたはチップ内にまとめることができることが認識されよう。
送信/受信要素522は、エアーインターフェース515/516/517上で基地局(例えば、基地局514a)にシグナルする、または基地局から信号を受信するように構成される。例えば、一実施形態において、送信/受信要素522は、RF信号を送信および/または受信するように構成されたアンテナであってよい。別の実施形態において、送信/受信要素522は、例えば、IR、UV、または可視光線信号を送信および/または受信するように構成されたエミッタ/検出器であってよい。さらに別の実施形態において、送信/受信要素522は、RF信号と光信号との両方を送受信するように構成される。送信/受信要素522は、無線信号の任意の組み合わせを送信および/または受信するように構成されることが認識される。
さらに、送信/受信要素522を単一要素として図7Bに示しているが、WTRU502は、任意の数の送信/受信要素522を含むことができる。より詳細には、WTRU502は、MIMO技術を用いることができる。従って、一実施形態において、WTRU502は、エアーインターフェース515/516/517上で無線信号を送受信する2または3以上の送信/受信要素522(例えば、複数のアンテナ)を含むことができる。
トランシーバ520は、送信/受信要素522によって送信される信号を変調して、送信/受信要素522によって受信された信号を復調するように構成される。上述のように、WTRU502は、マルチモード能力を有することができる、従って、トランシーバ520は、WTRU502が、例えば、UTRAおよびIEEE802.11などの、複数のRATを介して通信することを可能にする複数のトランシーバを含むことができる。
WTRU502のプロセッサ518は、スピーカ/マイクロフォン524、キーバッド526、および/またはディスプレイ/タッチパッド528(例えば、液晶ディスプレイ(LCD)表示ユニットまたは有機発光ダイオード(OLED)表示ユニット)に結合されて、それらからユーザ入力データを受信できる。プロセッサ518はまた、スピーカ/マイクロフォン524、キーバッド526、および/またはディスプレイ/タッチパッド528にユーザデータを出力することもできる。さらに、プロセッサ518は、ノンリムーバブルメモリ530および/またはリムーバブルメモリ532などの、適した任意のタイプのメモリからの情報にアクセスして、それらのメモリにデータを記憶できる。ノンリムーバブルメモリ530は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスク、またはその他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ532は、契約者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態において、プロセッサ518は、サーバまたはホームコンピュータ(図示せず)などの、物理的にWTRU502に設置されていないメモリからの情報にアクセスして、それらのメモリにデータを記憶できる。
プロセッサ518は、電源534から電力を受け取ることができ、その電力をWTRU502内の他のコンポーネントに配布および/または制御するように構成される。電源534は、WTRU502に電力供給するのに適した任意のデバイスであってよい。例えば、電源534は、1または複数の乾電池(例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含むことができる。
プロセッサ518はまた、GPSチップセット536を、WTRU502の現在の位置に関する位置情報(例えば、経緯度)を提供するように構成できる、GPSチップセット536にも結合される。追加または代替として、GPSチップセット536からの情報により、WTRU502は、基地局(例えば、基地局514a、514b)からエアーインターフェース515/516/517上で位置情報を受信し、および/または2または3以上の近隣の基地局から受信される信号のタイミングに基づいてWTRUの位置を決定できる。WTRU502は、実施形態と整合性を保った上で、適した任意の位置決定方法によって位置情報を獲得できることが認識されよう。
プロセッサ518は、付加的な特徴、機能性および/または有線または無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる、他の周辺機器538にさらに結合される。例えば、周辺機器538は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。
図7Cは、実施形態に従ったRAN503およびコアネットワーク506のシステム図である。上述のように、RAN503は、UTRA無線技術を用いて、エアーインターフェース515上でWTRU502a、502b、502cと通信できる。RAN504はさらに、コアネットワーク506とも通信できる。図7Cに示すように、RAN504は、そのそれぞれがエアーインターフェース515を介してWTRU502a、502b、502cと通信するための1または複数のトランシーバを含む、ノードB540a、540b、540cを含む。ノードB540a、540b、540cのそれぞれは、RAN503内の特定のセル(図示せず)と関連付けられる。RAN503はさらに、RNC542a、542bを含むこともできる。RAN503は、実施形態と整合性を保った上で、任意の数のノードBおよびRNCを含むことができることが認識される。
図7Cに示すように、ノードB540a、540bは、RNC542aと通信できる。付加的には、ノードB540cは、RNC542bと通信できる。ノードB540a、540b、540cは、Iubインタフェースを介してそれぞれRNC542a、542bと通信できる。RNC542a、542bは、Iurインタフェースを介して互いに通信できる。542a、542bのそれぞれは、接続されているノードB540a、540b、540cのそれぞれを制御するように構成される。さらに、RNC542a、542bのそれぞれは、外ループ電力制御、読み込み制御、許可制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ関数、データ暗号化などの、他の機能性を実施するまたはサポートするように構成される。
図7Cに示したコアネットワーク506は、メディアゲートウェイ(MGW)544、モバイル交換センター(MSC)546、サービングGPRSサポートノード(SGSN)548、および/またはゲートウェイGPRSサポートノード(GGSN)550を含むことができる。上述した要素のそれぞれはコアネットワーク506の一部として示されているが、これらの要素のいずれも、コアネットワーク通信業者以外のエンティティによって所有および/または運用可能であることが認識される。
RAN503内のRNC542aはIuCSインタフェースを介してコアネットワーク506内のMSC546に接続される。MSC546はMGW544に接続される。MSC546およびMGW544は、WTRU502a、502b、502cにPSTN508などの回路交換ネットワークへのアクセスを提供して、WTRU502a、502b、502cと従来の固定電話回線による通信デバイスとの間の通信を容易にする。
RAN503内のRNC542aはまた、IuPSインタフェース経由でコアネットワーク506内のSGSN548にも接続される。SGSN548はGCSN550に接続される。SGSN548およびGCSN550は、WTRU502a、502b、502cにインターネット510などのパケット交換ネットワークへのアクセスを提供して、WTRU502a、502b、502cとIP対応(IP-enabled)デバイスとの間の通信を容易にする。
上述のように、コアネットワーク506はまた、他のサービスプロバイダによって所有および/または運用される他の有線または無線ネットワークを含むネットワーク512にも接続される。
図7Dは、別の実施形態に従ったRAN504およびコアネットワーク507のシステム図である。上述のように、RAN504は、E−UTRA無線技術を用いて、エアーインターフェース516を介してWTRU502a、502b、502cと通信する。RAN504はまた、コアネットワーク507とも通信する。
RAN504は、eノードB560a、560b、560cを含むが、RAN504は、実施形態と整合性を保った上で、任意の数のeノードBを含むことができることが認識される。eノードB560a、560b、560cはそれぞれ、エアーインターフェース516を介してWTRU502a、502b、502cと通信するための1または複数のトランシーバを含む。一実施形態において、eノードB560a、560b、560cは、MIMO技術を実装する。従って、eノードB560aは、例えば、WTRU502aに無線信号を送信し、そしてWTRU502aから無線信号を受信するための複数のアンテナを使用する。
eノードB560a、560b、560cのそれぞれを特定のセル(図示せず)と関連付けることができ、無線リソース管理決定、ハンドオーバー決定、アップリンクおよび/またはダウンリンクのユーザのスケジューリングなどを処理するように構成できる。図7Dに示すように、eノードB560a、560b、560cは、X2インタフェース上で互いに通信する。
図7Dに示したコアネットワーク507は、モビリティ管理ゲートウェイ(MME)562、サービングゲートウェイ564、およびパケットデータネットワーク(PDN)ゲートウェイ566を含むことができる。上述した要素のそれぞれをコアネットワーク507の一部として示しているが、これらの要素のいずれも、コアネットワーク通信業者以外のエンティティによって所有および/または運用可能であることが認識される。
MME562は、S1インタフェースを介してRAN504内のeノードB560a、560b、560cのそれぞれに接続でき、制御ノードとして機能できる。例えば、MME562は、WTRU502a、502b、502cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU502a、502b、502cの初期接続時に特定のサービングゲートウェイを選択することなどに関与することができる。MME562はまた、RAN504と、GSMまたはWCDMAなどの他の無線技術を用いる他のRAN(図示せず)とを切り替える制御プレーン機能を提供することもできる。
サービングゲートウェイ564はS1インタフェースを介してRAN504内のeノードB560a、560b、560cのそれぞれに接続できる。サービングゲートウェイ564は一般に、WTRU502a、502b、502cへの/からのユーザデータパケットを経由して転送できる。サービングゲートウェイ564は、eノードB間のハンドオーバー時にユーザプレーンをアンカーすること、ダウンリンクデータがWTRU502a、502b、502cに使用可能になった時にページングをトリガすること、WTRU502a、502b、502cのコンテキストを管理して記憶することなどの、他の機能も実行できる。
サービングゲートウェイ564はまた、WTRU502a、502b、502cにインターネット510などの、パケット交換ネットワークへのアクセスを提供して、WTRU502a、502b、502cとIP対応(IP−enabled)デバイスとの間の通信を容易にすることができる、PDNゲートウェイ566にも接続される。
コアネットワーク507は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク507は、WTRU502a、502b、502cにPSTN508などの回路交換ネットワークへのアクセスを提供して、WTRU502a、502b、502cと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク507は、コアネットワーク507とPSTN508との間のインタフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むかまたは通信できる。さらに、コアネットワーク507は、他のサービスプロバイダによって所有および/または運用される他の有線または無線通信ネットワークを含む、ネットワーク512へのアクセスをWTRU502a、502b、502cに提供できる。
図7Eは、別の実施形態に従ったRAN505およびコアネットワーク509のシステム図である。RAN505は、IEEE802.16無線技術を用いて、エアーインターフェース517を介してWTRU502a、502b、502cと通信するアクセスサービスネットワーク(ASN)であってよい。以下にさらに論じられるように、WTRU502a、502b、502cの異なる機能エンティティとRAN505とコアネットワーク509との間の通信リンクは参照ポイントとして定義される。
図7Eに示すように、RAN505は、基地局580a、580b、580cおよびASNゲートウェイ582を含むことができるが、RAN505は、実施形態と一致することで、任意の数の基地局およびASNゲートウェイを含むことができることが認識されよう。基地局580a、580b、580cはそれぞれ、RAN505内の特定のセル(図示せず)と関連付けることができ、そしてそれぞれは、エアーインターフェース517を介してWTRU502a、502b、502cと通信するための1または複数のトランシーバを含む。一実施形態において、基地局580a、580b、580cは、MIMO技術を実装する。従って、基地局580aは、例えば、WTRU502aに無線信号を送信するためのおよびWTRU502aから無線信号を受信するための、複数のアンテナを使用する。基地局580a、580b、580cはさらに、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、QoS(サービス品質)ポリシー強制などの、モビリティ管理機能を提供することもできる。ASNゲートウェイ582は、トラフィック集合ポイントとして機能でき、またページング、加入者プロファイルのキャッシング、コアネットワーク509へのルーティングなどに関与することができる。
WTRU502a、502b、502cとRAN505との間のエアーインターフェース517は、IEEE802.16仕様を実装するR1参照ポイントとして定義される。さらに、WTRU502a、502b、502cのそれぞれは、コアネットワーク509との論理インタフェース(図示せず)を確立できる。WTRU502a、502b、502cとコアネットワーク509との間の論理インタフェースは、認証、承認、IPホスト構成管理、および/またはモビリティ管理に使用できる、R2参照ポイントとして定義される。
基地局580a、580b、580cのそれぞれの間の通信リンクは、WTRUハンドオーバーおよび基地局間のデータ転送を容易にするためのプロトコルを含むR8参照ポイントとして定義できる。基地局190a、580b、580cとASNゲートウェイ582との間の通信リンクをR6参照ポイントとして定義される。R6参照ポイントは、WTRU502a、502b、502cのそれぞれと関連付けられるモビリティイベントに基づいてモビリティ管理を容易にするためのプロトコルを含むことができる。
図7Eに示すように、RAN505はコアネットワーク509に接続される。RAN505とコアネットワーク509との間の通信リンクは、例えば、データ転送およびモビリティ管理能力を容易にするためのプロトコルを含むR3参照ポイントとして定義できる。コアネットワーク509は、モバイルIPホームエージェント(MIP−HA)584、認証・承認・アカウンティング(AAA)サーバ586、およびゲートウェイ588を含む。上述した要素のそれぞれはコアネットワーク509の一部として示されているが、これらの要素のいずれもが、コアネットワーク通信業者以外のエンティティによって所有および/または運用可能であることが認識される。
MIP−HA584は、IPアドレス管理に関与することができ、そしてWTRU502a、502b、502cが、異なるASNおよび/または異なるコアネットワーク間でロームすることを可能にする。MIP−HA584は、WTRU502a、502b、502cにインターネット510などパケット交換ネットワークへのアクセスを提供して、WTRU502a、502b、502cとIP対応の(IP−enabled)デバイスとの間の通信を容易にする。AAAサーバ586は、ユーザ認証およびユーザサービスのサポートを担う。ゲートウェイ588は、他のネットワークとの相互作用を容易にすることができる。例えば、ゲートウェイ588は、WTRU502a、502b、502cにPSTN508など回路交換ネットワークへのアクセスを提供して、WTRU502a、502b、502cと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。さらに、ゲートウェイ588は、他のサービスプロバイダによって所有および/または運用される他の有線または無線ネットワークを含むことができる、ネットワーク512へのアクセスをWTRU502a、502b、502cに提供できる。
図7Eに示していないが、RAN505は他のASNに接続され、およびコアネットワーク509は他のコアネットワークに接続されることが認識される。RAN505と他のASNとの間の通信リンクは、RAN505と他のASNとの間のWTRU502a、502b、502cのモビリティを調整するためのプロトコルを含むことができる、R4参照ポイントとして定義される。コアネットワーク509と他のコアネットワークとの間の通信リンクは、ホームコアネットワークと移動してきた(visited)コアネットワークとの間の相互作用を容易にするためのプロトコルを含むことができる、R5参照ポイントとして定義される。
上述したプロセスは、コンピュータおよび/またはプロセッサによって実行するためのコンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、および/またはファームウェアに実装される。コンピュータ可読媒体の例は、電子信号(有線および/または無線接続上で送信される)および/またはコンピュータ可読記憶媒体を含むが、これらに限定されない。コンピュータ可読記憶媒体の例は、限定されるわけではないが、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、限定されるわけではないが、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、および/またはCD−ROMディスク、および/またはデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと連動するプロセッサを使用して、WTRU、UE、端末機、基地局、RNC、および/または任意のホストコンピュータで使用するための無線周波数トランシーバを実装することができる。

Claims (12)

  1. モバイルデバイスにおいてユーザプレゼンスを決定するための方法であって、
    顔を検出するステップと、
    前記検出された顔と関連付けられた顔の距離を決定するステップと、
    前記モバイルデバイスと関連付けられた動きステータスを決定するステップと、
    前記顔の距離および前記動きステータスに基づいてユーザプレゼンスを確認するステップと
    を備えたことを特徴とする方法。
  2. 前記ユーザの距離は、瞳孔間距離、カメラの視野角、両目の角度、または頭幅をキャプチャする角度のうちの1または複数に基づいて決定されることを特徴とする請求項1に記載の方法。
  3. 前記動きステータスは、前記モバイルデバイスが移動中または停止中であるかどうかを示すことを特徴とする請求項1に記載の方法。
  4. 前記動きステータスは、前記モバイルデバイスの1または複数のセンサを使用して決定されることを特徴とする請求項1に記載の方法。
  5. 前記ユーザプレゼンスは、距離の閾値を決定して、前記距離の閾値を前記顔の距離と比較することをさらに備えたことを特徴とする請求項1に記載の方法。
  6. 前記距離の閾値は、前記動きステータスに基づいて決定されることを特徴とする請求項5に記載の方法。
  7. ユーザプレゼンスを決定するように構成されたモバイルデバイスであって、
    顔を検出し、
    前記検出された顔と関連付けられた顔の距離を決定し、
    前記モバイルデバイスと関連付けられた動きステータスを決定し、
    前記顔の距離および前記動きステータスに基づいてユーザプレゼンスを確認するように構成された、プロセッサを備えたことを特徴とするモバイルデバイス。
  8. 前記ユーザの距離は、瞳孔間距離、カメラの視野角、両目の角度、または頭幅をキャプチャする角度のうちの1または複数に基づいて決定されることを特徴とする請求項7に記載のモバイルデバイス。
  9. 前記動きステータスは、前記モバイルデバイスが移動中または停止中であるかどうかを示すことを特徴とする請求項7に記載のモバイルデバイス。
  10. 前記動きステータスは、前記モバイルデバイスの1または複数のセンサを使用して決定されることを特徴とする請求項7に記載のモバイルデバイス。
  11. 前記ユーザプレゼンスを確認するために、前記プロセッサは、距離の閾値を決定して、前記距離の閾値を前記顔の距離と比較するようにさらに構成されたことを特徴とする請求項7に記載のモバイルデバイス。
  12. 前記距離の閾値は、前記動きステータスに基づいて決定されることを特徴とする請求項11に記載のモバイルデバイス。
JP2015539709A 2012-10-22 2013-10-22 モバイルデバイスにおけるユーザプレゼンスの検出 Pending JP2016502175A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261717055P 2012-10-22 2012-10-22
US61/717,055 2012-10-22
US201261720717P 2012-10-31 2012-10-31
US61/720,717 2012-10-31
PCT/US2013/066122 WO2014066352A1 (en) 2012-10-22 2013-10-22 User presence detection in mobile devices

Publications (1)

Publication Number Publication Date
JP2016502175A true JP2016502175A (ja) 2016-01-21

Family

ID=49514075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539709A Pending JP2016502175A (ja) 2012-10-22 2013-10-22 モバイルデバイスにおけるユーザプレゼンスの検出

Country Status (6)

Country Link
US (1) US20150241962A1 (ja)
EP (1) EP2909699A1 (ja)
JP (1) JP2016502175A (ja)
KR (1) KR20150069018A (ja)
CN (1) CN105027029A (ja)
WO (1) WO2014066352A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022547572A (ja) * 2019-09-12 2022-11-14 華為技術有限公司 コールバックストリーム処理方法およびデバイス

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
GB2509323B (en) 2012-12-28 2015-01-07 Glide Talk Ltd Reduced latency server-mediated audio-video communication
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10045050B2 (en) 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016013717A1 (en) * 2014-07-22 2016-01-28 Lg Electronics Inc. Display device and method for controlling the same
KR102194923B1 (ko) 2014-07-22 2020-12-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9389733B2 (en) * 2014-08-18 2016-07-12 Sony Corporation Modal body touch using ultrasound
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20190007517A1 (en) * 2015-07-02 2019-01-03 Vid Scale, Inc. Sensor processing engine for mobile devices
WO2017007707A1 (en) * 2015-07-03 2017-01-12 Vid Scale, Inc. Methods, apparatus and systems for predicting user traits using non-camera sensors in a mobile device
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN105975304A (zh) * 2016-04-29 2016-09-28 青岛海信移动通信技术股份有限公司 一种移动设备的重启方法和装置
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10127926B2 (en) 2016-06-10 2018-11-13 Google Llc Securely executing voice actions with speaker identification and authentication input types
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10673917B2 (en) * 2016-11-28 2020-06-02 Microsoft Technology Licensing, Llc Pluggable components for augmenting device streams
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10636173B1 (en) * 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11380214B2 (en) * 2019-02-19 2022-07-05 International Business Machines Corporation Memory retention enhancement for electronic text
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
KR102214551B1 (ko) * 2019-05-03 2021-02-09 주식회사 위즈컨 디바이스와 얼굴 사이의 거리 측정 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11551540B2 (en) 2021-02-23 2023-01-10 Hand Held Products, Inc. Methods and systems for social distancing
US11368573B1 (en) 2021-05-11 2022-06-21 Qualcomm Incorporated Passively determining a position of a user equipment (UE)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128712A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd 携帯端末装置
JP2006227409A (ja) * 2005-02-18 2006-08-31 Nikon Corp 表示装置
US20100188426A1 (en) * 2009-01-27 2010-07-29 Kenta Ohmori Display apparatus, display control method, and display control program
JP2011510364A (ja) * 2007-12-20 2011-03-31 ソニー エリクソン モバイル コミュニケーションズ, エービー 表示を動的に変更するシステム及び方法
US20110151934A1 (en) * 2009-12-23 2011-06-23 Sony Ericsson Mobile Communications Ab Automatic Keypad Unlocking Method and Apparatus for Mobile Terminal
WO2011104837A1 (ja) * 2010-02-25 2011-09-01 富士通株式会社 携帯端末、動作間隔設定方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2796797B1 (fr) * 1999-07-22 2001-09-07 Eastman Kodak Co Dispositif et procede pour afficher une image sur un ecran selon une perspective dependant de la position d'un utilisateur
US7016705B2 (en) * 2002-04-17 2006-03-21 Microsoft Corporation Reducing power consumption in a networked battery-operated device using sensors
KR101006668B1 (ko) * 2005-12-28 2011-01-10 후지쯔 가부시끼가이샤 Tv 전화 기능의 촬영 화상 처리 절환 장치
JP4607822B2 (ja) * 2006-06-01 2011-01-05 富士フイルム株式会社 デジタルカメラ
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
EP2450872B1 (en) * 2010-11-03 2013-12-25 BlackBerry Limited System and method for controlling a display of a mobile device
JP5214814B1 (ja) * 2012-03-05 2013-06-19 株式会社東芝 電子機器および受信制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128712A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd 携帯端末装置
JP2006227409A (ja) * 2005-02-18 2006-08-31 Nikon Corp 表示装置
JP2011510364A (ja) * 2007-12-20 2011-03-31 ソニー エリクソン モバイル コミュニケーションズ, エービー 表示を動的に変更するシステム及び方法
US20100188426A1 (en) * 2009-01-27 2010-07-29 Kenta Ohmori Display apparatus, display control method, and display control program
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US20110151934A1 (en) * 2009-12-23 2011-06-23 Sony Ericsson Mobile Communications Ab Automatic Keypad Unlocking Method and Apparatus for Mobile Terminal
WO2011104837A1 (ja) * 2010-02-25 2011-09-01 富士通株式会社 携帯端末、動作間隔設定方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022547572A (ja) * 2019-09-12 2022-11-14 華為技術有限公司 コールバックストリーム処理方法およびデバイス
US11849213B2 (en) 2019-09-12 2023-12-19 Huawei Technologies Co., Ltd. Parallel preview stream and callback stream processing method and device
JP7408784B2 (ja) 2019-09-12 2024-01-05 華為技術有限公司 コールバックストリーム処理方法およびデバイス

Also Published As

Publication number Publication date
KR20150069018A (ko) 2015-06-22
EP2909699A1 (en) 2015-08-26
US20150241962A1 (en) 2015-08-27
CN105027029A (zh) 2015-11-04
WO2014066352A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
JP2016502175A (ja) モバイルデバイスにおけるユーザプレゼンスの検出
US10448098B2 (en) Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording
KR102154912B1 (ko) 시선 구동 증강 현실
US20180241966A1 (en) User-adaptive video telephony
US10356322B2 (en) Wearable device, control apparatus, photographing control method and automatic imaging apparatus
US9413967B2 (en) Apparatus and method for photographing an image using photographing guide
US20160255322A1 (en) User adaptive 3d video rendering and delivery
EP3624457A1 (en) Method and apparatus for live broadcasting
US10015391B2 (en) Method and system for adjusting camera settings using corneal reflection
EP3042503B1 (en) Viewing conditions' estimation for adaptive delivery of visual information in a viewing environment
CN107566752B (zh) 一种拍摄方法、终端及计算机存储介质
KR101900357B1 (ko) 모바일 디바이스가 실내 또는 실외인지를 검출하여 카메라 이미지 품질을 개선하는 방법
WO2017154411A1 (ja) 撮像装置、電子機器及び撮像システム
CN107040723B (zh) 一种基于双摄像头的成像方法、移动终端及存储介质
US9052866B2 (en) Method, apparatus and computer-readable medium for image registration and display
WO2022089279A1 (zh) 一种设备方位调整的方法和终端设备
WO2022089341A1 (zh) 一种图像处理方法及相关装置
US10956122B1 (en) Electronic device that utilizes eye position detection for audio adjustment
KR20170106177A (ko) 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법
JP5832673B2 (ja) 撮像装置およびその動作制御方法
JP2015119432A (ja) 撮像装置、撮像システム、撮像方法及びプログラム
WO2019072222A1 (zh) 一种图像处理方法、装置与设备
KR20190076547A (ko) 인터넷 브로드캐스팅 및 업로딩을 위한 카메라

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180508