JP2012522415A - タッチスクリーン機能を変更するためのシステム及び方法 - Google Patents

タッチスクリーン機能を変更するためのシステム及び方法 Download PDF

Info

Publication number
JP2012522415A
JP2012522415A JP2012501396A JP2012501396A JP2012522415A JP 2012522415 A JP2012522415 A JP 2012522415A JP 2012501396 A JP2012501396 A JP 2012501396A JP 2012501396 A JP2012501396 A JP 2012501396A JP 2012522415 A JP2012522415 A JP 2012522415A
Authority
JP
Japan
Prior art keywords
camera
touch
user
electronic device
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012501396A
Other languages
English (en)
Other versions
JP5358733B2 (ja
Inventor
カール, オラ トルン,
Original Assignee
ソニーモバイルコミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーモバイルコミュニケーションズ, エービー filed Critical ソニーモバイルコミュニケーションズ, エービー
Publication of JP2012522415A publication Critical patent/JP2012522415A/ja
Application granted granted Critical
Publication of JP5358733B2 publication Critical patent/JP5358733B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Shutters For Cameras (AREA)
  • Position Input By Displaying (AREA)

Abstract

カメラの操作中にユーザが検出されたか否かに基づいて、タッチスクリーン機能を変更するシステム及び方法。第1のカメラは、該第1のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を生成する。コントローラは、ビデオ信号を分析して、電子装置のユーザの1以上の身体的特徴が第1のカメラの視野内に存在するか否かを判定する。タッチ入力装置は、ユーザ入力を受信するための1以上のタッチポイントを備え、各タッチポイントが、第2のカメラの複数の機能のそれぞれの機能の制御に関連付けられている。上記タッチポイントが、第2のカメラのシャッター機能の制御に関連付けられており、タッチポイントの総数が、コントローラにより行われるビデオ信号の分析結果に依存して決定される。

Description

ここに開示する技術は電子装置用のタッチ入力装置に関し、特に、カメラの操作中にタッチスクリーンの機能を変更するためのシステム及び方法に関する。
現在、例えば、携帯電話機、ポータブルメディアプレーヤー、ポータブルゲーム機などの、モバイル/ワイヤレス電子装置が広く使用されている。また、ある種類の電子装置に関する諸機能はますます多様化が進んでいる。例えば、多くの携帯電話機には静止画像及びビデオ画像の取り込みが可能なカメラが備えられている。
携帯電話機のような携帯電子装置の中には、ユーザ入力を受け付けるためのタッチスクリーン技術を利用するものもある。タッチスクリーン技術は、一般にディスプレイ上に配置された透明なタッチパネルセンサを利用する。このタッチパネルセンサは、センサ表面に接しているか、あるいはセンサ表面の近くにあるユーザの指又は指先の存在及び動きを検出することができる。ユーザはタッチスクリーン上の1つのポイントにタッチすることによって電子装置の特定の機能の制御が可能となる。このタッチポイントは表示コンテンツにより指定することができる。例えば、画像を取り込むために、ユーザは、ディスプレイ上に提示されたシャッター記号をオーバーレイするタッチスクリーン領域にタッチすることができる。
タッチスクリーン技術を用いた電子装置の中には、単一の独立したボタンを押すことによってユーザが画像を簡単に取り込むことができるようにする専用シャッターキーが設けられているようなものもある。メニューオプションを介してカメラ機能に達するようスクロールする代わりに、ユーザは専用シャッターキーにより電子装置のカメラ機能に即座にアクセスすることが可能となる。しかし、電子装置上に専用ボタンを一つ一つ設けることは装置の製造原価を押し上げることになる。従って、電子装置上に設けられるメカニカルボタンの数を減らすことが望ましいと考えられる。
本開示は、いくつかのシナリオにおいて、タッチスクリーンの使用やアクセスが困難になる場合があることを認識するものである。例えば、タッチスクリーン機能を備えた多くの携帯電話機には、電話機の1つの側面に内蔵カメラが設けられ、その電話機の反対側にディスプレイが設けられている。そのため、ユーザは、自身を撮る写真の撮影中、電話機を自分の顔の正面に配置する必要があり、その結果、ユーザにはディスプレイ/タッチスクリーンが見えなくなる。携帯電話機が専用シャッターキーを備えていない場合、一般に行われているように、ユーザは、ディスプレイを見ることなく、タッチスクリーン上に設けられているシャッターシンボルへのタッチを試みるという困難なタスクを経験することになる。理解されるように、シャッターシンボルが小さければ小さいほど、タッチスクリーン上の対応するポイントに手探りでアクセスする(例えばタッチスクリーンを見ずにタッチする)ことはユーザにとってますます困難になる。一方で、シャッターシンボルが大きければ大きいほど、カメラと携帯電話機の少なくともいずれかに関連する他の機能に関連付けられたコンテンツの表示を行うためのスクリーンスペースが少なくなる。例えば、タッチスクリーンは、フラッシュ機能、ズーム機能、又はカメラの合焦機能の調整に関係するコンテンツをカメラの操作中に表示することも可能である。
タッチスクリーン機能を備えた電子装置上においてシャッター機能を高めるために、本開示は、タッチスクリーンと対面している被写体としてユーザが検出されたかどうかに基づいて、カメラの操作中にタッチスクリーンの機能を変更するためのシステム及び方法について説明するものである。一実施形態では、タッチスクリーンと対面している被写体としてユーザが検出されなければ、タッチスクリーン全体がカメラのシャッター機能を制御するように構成され、それによって、ユーザは、タッチスクリーンから離れた方向と対面している間(例えばカメラと対面している間)、タッチスクリーンの任意の一部を手探りでタッチすることにより、画像を取り込むことができるようになる。タッチスクリーンと対面している被写体としてユーザが検出された場合、カメラ操作を制御するための典型的グラフィカルユーザインタフェースとして機能するようにタッチスクリーンを構成してもよい。従って、本開示によれば、カメラ操作中のタッチスクリーンの機能は、画像の取り込みの際にユーザの操作上の必要性を満たすように構成することが可能となる。
本開示の一側面によれば、電子装置が、第1のカメラであって、該第1のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を生成する第1のカメラと、第2のカメラであって、該第2のカメラのシャッター機能の制御に関連付けられたユーザ入力を受信したとき、第2のカメラの視野内のシーンの少なくとも一部を表す画像を取り込む第2のカメラと、第1のカメラからビデオ信号を取得し、該ビデオ信号を分析して、前記電子装置のユーザの1以上の身体的特徴が前記第1のカメラの視野内に存在するか否かを判定するコントローラと、タッチ入力装置であって、前記コントローラと動作可能に結合され、前記タッチ入力装置の表面領域上においてユーザ入力を受信するための1以上のタッチポイントを含むように構成され、各タッチポイントが前記第2のカメラの複数の機能のうちのそれぞれの機能の制御に関連付けられているタッチ入力装置とを備える。本開示の上記側面によれば、前記タッチ入力装置の前記1以上のタッチポイントのうちの少なくとも1つのタッチポイントが、前記第2のカメラの前記シャッター機能の制御に関連付けられており、かつ、前記タッチ入力装置の前記タッチポイントの総数が、前記コントローラにより実行される前記ビデオ信号の分析結果に依存して決定される。
電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在しないと判定したときは、前記タッチ入力装置の表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成する。
電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在しないと判定したときは、前記タッチ入力装置の表面領域の主要部分を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成し、前記タッチ入力装置の表面領域の残りの部分を、タッチポイントの選択を含むように構成する。
電子装置の一実施形態によれば、前記タッチ入力装置の各タッチポイントに関連するカメラ機能情報を含むデータベースを更に有し、選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報が前記ユーザに対して言語の形で提示される。
電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在すると判定したときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成する。
電子装置の一実施形態によれば、これらの身体的特徴はユーザの1以上の顔の特徴を含む。
電子装置の一実施形態によれば、前記電子装置は、過去に取得した、前記ユーザの1以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有し、前記コントローラは、前記顔の特徴が前記第1のカメラの視野内に存在していると判定したときは、前記ユーザ識別情報を前記メモリから読み出して、前記第1のカメラの視野内に存在している前記顔の特徴について、前記ユーザ識別情報の中に含まれている前記1以上の顔の特徴と一致するものがあるか否かを判定する。
電子装置の一実施形態によれば、一致が得られなかった場合、前記コントローラは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成する。
電子装置の一実施形態によれば、前記電子装置は、前記タッチ入力装置の下に配置されたディスプレイを更に有し、該ディスプレイは、前記第2のカメラの視野内のシーンの少なくとも一部の表示を含むプレビュービデオ信号を表示するファインダとして構成され、前記コントローラは、前記プレビュービデオ信号を分析して、前記ユーザの1以上の身体的特徴が前記第2のカメラの視野内に存在するか否かを判定する。
電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第2のカメラの視野内に存在すると判定したときは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成する。
電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第2のカメラの視野内にも存在しないと判定したときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成する。
電子装置の一実施形態によれば、前記電子装置は、過去に取得した、前記ユーザの1以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有する。
電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第2のカメラの視野内に存在すると判定したときは、前記ユーザ識別情報を読み出して、前記第2のカメラの視野内に存在している前記身体的特徴について、前記ユーザ識別情報に含まれている前記1以上の顔の特徴と一致するものがあるか否かを判定し、一致が得られた場合、前記コントローラは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成する。
電子装置の一実施形態によれば、前記第1のカメラの視野は前記第2のカメラの視野に対して逆向きである。
電子装置の一実施形態によれば、前記コントローラは、前記第2のカメラの動作開始を要求するユーザコマンドを受信すると、前記第1のカメラの動作、及び、該第1のカメラによって生成された前記ビデオ信号の分析を自動的に開始する。
電子装置の一実施形態によれば、前記第2のカメラの機能は、カメラモード、ビデオモード、フラッシュ設定、ズーム機能、及び合焦設定のうちの少なくとも1つを含む。
本開示の別の側面によれば、第1のカメラ、第2のカメラ、及びタッチ入力装置を備えた電子装置のタッチスクリーン機能を変更する方法は、前記第1のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を取得するステップと、前記ビデオ信号を分析して、前記電子装置のユーザの1以上の身体的特徴が前記第1のカメラの視野内に存在するか否かを判定するステップと、前記ビデオ信号の分析結果に基づいて、前記タッチ入力装置の表面領域上においてユーザ入力を受信するための前記タッチ入力装置上の1以上のタッチポイントであって各タッチポイントが前記第2のカメラの複数の機能のそれぞれの機能の制御に関連付けられている1以上のタッチポイントを提供するステップとを含む。本開示のこの側面によれば、前記第2のカメラの視野内のシーンの少なくとも一部を表す画像を取り込むために、前記タッチ入力装置の前記1以上のタッチポイントのうちの少なくとも1つのタッチポイントが、前記第2のカメラのシャッター機能の制御に関連付けられている。
本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第1のカメラの視野内に存在しないと判定されたときは、前記タッチ入力装置の表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成するステップを更に有する。
本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第1のカメラの視野内に存在しないと判定されたとき、前記タッチ入力装置の表面領域の主要部分を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成するステップと、前記タッチ入力装置の表面領域の残りの部分を、タッチポイントの選択を含むように構成するステップとを更に有する。
本方法の一実施形態によれば、本方法は、前記タッチ入力装置の各タッチポイントに関連するカメラ機能情報を格納するステップと、選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報を前記ユーザに対して言語の形で提示するステップとを更に有する。
本方法の一実施形態によれば、前記身体的特徴が前記第1のカメラの視野内に存在すると判定されたときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成するステップを更に有する。
本方法の一実施形態によれば、これらの身体的特徴にはユーザの顔の1以上の特徴が含まれる。
本方法の一実施形態によれば、本方法は、過去に取得した、前記ユーザの顔の1以上の特徴を含むユーザ識別情報を格納するステップと、顔の特徴が前記第1のカメラの視野内に存在している判定されたとき、現在の顔の特徴について、前記ユーザ識別情報の中に含まれている前記1以上の顔の特徴と一致するものがあるか否かを判定するステップと、一致が得られなかった場合、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成するステップとを更に有する。
本方法の一実施形態によれば、本方法は、前記第2のカメラの視野内のシーンの少なくとも一部の表示を含むプレビュービデオ信号を表示するステップと、前記プレビュービデオ信号を分析して、前記ユーザの1以上の身体的特徴が前記第2のカメラの視野内に存在するか否かを判定するステップとを更に有する。
本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第1のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第2のカメラの視野内に存在すると判定されたときは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成するステップを更に有する。
本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第1のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第2のカメラの視野内にも存在しないと判定されたときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成するステップを更に有する。
本方法の一実施形態によれば、本方法は、過去に取得した、前記ユーザの1以上の顔の特徴を含むユーザ識別情報を格納するステップを更に有する。
本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第2のカメラの視野内に存在すると判定されたときは、前記第2のカメラの視野内に存在している前記身体的特徴について、前記ユーザ識別情報に含まれている前記1以上の顔の特徴と一致するものあるか否かを判定し、一致が得られた場合、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成するステップを更に有する。
本方法の一実施形態によれば、前記第1のカメラの視野は前記第2のカメラの視野に対して逆向きである。
本方法の一実施形態によれば、本方法は、前記第2のカメラの動作開始を要求するユーザコマンドを受信すると、前記第1のカメラの動作、及び、該第1のカメラによって生成された前記ビデオ信号の分析を自動的に開始するステップを更に有する。
本方法の一実施形態によれば、前記第2のカメラの機能には、カメラモード、ビデオモード、フラッシュ設定、ズーム機能、及び合焦設定のうちの少なくとも1つが含まれる。
これらの特徴及び更なる特徴は、以下の説明及び添付図面を参照することにより明らかになる。説明及び図面において、本発明の原理を採用できる方法のいくつかを示すものとして本発明の特定の実施形態が詳細に開示されてはいるが、本発明の範囲はこれらの実施形態に限定されるものではないことは理解されよう。逆に、本発明は本明細書に添付の特許請求の範囲に属するすべての変更、修正及び均等物を含むものである。
一実施形態に関して記述と例示の少なくともいずれかが行われている特徴は、1以上の別の実施形態において同じ方法で、あるいは同様の方法で、若しくは、上記別の実施形態の特徴と組み合わされた態様か、あるいは上記別の実施形態の特徴の代替の態様かの少なくともいずれかの態様で利用することも可能である。
本明細書で使用される場合、「備える(comprises)」及び「備えている(comprising)」という用語は、言及された特徴、整数、ステップ又は構成の存在を特定するために用いられるが、これら以外の1以上の別の特徴、整数、ステップ、構成、又はこれらのグループの存在又は追加を排除するものではない。
本開示に係る例示の電子装置としての携帯電話機の概略図。 図1Aの例示の電子装置の背面を示す概略図。 通信システムの一部として動作中の図1Aの例示の電子装置の概略ブロック図。 ユーザがタッチスクリーンと対面しているかどうかの判定を行うように処理されたユーザの顔の画像を示す概略図。 図1Aの例示の電子装置を用いて、カメラの操作中にタッチスクリーンの機能を変更する例示の方法を表すフローチャート。 ディスプレイに本開示に係る例示のユーザインタフェースが表された、図1Aの携帯電話機を示す概略図。
以下、図面を参照しながら実施形態について説明するが、図面中、同一の参照番号は同様の要素を参照するために用いられる。これらの図は必ずしも縮尺通りではないことは理解されよう。
本明細書では、主として、携帯電話機に関連して、いくつかの実施形態を説明する。しかし、その携帯電話機の例示の構成が、ここに開示するシステム及び方法の側面を利用できる唯一の動作環境であるというわけではないことは理解されよう。従って、本明細書に記載のこれらの技術は、任意のタイプの適切な電子装置に対しても適用可能である。このような電子装置の例には、携帯電話機、メディアプレーヤー、ゲーム機器、コンピュータ(ラップトップコンピュータ、ネットブック、ウルトラモバイルパーソナルコンピュータ(PC)等)、ページャ、コミュニケータ、電子手帳、パーソナル・デジタル・アシスタント(PDA)、スマートフォン、携帯用通信機器、デジタルカメラ(カメラ、ビデオカメラ、コンパクトカメラ等)、全地球測位システム(GPS)装置等が含まれる。
まず図1A、図1B及び図2を参照すると電子装置10が示されている。図1Aは電子装置10の正面図、図1Bは電子装置10の背面図である。これらの図からわかるように、電子装置10はカメラ・インタフェース・ファンクション12(図2)、電子装置10の前部に配置されたタッチスクリーン14(図1A)、及び、電子装置10(図1B)の後部に配置されたカメラ16を備える。カメラ・インタフェース・ファンクション12は、タッチスクリーン14と対面している被写体としてユーザが検出されたか否かに基づいて、カメラ16の動作中にタッチスクリーン14に関する機能及び動作を変更するように構成される。例えば、カメラ・インタフェース・ファンクション12は、ユーザが(例えばセルフポートレート等の)自身の画像を取り込むようカメラ16と対面しているときは、ユーザはタッチスクリーン14とは対面していないことを識別することも可能である。一実施形態では、このような識別に基づいて、カメラ・インタフェース・ファンクション12は、タッチスクリーン14全体を用いてカメラ16のシャッター機能の制御が可能な最適化カメラモードでタッチスクリーン14に動作させることも可能である。この実施形態によれば、ユーザは、「手探りで」(例えば特定のポイントを探すことなく)タッチスクリーン14の任意の部分にタッチしてシャッター機能を選択し、その選択によって、カメラ16を用いて画像を取り込むことができる。
カメラ・インタフェース・ファンクション12の動作に関する追加の詳細について以下さらに詳細に説明する。カメラ・インタフェース・ファンクション12は、電子装置10内に常駐し、電子装置10により実行される実行可能コードとして実装され得る。一実施形態では、カメラ・インタフェース・ファンクション12は、コンピュータ又はコンピュータ可読媒体に格納されているプログラムであってもよい。カメラ・インタフェース・ファンクション12は、スタンドアロン型ソフトウェアアプリケーションであってもよいし、あるいは、電子装置10に関係する追加タスクを実行するソフトウェアアプリケーションの一部を形成するものであってもよい。
図1Aに示されているように、電子装置10のタッチスクリーン14は、ディスプレイ18と、ディスプレイ18上にわたって配置されたタッチ入力装置20とを備えてもよい。ディスプレイ18は、動作状態、時刻、電話番号、コンタクト情報、種々のメニュー等のような情報をユーザに対して表示し、これらの情報によってユーザは電子装置10の種々の機能の利用が可能である。また、ディスプレイ18を用いて、電子装置10が受信したコンテンツと、電子装置10のメモリ22(図2)から取り出されたコンテンツとの少なくともいずれかのコンテンツを視覚的に表示することも可能である。ディスプレイ18を用いて、写真、移動体用テレビのコンテンツ、インターネットのページ、ゲームに関連付けられたビデオ(但しこれらのみに限定されるわけではない)のような画像、ビデオ及びその他のグラフィックをユーザに提示することも可能である。
タッチ入力装置20は、ユーザタッチ入力を認識することができ、かつ、タッチ入力により表されるコマンドを解釈することができ、かつ、電子装置10の適切な装置とアプリケーションの少なくともいずれかに対して、対応する出力信号を介してコマンドを伝えることができる透明なタッチパネルセンサを備えることができる。表示項目の選択、書き換え、ナビゲート、スクロール、移動等のような種々の入力目的のために、タッチ入力を利用することも可能である。ユーザタッチ入力は、例えば、タップ、ピンチ、(例えば所定量の時間の間1つのポイント上に指又は指先を保持する)長押し、解除、タッチ入力装置20のセンサコンポーネントの部分の両端にわたって、指又は指先を或る方向にドラッグする操作のうちの少なくともいずれかの操作等、あるいは、これらの操作の任意の組み合わせのような、1以上の指又は指先を用いる種々のタッチモーションを含んでもよい。
図1Aに図示のように、ディスプレイ18及びタッチ入力装置20を相互に連携して使用し、それによってタッチスクリーン機能の実現を図るようにすることができる。タッチ入力装置20の表面が、電子装置10の1以上の機能の制御に関連付けられたユーザタッチ入力を受信するための1以上のタッチポイント(図示せず)から構成されると考えることができる。ディスプレイ18は、電子装置10の種々の機能の制御用グラフィカルユーザインタフェースを形成するコンテンツを、メニュー形式、英数字キーの表示、リンク等の形でユーザに表示することも可能である。表示コンテンツの個々の項目は、タッチ入力装置20上の関連付けられたタッチポイントの所在位置と、該タッチ入力装置20に関連付けられた特別の機能とをユーザに示すことができる。従って、ユーザは、表示コンテンツの所望の項目上に直接配置されたタッチ入力装置20上のポイントにタッチすることによって電子装置10の特定の機能の制御を行うことができる。例えば、タッチスクリーン14を用いて、カメラ16の制御用としてタッチベースのグラフィカルユーザインタフェースを提供するようにしてもよい。
表示コンテンツの項目の形状及びサイズは、関連付けられたタッチポイントの形状及びサイズを決定することができる。所定の時点においてタッチ入力装置20に含まれるタッチポイントの数は、当該時点においてタッチスクリーン14上に表示されるグラフィカルユーザインタフェースを介して制御され得る機能の数に応じて決めることができる。さらに、電子装置10の現在の動作モード(例えばカメラモード等)は、どのグラフィカルユーザインタフェースが所定の時点に表示されるかの判定を行うことができる。一実施形態では、タッチ入力装置20は、現在表示されているグラフィカルユーザインタフェースを介して制御され得る個々の機能に対応するタッチポイントを備える。例えば、グラフィカルユーザインタフェースが電子装置10の唯一の機能を制御する場合、タッチ入力装置20は唯一のタッチポイントを備えることができる。
図1Aは、電子装置10の、筐体内にベゼルで取り付けられたディスプレイ18及びタッチ入力装置20を示す。ディスプレイ18及びタッチ入力装置20は、電子装置10の筐体とほぼ同一平面をなすことができるようにベゼルなしで保持されてもよいことは理解されよう。また、記載の電子装置10は「レンガ」形状又は「ブロック」形状の筐体を有するものとして示されてはいるが、(シェル型筐体のような)「フリップ」オープン型の筐体や(「スライダー筐体」のような)スライド型筐体といった別の種類の筐体を用いてもよいことは理解できよう。
また、図1Aは、テキスト入力やナビゲーション入力用のユーザ入力ボタンやキーを備えていないような電子装置10も示す。例えば、電子装置10上に存在している唯一のボタンは図1Aからは見えないオン/オフスイッチボタンであってもよい。一実施形態では、電子装置10の筐体部分のスライド、軸回転又は回転によってキーにアクセスして、電子装置10の別の部分により保持されているキーを露出できるようにすることが可能である。電子装置10がこのように開かれていないとき、これらのキーはカバーされてもよい。別の実施形態では、電子装置10は、タッチスクリーン14に隣接するキーパッド(図示せず)及びボタン(図示せず)の少なくともいずれかを備えてもよく、これによってタッチスクリーン14は電子装置10の前面部分のみを占めることになる。いくつかの実施形態の中に存在しているキー、キーパッド、ボタンのうちの少なくともいずれかは、呼操作、メッセージ送信操作、インターネットの閲覧、メニューナビゲーション、ゲーム・プレイ、マルチメディアコンテンツの再生等を含む種々のユーザ入力操作を提供することも可能である。例えば、キーパッドは、電話番号、電話リスト、連絡先情報、メモ、テキスト等のような英数字情報の入力を可能にする英数字キーを含むものであってもよい。さらに、あるいは代替例において、キーとボタンの少なくともいずれかは、呼を起動するか、呼に応答するための「呼送信」キー、及び、呼を終了したり、呼を「切断」したりするための「呼終了」キーのような特殊機能キーを含んでもよい。携帯電話機に関連付けられた別のキーが音量キー、消音キー、電源オン/オフキー、ウェブブラウザ起動キー等を含んでもよい。
カメラ16は任意の適切な画像処理装置とビデオの取り込み装置の少なくともいずれかの装置であってもよい。カメラ16は一般的なカメラアセンブリとして配設することが可能であり、このカメラアセンブリには、カメラ16の視野内のシーンの一部から出る光をセンサ上へ合焦する結像光学系が含まれる。上記センサは入射光を画像データに変換する。カメラ16はレンズアセンブリのみならず、合焦用機械部、光学ズーム機構、フラッシュ、露出計等、共通してカメラと接続された他の部品などの種々の光学部品を備えてもよい。カメラ16が取り込んだ写真及び動画の少なくともいずれかに対応する静止画像ファイルとビデオファイルの少なくともいずれかのファイルは、メモリ22や別の電子格納装置(図示せず)を用いて格納することができる。
カメラの操作中、タッチスクリーン14は、共通してカメラ操作に関連付けられた種々のメニュー項目(例えばシャッター機能、カメラ/ビデオモード、ビデオ録画の開始/停止機能、フラッシュ設定、ズーム量、合焦設定、セルフタイマ、輝度レベル、ホワイトバランスレベル、解像度量、品質レベル等)を表すコンテンツの表示を行うことができる。ユーザは、タッチスクリーン14上の適切なタッチポイントにタッチすることによって、カメラ16の種々の機能の制御を行うことができる。例えば、カメラ16のシャッター機能の制御に関連付けられたタッチポイントにおいてタッチ入力を認識したとき、タッチ入力装置20は、カメラ16の視野内のシーンを表す画像をその時点で取り込むようにカメラ16にコマンドを与えることができる。一実施形態では、タッチスクリーン14上の所望の画像領域にタッチすることによって画像を取り込んでいる間、合焦すべき画像領域をユーザが設定できるようになっているタッチ・フォーカス(touch-to-focus)機能を用いて合焦機能の制御を行うことも可能である。
カメラ16は所定のフレームレートで出力画像データを生成して、電子ファインダとして動作するディスプレイ18へ供給されるプレビュービデオ信号を生成できることは理解されよう。カメラ16により生成され、かつ、ディスプレイ18上に表示されたプレビュービデオ信号によって、カメラ16の視野内のシーンの画像が動的に更新された表示がユーザに提供される。従って、ユーザは、カメラ16のシャッター機能を選択する前に、取り込むべき画像をプレビューできるようにしてもよい。一実施形態では、カメラ操作の制御用グラフィカルユーザインタフェースと連携して、ディスプレイ18上にプレビュービデオ信号を提示することが可能である。例えば、グラフィカルユーザインタフェースに関連付けられたコンテンツをディスプレイ18の1以上の周辺領域に表示してもよく、これによって表示エリアの実質的に大部分が電子ファインダ画像により占められることになる。上記とは別に、グラフィカルユーザインタフェースの少なくとも一部が電子ファインダ画像を半透明にオーバーレイすることも可能である。
典型的には、図1A及び図1Bに示されているように、ディスプレイ18はカメラ16とは反対側に設けられている。このようにして、ユーザは所望の方向にカメラ16を向けて、ディスプレイ18上のカメラ16の視野の表示を見ることが可能である。従って、カメラ16は視点すなわちパースペクティブを有することが可能である。この視点は、カメラ16の位置と、ユーザがカメラ16を向ける方向との組み合わせとなる。カメラ16の視点によって、結像光学系の特性と、ズーム量のようなカメラ16の光学設定値とが組み合わされた形でカメラ16の視野が確立される。
図1A及び図1Bに示されているように、カメラ16に加えて、電子装置10はタッチスクリーン14に隣接して配置された撮像装置24を備えてもよい。例示の実施形態の撮像装置24は、ユーザがタッチスクリーン14を見ている間ユーザの方へ向けられるカメラである。これらのタイプのカメラは、いくつかの携帯電話機上で利用可能であり、ビデオ電話(テレビテレフォニーとも呼ばれる)による通話の発信及び着信を容易にする。従って、撮像装置24は本明細書ではテレビ電話用カメラ24とも呼ぶ。撮像装置24は、撮像装置24の視野内の被写体の表示を含むビデオ信号を生成することができる。典型的には、撮像装置24の視野はカメラ16の視野から見て一般に対向する方向を有する。
一実施形態では、テレビ電話用カメラ24が生成したビデオ信号をカメラ・インタフェース・ファンクション12で分析し、検出した身体的特徴(顔又はその他の特徴)に基づいて、ユーザ検出アルゴリズムを用いてユーザの識別することが可能である。このユーザ検出アルゴリズムは、顔検出アルゴリズム、顔認識アルゴリズム、シルエット検出アルゴリズム、ユーザの存在を検出できる他の任意のタイプの技術のうちの少なくともいずれかのアルゴリズムを含んでもよい。身体的特徴の識別によって、ユーザがタッチスクリーン14と対面していることを示すことも可能である。身体的特徴が検出されなければ、ユーザはタッチスクリーン14とは対面していないと判断することができる。例えば、カメラ・インタフェース・ファンクション12は、ユーザが電子装置10の裏側にあるカメラ16と対面しているとき、顔の特徴や別の身体的特徴を何も識別できなくなることが考えられる。以下図3に関連して、ユーザ検出技術に関する追加の詳細について説明する。
例示の実施形態では、カメラ16及び撮像装置24は電子装置10の中に組み込まれたものとして示されている。一実施形態では、カメラ16と撮像装置24の少なくともいずれかは、例えば、有線接続(USB、ケーブル等)又は無線接続により電子装置10に接続された装置アクセサリであってもよい。例えば、撮像装置24は、物理的に電子装置10に装着され、かつ、電子装置10に結合されたWebカメラ等であってもよい。上記とは別に、撮像装置24は電子装置10に動作可能に結合された無線Webカメラであってもよい。別例として、カメラ14と撮像装置24の少なくともいずれかは、装置10へのアフターマーケット追加装置(after-market addition)として電子装置10内にインストールされたものであってもよい。
さらに図2を参照しながら、携帯電話機として実現された場合の電子装置10の機能について説明する。電子装置10は、電子装置10による別の機器との通信の確立を可能にする通信回路を備える。通信は呼、データ転送等を含むものであってもよい。呼は音声通話及びテレビ電話のような任意の適切な形態をとってもよい(但しこれらのみに限定されるわけではない)。これらの呼は、セルラ回線交換ネットワークを介して実行されてもよいし、あるいは、セルラネットワークのパケット交換機能を介するか、(WiFiと通常呼ばれるIEEE802.11と互換性を有するネットワークや、WiMAXと通常呼ばれるIEEE802.16と互換性を有するネットワークのような)代替のパケット交換ネットワークを介して確立されるボイス・オーバ・インターネットプロトコル(VoIP)電話を介する音声の形の呼であってもよい。データ転送は、(ストリーミングオーディオ、ストリーミングビデオ等のような)ストリーミングコンテンツを受信するステップと、(プッシュされたデータ、ポッドキャスト、リアリー・シンプル・シンジケーション(RSS)のデータフィード等の)データフィードを受信するステップと、(画像ファイル、ビデオファイル、オーディオファイル、着信音、インターネットコンテンツ等のような)データのダウンロードステップとアップロードステップの少なくともいずれかのステップと、(テキストメッセージ、インスタントメッセージ、電子メールメッセージ、マルチメディアメッセージ等の)メッセージの送受信を行うステップ等とを含んでもよい(但しこれらのステップのみに限定されるわけではない)。上記データは電子装置10により処理されてもよく、この処理には、データをメモリ22に格納する処理と、上記データとのユーザインタラクションを可能にするアプリケーションを実行する処理と、上記データに関連付けられたビデオと画像の少なくともいずれかのコンテンツを表示する処理と、上記データに関連付けられたオーディオサウンドを出力する処理等とが含まれる。
図2の実施形態では、通信回路は無線回路28と結合されたアンテナ26を備えてもよい。無線回路28はアンテナ26を介して信号を送受信するための無線周波数送受信機を備える。このようにして、無線回路28は移動通信システム30において動作するように構成されてもよい。移動無線ネットワークと放送ネットワークの少なくともいずれかのネットワークとのインタラクションを行うための無線回路の種類には、移動通信用グローバルシステム(GSM)、符号分割多元接続(CDMA)、広帯域CDMA(WCDMA)、汎用パケット無線サービス(GPRS)、WiFi、WiMAX、携帯機器向けデジタルビデオ放送(DVB−H)、一体型サービスデジタル放送(ISDB)、高速パケットアクセス(HSPA)等、並びに、これら規格又は他の任意の適切な規格の高位のバージョンが含まれる。但しこれらのみに限定されるわけではない。電子装置10は2以上の規格を用いて通信が可能なものであってもよいことを理解されたい。従って、アンテナ26及び無線回路28は単複の無線トランシーバを表す場合もあり得る。
図2に示されているように、移動通信システム30は、電子装置10による送信呼及び電子装置10へ向けられた着信呼の管理と、電子装置10へのデータ送信及び電子装置10からのデータ受信と、他の任意のサポート機能とを実行するためのサーバ34(又は複数のサーバ)を備えた通信ネットワーク32を備えてもよい。サーバ34は送信媒体を介して電子装置10との通信を行う。この送信媒体は、例えば、(セルラサービスタワー、すなわち「セル」タワーのような)通信基地局、無線アクセスポイント、衛星等を含む任意の適切な装置又はアセンブリであってもよい。通信ネットワーク32は複数の電子装置10及び別のタイプのエンドユーザ機器の通信活動をサポートすることも可能である。理解されるように、サーバ34は、サーバ機能の実行のために利用される通常のコンピュータシステムとして構成可能であると共に、サーバ34の機能を具現化する論理演算命令を含むソフトウェアを実行するように構成されたプロセッサと、このようなソフトウェアを格納するためのメモリとを備えてもよい。代替の諸構成では、電子装置10は、(別の携帯電話機やコンピュータ等の)別の電子装置10と直接、しかも中間に介在するネットワークを用いることなく無線で通信を行うことが可能である。
引き続き図2を参照すると、電子装置10は、電子装置10の機能及び動作の制御全体を実行するように構成された主制御回路36を備えてもよい。制御回路36は中央演算処理装置(CPU)、マイクロコントローラ又はマイクロプロセッサのような処理装置38を備えてもよい。電子装置10の動作を実行するために、処理装置38は、制御回路36内のメモリ(図示せず)と、メモリ22のような独立メモリとの少なくともいずれかのメモリに格納されたコードを実行する。例えば、処理装置38はカメラ・インタフェース・ファンクション12を実現するコードを実行することも可能である。メモリ22は、例えば、1以上のバッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ(RAM)、あるいは他の好適な装置であってもよい。典型的な構成では、メモリ22は、長期データ格納用の不揮発性メモリと、制御回路36用のシステムメモリとして機能する揮発性メモリとを備えてもよい。メモリ22はデータバスを介して制御回路36とデータの交換を行うことも可能である。付随する制御ライン及びアドレスバスがメモリ22と制御回路34との間に存在してもよい。
電子装置10は、無線回路28により送信され、かつ、無線回路28から受信されるオーディオ信号を処理する音声信号処理回路40もさらに備えてもよい。電子装置10を介してユーザが聴いたり、話したりできるようにするスピーカ42及びマイクロホン44が音声信号処理回路40と結合されている。無線回路28及び音声信号処理回路40は処理全体を実行できるように制御回路36と個々に結合されている。ユーザに対して再生を行うために、制御回路36から音声信号処理回路40へオーディオデータを渡すことができる。上記オーディオデータは、例えば、メモリ22により格納され、かつ、制御回路36により取り出されるオーディオファイルから得られるオーディオデータか、音声通信の形で表されるような受信済みオーディオデータか、移動無線サービスから得られるストリーミングオーディオデータを含むものであってもよい。音声信号処理回路40は任意の適切なバッファ、デコーダ、増幅器等を備えたものであってもよい。
ディスプレイ18はビデオ処理回路46によって制御回路36と結合されたものであってもよく、ビデオ処理回路46はディスプレイ18の駆動のために用いられるビデオ信号にビデオデータを変換する。ビデオ処理回路46は任意の適切なバッファ、デコーダ、ビデオデータプロセッサ等を備えてもよい。上記ビデオデータは、制御回路36により生成されるか、メモリ22内に格納されているビデオファイルから取り出されるか、無線回路28が受信した着信ビデオデータストリームから導き出されるか、あるいは別の任意の好適な方法により取得されるものであってもよい。
図2に図示のように、電子装置10は1以上の入力/出力(I/O)インタフェース48をさらに備えてもよい。I/Oインタフェース48は一般的な携帯電話機用I/Oインタフェースの形のものであってもよいし、1以上の電気コネクタを備えたものであってもよい。I/Oインタフェース48は、(コンピュータ等の)別の装置又は(個人用ハンズフリー(PHF)装置等の)アクセサリと電子装置10とをケーブルを介して接続するための1以上のデータポートを形成するものであってもよい。さらに、I/Oインタフェース48を介して動作電力を受け取るようにしてもよいと共に、電子装置10内の電力供給装置(PSU)50のバッテリを充電するための電力をI/Oインタフェース48を介して受け取るようにしてもよい。
また、電子装置10は種々のコンポーネントを備えてもよい。例えば、全地球測位システム(GPS)受信機52のような位置データ受信機が電子装置10の所在位置の決定に関与することも可能である。赤外線受信機と、(ブルートゥースチップセット等の)RF受信機の少なくともいずれかの受信機のようなローカルなインタフェース機器54を用いて、(PHF機器等の)アクセサリのような近接した機器、別のモバイル無線端末、コンピュータ又は別の機器との通信を確立するようにしてもよい。また、電子装置10は制御回路36及びメモリ22のような、電子装置10の種々のコンポーネントを計時するためのシステムクロック56を備えることも可能である。
カメラ・インタフェース・ファンクション12を再度参照すると、複数のユーザ検出技術のうちのいずれかの技術を用いて、本願に記載の機能及び動作を実行するようにしてもよい。例えば、本発明に基づいてユーザがタッチスクリーン14と対面しているかどうかの判定を行うステップの一部として、任意の適切な顔検出と顔認識の少なくともいずれかの技術を用いることができる。例えば、テレビ電話用カメラ24の出力が顔の造作に変換されるバイナリパターン分類を用いて、顔検出の実行が可能であり、分類装置により顔あるいは胴体や手のような何らかの別の身体部分が画像に含まれているかどうかの判定が行われる。
図3をさらに参照すると、テレビ電話用カメラ24が生成したビデオストリームから得た画像データを分析することにより、1つの例示の顔検出技術によって顔60が識別され、鼻64の鼻梁に関して左右対称に配置された一対の目62の存在が検出される。鼻64に関して人間の目62の対称性を決定するための1つの技術として、上記検出した顔の特徴間の構造関係を形成する技法がある。図3は、これらの特徴の存在により検出されたユーザの顔60を概略的に表す図である。例示の実施形態では、人間の目62と鼻64の先端の位置をつなぐことにより三角形66を形成することができる。例えば、三角形66が二等辺三角形であれば、カメラ・インタフェース・ファンクション12は人間の目62が鼻64に関して左右対称に配置されていること、従って、顔60がテレビ電話用カメラ24の視野に存在していることを決定することができる。
一実施形態では、(ユーザ識別情報の確認等の)顔認識のために、テレビ電話用カメラ24から得られるビデオ信号を使用することができる。開始処理中にカメラ・インタフェース・ファンクション12によって電子装置10のユーザの識別情報を取得することも可能である。例えば、上記ユーザ識別情報は、本明細書に記載のようにメモリ22に格納され、その後、メモリ22から読み出されて、カメラ・インタフェース・ファンクション12を実行することができる。採用される可能性のある例示の顔認識技術には、固有顔面(eigenfaces)法、フィッシャー顔面(fisherface)法、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合、及び3次元顔認識が含まれる。ユーザ検出技術としての顔認識の利用は或る種のシナリオでは好ましいものと考えられる。例えば、顔認識技術を用いて、ユーザとして識別された被写体が実際にユーザであって、第3者ではないことを照合したり、確認したりすることも可能である。例えば、ユーザがカメラ16と対面している場合であっても、混雑した場所では、カメラ・インタフェース・ファンクション12が、テレビ電話装置24の視野内に存在する混雑した人々の一人をユーザとして誤って識別してしまう場合が考えられる。
顔検出と顔認識の少なくともいずれかの代わりに、あるいは、顔検出と顔認識の少なくともいずれかに加えて、身体的特徴と、(顔、首、肩、上半身のような)身体部分との少なくともいずれかの識別に基づいて、ユーザがタッチスクリーン14と対面しているか否かの判定を行うようにしてもよい。一実施形態では、カメラ・インタフェース・ファンクション12はシルエット検出アルゴリズムを利用して、テレビ電話用カメラ24が生成したビデオ信号の分析を行うようにすることも可能である。例えば、ユーザは、タッチスクリーン14を見ている間、ユーザの顔から離れた方向へカメラを傾斜させる場合がある。あるいは、ユーザは、ユーザの顔の正面の中心に直接カメラが位置しないようにカメラを配置する場合もある。このように、ユーザの身体的特徴と身体部分の少なくともいずれかを識別することによって、ユーザの顔が回転したり、テレビ電話用カメラ24の視野の光軸に対して相対的な角度を成していたりするときであっても、カメラ・インタフェース・ファンクション12はユーザを検出可能である。
ユーザがタッチスクリーン14と対面しているかどうかの判定のために別の技術を採用してもよいことは理解されよう。例えば、テレビ電話用カメラ24が生成したビデオ信号に基づいて、カメラ・インタフェース・ファンクション12は、顔の表情、目の形状、口の形状、目の動き、ユーザの目の周りの肌の変化、目の特徴等を測定して、ユーザがテレビ電話用カメラ24と対面しているか、従って、タッチスクリーン14と対面しているかどうかの判定を図るようにすることも可能である。さらに、あるいは代替例において、カメラ・インタフェース・ファンクション12は、テレビ電話用カメラ24が生成したビデオ信号を分析して、特徴的に人間のものであり、従って、テレビ電話用カメラ24の視野内に在るユーザの存在を示す、画像フィールド内で動いている被写体の識別が可能となる。上記とは別に、ビデオ信号により取り込まれた被写体がテレビ電話用カメラ24の所定量の視野を占めたとき、テレビ電話用カメラ24が生成したビデオ信号に基づいて、カメラ・インタフェース・ファンクション12は、ユーザがタッチスクリーン14と対面している旨の判定を行うことができる。例えば、ユーザがタッチスクリーン14を見るとき、ユーザの顔は、通常テレビ電話用カメラ24の視野の大部分(例えば半分以上)を占めることになる。なぜなら、ユーザがテレビ電話用カメラ24のもっとも近くにある被写体であるからである。
ユーザが画像フィールド内に存在している被写体として検出されたか否かに基づいて、カメラ・インタフェース・ファンクション12は、タッチスクリーン14が動作するモードを制御することができる。一実施形態では、ユーザがカメラ16と対面している被写体として検出されなかった場合は、例えば、タッチスクリーン14上のすべてのタッチポイントをカメラ16のシャッター機能のみの制御に関連付けることができる最適化カメラモードで動作するようにタッチスクリーン14を設定することが可能である。一方、ユーザがカメラ・インタフェース・ファンクション12により検出された場合、タッチスクリーン14を設定して、例えば、タッチスクリーン14上のタッチポイントをカメラ16の種々の機能の制御に関連付けることができる通常カメラモードで動作できるようにすることも可能である。
以下の説明を通じて、ユーザ検出ベースの機能を備えたタッチスクリーン装置を用いて画像を取り込むための例示の技術について説明する。例示技術の説明を通じて、ソフトウェアの実行により部分的に実行可能なステップの説明が行われることを理解されたい。それらの各ステップは、当業者であるプログラマが記載の機能を実現するためのコードを作成する基盤を成すものである。そのため、簡潔さを旨としてコンピュータプログラムのリストについては割愛した。各ステップは、対応する機器で実行されるように構成されたアルゴリズムであると考えることができるものである。
また、電子装置10をプログラムして、カメラ・インタフェース・ファンクション12に関連付けられた論理機能を動作させ、かつ、この機能を実行する方法は、コンピュータプログラミングの当業者、及び、特に、カメラと、携帯電話機と、別の電子装置とのうちの少なくともいずれかのためにアプリケーションプログラミングを行う当業者には明らかである。従って、具体的なプログラミングコードに関する詳細については簡潔さを旨として省略した。また、実施形態に基づいて複数の機能が個々の処理装置により実行されるのに対して、上記のような機能はまた、専用のハードウェアやファームウェア、あるいは、ハードウェア、ファームウェア、ソフトウェアのうちの少なくともいずれかの何らかの組み合わせを介して実行することも可能である。
図4をさらに参照すると、カメラの操作中にタッチスクリーンの機能の変更を行う例示の方法を実行するための論理処理が示されている。この方法は例えば、カメラ・インタフェース・ファンクション12が実行されることで動作可能となる。従って、図4のフローチャートは電子装置10が実行する方法ステップを描いた図と考えることができる。図4は機能論理ブロックを実行するある特定の順序を示すものではあるが、このブロックを実行する順序は図示の順序に対して相互に変更してもよい。この論理処理は自動的に実行されるように構成されてもよいことは当業者であれば理解するであろう。さらに、ユーザインタラクションに基づいて作動可能又は作動不能するようにしてもよい。また、連続して示される2以上のブロックを同時に実行してもよいし、あるいは部分的に同時に実行してもよい。ある種のブロックは省くことも可能である。
図4に示されているように、カメラ16のスイッチをオンにするユーザコマンドが受信されると、カメラ・インタフェース・ファンクション12のための論理フローが、ブロック70から開始することができる。ユーザは、例えば、電子装置10のタッチスクリーン14上の指定タッチポイントにタッチすることにより、カメラ16のスイッチオン・コマンドを入力することができる。一実施形態では、タッチスクリーン14のタッチ入力装置20がユーザタッチ入力を受信し、コマンド信号を制御回路36に提供する。このコマンド信号に応じて、制御回路36はカメラ16を起動し、受信したコマンドをカメラ・インタフェース・ファンクション12に通知する。カメラ16は、起動すると、電子ファインダの操作用としてディスプレイ18に提供できるプレビュービデオ信号を生成する。
ブロック72において、カメラ16のスイッチをオンにするコマンドを受信したとき、カメラ・インタフェース・ファンクション12はテレビ電話用カメラ24のスイッチを自動的にオンにすることができる。テレビ電話用カメラ24は、起動されると、テレビ電話用カメラ24の視野内のシーンのある部分の動的に更新された表示を含むビデオ信号を生成するように構成されうる。カメラ・インタフェース・ファンクション12はテレビ電話用カメラ24が生成したビデオ信号を取得する。上記に示したように、テレビ電話用カメラ24が生成したビデオ信号は、カメラ16により生成され、かつ、電子ファインダ上に表示されるプレビュービデオ信号の視野から見て一般に対向する方向を有する視野を表すことができる。そのため、ユーザがテレビ電話用カメラ24と対面していれば、テレビ電話用カメラ24が生成したビデオ信号はユーザの表示を含むことができる。逆に、ユーザがカメラ16と対面していれば、カメラ16が生成したプレビュービデオ信号がユーザの表示を含むことができる。
ブロック74において、カメラ・インタフェース・ファンクション12のユーザ検出アルゴリズムにより、テレビ電話用カメラ24が生成したビデオ信号が分析され、何らかの身体的特徴(顔その他の特徴等)を画像フィールド内で識別できるかどうかの判定を行う。身体的特徴が識別された場合は、ユーザが画像フィールド内に存在し、従って、ユーザが、例えば電子装置10の顔の前面に位置するタッチスクリーン14と対面していることを示すことができる。一方、識別可能な身体的特徴がなかった場合には、ユーザが画像フィールドの範囲内に存在せず、従ってユーザは、例えば、タッチスクリーン14から見て電子装置10の裏側にあるカメラ16と対面していると判定することができる。
一実施形態では、カメラ・インタフェース・ファンクション12が画像フィールド内のユーザの存在の特定を完了するまで、あるいは、ユーザが画像フィールド内に存在していない旨の判定が完了するまで、ブロック74のユーザ検出処理を所定時間持続させてもよい。ブロック74の判定を定期的更新するようにしてもよい。例えば、5秒毎又は5秒未満の間隔で、ユーザ検出処理を実行して、ユーザ検出判定の修正を行うようにしてもよい。また、ブロック74のユーザ検出処理の実行に必要な時間を短くして、カメラ16のスイッチをオンにするコマンド入力と、(通常カメラモード又は最適化カメラモード等の)カメラ16の現在の動作モードに対応するタッチスクリーン14上のグラフィカルユーザインタフェースの表示との間の遅延にユーザがほとんど気付かないか、全く気付かないようにすることも可能である。
ブロック76において、身体的特徴が画像フィールド内に存在している旨の判定が行われた場合、タッチスクリーン14を通常カメラモードで動作するように構成することによって、カメラ・インタフェース・ファンクション12はタッチスクリーン14の機能を制御することができる。一実施形態では、通常カメラモードで動作している間は、タッチスクリーン14は、カメラ操作として一般的なシャッター機能、フラッシュ、ズーム量、合焦設定、その他の機能のうちの少なくともいずれかを含むカメラ16の種々の機能を、ユーザに操作させることができる。カメラ・インタフェース・ファンクション12は、ディスプレイ18上に表示されたコンテンツを制御することができ、それによってカメラ16の種々の機能の制御用グラフィカルユーザインタフェースがユーザに提示される。さらに、カメラ・インタフェース・ファンクション12は、適当な表示されたコンテンツの形状及びサイズに基づいて、タッチスクリーン14上でタッチポイントの形状及びサイズを制御することも可能である。そのため、タッチスクリーン14が通常カメラモードで動作しているときは、所望のカメラ機能を表すように指定されたタッチスクリーン14上の特定のポイントにユーザがタッチすることにより、複数のカメラ機能のうちの1つの機能を制御することができる。
ブロック78において、身体的特徴が画像フィールド内に存在していない旨の判定が行われた場合、カメラ・インタフェース・ファンクション12は最適化カメラモードで動作するようにタッチスクリーン14を構成することによってタッチスクリーン14の機能を制御することができる。一実施形態では、最適化カメラモードでの動作中、タッチスクリーン14全体が、カメラ16のシャッター機能を制御するためのタッチポイントとして機能する。例えば、カメラ・インタフェース・ファンクション12は、ディスプレイ18上に表示されたコンテンツの制御が可能であり、それによってシャッター機能のみの制御用グラフィカルユーザインタフェースがユーザに提示されるようになっている。さらに、カメラ・インタフェース・ファンクション12は、タッチスクリーン14の領域全体をカバーする唯一のタッチポイントを有するようにタッチスクリーン14を構成することができる。従って、タッチスクリーン14が最適化カメラモードで動作するとき、ユーザは(例えば目で見ることなく)「手探りで」タッチスクリーン14上の任意の領域にタッチすることによりシャッター機能の制御を行うことが可能である。
図5をさらに参照すると、一実施形態においては、最適化カメラモードで動作している間は、ユーザタッチ入力を介して、シャッター機能に加えて、(フラッシュのオン/オフ、ビデオ/カメラモード等の)1つ以上のカメラ機能を制御できるようタッチスクリーン14を構成するように、カメラ・インタフェース・ファンクション12が構成されうる。図5に示されるように、タッチ入力装置20はいくつかのタッチゾーン(80、82、84等)に分割された表面領域を含んでいると考えることができ、この実施形態では、個々のタッチゾーンは、特定のカメラ機能に関連付けられたユーザ入力を受信するように構成されている。例えば、シャッター機能の制御に関連付けられたタッチポイントを含むものとして1つ以上のタッチゾーン(80等)を指定することが可能である。さらに、1つ以上の追加のカメラ機能の制御に関連付けられたタッチポイントを含むものとして、1つ以上のタッチゾーン(82、84等)を指定することができる。図5は電子装置10の実施形態を示し、この実施形態では、タッチ入力装置20の表面領域は、シャッタータッチゾーン80、フラッシュタッチゾーン82、及びカメラ/ビデオタッチゾーン84に分割されている。図示されているように、シャッタータッチゾーン80は残りのタッチゾーン82、84よりも実質的に広いゾーンとする。これによって、タッチスクリーン14を介して別のカメラ機能を制御できる場合であっても、ユーザはシャッタータッチゾーン80の所在位置を容易に特定することが可能である。例えば、シャッタータッチゾーン80は、タッチ入力装置20の表面領域の少なくとも4分の3を占めるようにするとよい。
これらタッチゾーンの各々は、テキスト、画像、シンボルの少なくともいずれか又はこれらの任意の組み合わせによりラベル付けを行うことが可能であり、関連付けられたカメラ機能が特定されるようになっている。また、これらのラベルはカメラ機能の現在の設定を示すことも可能である。例えば、表示テキストは、フラッシュタッチゾーン82においてフラッシュがオンとオフのいずれになっているかを示すことができる。さらに、カメラ/ビデオタッチゾーン84においては、表示テキストは、カメラ16がスチルカメラモードとビデオカメラモードのいずれのモードで動作しているかを示すことができる。一実施形態では、カメラ16がビデオモードで動作している間は、フラッシュタッチゾーン82がタッチスクリーン14から消えるようにしてもよい。例えば、フラッシュタッチゾーン82は、カメラ/ビデオタッチゾーン84にマージされ、カメラ16のカメラ/ビデオモードの制御に関連付けられたユーザ入力を受け付けるための1つのタッチゾーンを形成するようにしてもよい。カメラ16が元のスチルカメラモードに変更されると、フラッシュタッチゾーン82はタッチスクリーン14上に再び現れる。
カメラ16のカメラ機能のうちの任意の機能又は電子装置10の他の任意の動作にタッチスクリーン14のタッチゾーンの各々を関連付け得ることは理解されよう。さらに、タッチゾーンは、タッチスクリーン14の寸法の範囲内の任意の形状又はサイズであってもよく、図5に示されるタッチゾーン80、82及び84の特定の特徴のみに限定されるわけではない。一実施形態では、所定のタッチゾーンの形状及びサイズは、タッチゾーンを表すラベルの形状及びサイズに応じて決めることができる。専ら例示を目的として、タッチゾーン80、82及び84の境界部分を示すために点線が用いられているが、ユーザに提示されるグラフィカルユーザインタフェースの一部としてこれらの点線が表示されなくてもよいことは理解されよう。
一実施形態では、タッチスクリーン14上に提示される1つ以上のカメラ機能に対応するタッチポイントにおいてユーザ入力を受信したとき、カメラ・インタフェース・ファンクション12は、対応するカメラ機能に関する情報をユーザに対して言語の形で提示する(例えば話す)ようにしてもよい。上述したようにユーザ入力はタッチ入力であってもよい。さらに、あるいは、代替例において、タッチ入力装置20は、タッチポイントの上方又はタッチポイントの近くで行われる指のホバリングをユーザ入力として認識するように構成されてもよい。例えば、スピーチアプリケーションのためにテキストを用いることにより言語の形での情報の提示が行われるようにしてもよい。(ルックアップテーブル等の)データベースを構成して、タッチスクリーン14上の個々のタッチポイントに関連するカメラ機能情報を含むようにしてもよい。このカメラ機能情報は、例えば、(フラッシュ等の)カメラ機能の名称と、(フラッシュのオン/オフ等の)カメラ機能に関連付けられたオプションとの少なくともいずれかを含むようにしてもよい。特定のタッチポイントにおいてユーザ入力を受信したとき、カメラ・インタフェース・ファンクション12は、選択されたタッチポイントに関連付けられたカメラ機能情報を検索すると共に、スピーチアプリケーションに対するテキストへこの情報を提供することができる。例えば、フラッシュタッチゾーン82内に指を置くと、ユーザは「フラッシュ・オン」という言葉を聞くことができ、それによって、カメラ16のフラッシュのスイッチオンがユーザへ示される。同様に、カメラ/ビデオタッチゾーン82内に指を置くと、ユーザは「カメラモード」という言葉を聞くことができ、それによって、カメラ16がスチルカメラモードで動作していることがユーザへ示される。従って、カメラ・インタフェース・ファンクション12は、ディスプレイ18を見ることなく、タッチスクリーン14上に提示されるカメラ機能間でのユーザによるナビゲーションを可能にすることができる。これにより、ユーザがタッチスクリーン14に手探りでアクセスすることが更に容易になる。
いくつかの状況において、ユーザが、最適化カメラモードでのタッチスクリーン14の使用を所望しない場合、及び、最適化カメラモードが不要でテレビ電話用カメラ24のスイッチをオフしてバッテリ電力の低減することを望む場合、の少なくともいずれかの場合が考えられる。一実施形態では、カメラ操作の制御時にさらに大きな柔軟性をユーザに与えるために、カメラ16の起動に際して、タッチスクリーン14は、通常のカメラ操作とユーザ検出ベースのカメラ操作との間で選択を行うオプションをユーザに提供するグラフィカルユーザインタフェースを自動的に提示することができる。通常のカメラ操作中に、電子装置10が本明細書に記載のようにカメラ・インタフェース・ファンクション12のユーザ検出技術を使用しない場合があり、従って、さらなるユーザ入力が受信されるまで、テレビ電話用カメラ24が起動されなくなる場合が考えられる。一方、ユーザ検出ベースのカメラ操作においては、本明細書に記載のユーザ検出技術を実行するために、電子装置10はテレビ電話用カメラ24を自動的に起動させることができる。上記とは別に、あるいは、上記に加えて、ユーザは、メニュー項目のリストからオプションを選択することにより、カメラ16を使用している間いつでも通常のカメラ操作とユーザ検出ベースのカメラ操作との間で切り替えることが可能である。
一実施形態では、上記のユーザ検出技術に加えて、カメラ16が生成したプレビュービデオ信号が、カメラ・インタフェース・ファンクション12により分析されると共に、ユーザが実際にカメラ16と対面し、かつ、ディスプレイ18には対面していないことの確認又は検証を行うようにすることができる。例えば、図4のブロック74において、テレビ電話用カメラ24が生成したビデオ信号の分析に基づいて、カメラ・インタフェース・ファンクション12は、テレビ電話用カメラ24の画像フィールド内において識別可能な身体的特徴が存在しない旨の判定を行うことが可能であり、この判定によって、ユーザがディスプレイ18と対面していないことが示される。本実施形態によれば、カメラ・インタフェース・ファンクション12はまた、カメラ16が生成したプレビュービデオ信号の分析を行って、身体的特徴がカメラ16の画像フィールド内において識別され得るかどうかの判定を行うようにすることも可能である。カメラ16の画像フィールド内の身体的特徴を識別することにより、ユーザがディスプレイ18と対面しておらず、カメラ16と対面している旨の確認を行うことができる。従って、対向する視点から得られる2つの異なるビデオ信号にユーザ検出処理の基礎を置くことにより、カメラ・インタフェース・ファンクション12は、ユーザが、例えば実際にカメラ16を用いて自身の写真撮影を試みている旨の検証を行うことができる。
ユーザがテレビ電話用カメラ24の視野内に存在せず、しかも、タッチスクリーン14が通常カメラモードで動作しているとき、利用可能な豊富な機能を備えたユーザインタフェースをユーザが閲覧し、かつ、このユーザインタフェースへのアクセスを所望するような状況では、上記の実施形態は望ましいものと考えられる。例えば、電子装置10がユーザの頭部の上方に保持されているとき、ユーザの身体的特徴がテレビ電話用カメラ24の視野内に存在しなくなる場合が考えられるが、それでも、電子装置10の下方にあるユーザの観点から見ると、タッチスクリーン14上に表示されたカメラユーザインタフェースを目で見、かつ、アクセスすることも依然可能である。このような状況において、ユーザは、シャッター機能のみが利用可能となる最適化カメラモードではなく、通常カメラモードでタッチスクリーン14に動作させる方を選ぶようにすることも可能である。カメラ16のビデオ信号とテレビ電話用カメラ24のビデオ信号の双方の信号を分析することにより、カメラ・インタフェース・ファンクション12は、ユーザがカメラの視野内のどこにも存在しない旨の判定を行うことが可能である。この判定に基づいて、カメラ・インタフェース・ファンクション12は、通常カメラモードで動作するようタッチスクリーン14を設定することができる。
別の実施形態では、カメラ・インタフェース・ファンクション12は、顔認識技術を利用して、ユーザがカメラ16の視野内に存在する旨の確認を行うようにしてもよい。例えば、カメラ・インタフェース・ファンクション12は、カメラ16が生成したプレビュービデオ信号の分析を行って、カメラ16の視野内の被写体をユーザの顔として認識することが可能であるかどうかの判定を行うようにすることも可能である。ユーザ検出処理の一部として顔認識を利用して、混雑した人々の一人をユーザとして誤って識別しない旨の保証をする方が混雑した場所では望ましい場合もある。また、本実施形態は、ユーザがテレビ電話用カメラ24の視野内に存在しない場合、カメラ・インタフェース・ファンクション12が、ユーザを撮影対象の被写体として識別しないようにすることも可能である。
一実施形態では、タッチスクリーン14が最適化カメラモードで動作するとき、カメラ・インタフェース・ファンクション12は、カメラ16のビデオ録画機能を制御するためのタッチポイントとしてタッチスクリーン14全体を機能させることが可能である。例えば、ユーザは、タッチスクリーン14上の任意の領域にタッチすることによって自身を撮影するビデオの録画を開始できると共に、タッチスクリーン14に再度タッチすることによりビデオの録画を停止することができる。従って、例えばセルフポートレートの取り込みを容易にするための本願に記載のこれらの技術はまた、例えば「セルフビデオ」や別のビデオの録画を容易にするように適用され得るものであるが、その場合、ユーザはタッチスクリーン14を見たり、ビデオ録画機能に関連付けられたタッチポイントの所在位置を別様に確かめたりすることはできない。
要約すると、本開示は、タッチスクリーン機能を備えた電子装置10を用いて写真撮影のための改善された技術を提供する。本明細書に記載のように、この改善された技術は、ユーザが、関連付けられたタッチポイントの所在位置を確かめるためにタッチスクリーン14を見ることができない状況において、ユーザがタッチスクリーン14上でシャッター機能に簡単にアクセスできるようにする。さらに、本開示は、写真とビデオの少なくともいずれかを一般的な方法で撮影する際に、例えば、カメラ16と対面しているとき、ユーザが自身の写真の迅速かつ簡単な撮影を可能にしながら、タッチスクリーン14と対面しているときなどに、豊富な機能を備えたカメラメニューへのユーザによるアクセスを可能にするものである。従って、本明細書に記載のように、カメラ16を用いて画像を取り込む際に、タッチスクリーン14の機能は、ユーザの操作上のニーズを満たすように自動的に構成される。
以上、好ましい実施形態を図示し、説明したが、本明細書を読み、理解するならば、添付の特許請求の範囲に属する均等物及び変更が当業者に想起されることは理解されよう。

Claims (20)

  1. 電子装置であって、
    第1のカメラであって、該第1のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を生成する第1のカメラと、
    第2のカメラであって、該第2のカメラのシャッター機能の制御に関連付けられたユーザ入力を受信したとき、前記第2のカメラの視野内のシーンの少なくとも一部を表す画像を取り込む第2のカメラと、
    前記第1のカメラから前記ビデオ信号を取得し、該ビデオ信号を分析して、前記電子装置のユーザの1以上の身体的特徴が前記第1のカメラの視野内に存在するか否かを判定するコントローラと、
    タッチ入力装置であって、前記コントローラと動作可能に結合され、前記タッチ入力装置の表面領域上においてユーザ入力を受信するための1以上のタッチポイントを含むように構成され、各タッチポイントが前記第2のカメラの複数の機能のうちのそれぞれの機能の制御に関連付けられているタッチ入力装置と、
    を有し、
    前記タッチ入力装置の前記1以上のタッチポイントのうちの少なくとも1つのタッチポイントが、前記第2のカメラの前記シャッター機能の制御に関連付けられており、かつ、前記タッチ入力装置の前記タッチポイントの総数が、前記コントローラにより実行される前記ビデオ信号の分析結果に依存して決定されることを特徴とする電子装置。
  2. 前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在しないと判定したときは、前記タッチ入力装置の表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成することを特徴とする請求項1に記載の電子装置。
  3. 前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在しないと判定したときは、前記タッチ入力装置の表面領域の主要部分を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成し、前記タッチ入力装置の表面領域の残りの部分を、タッチポイントの選択を含むように構成することを特徴とする請求項1に記載の電子装置。
  4. 前記タッチ入力装置の各タッチポイントに関連するカメラ機能情報を含むデータベースを更に有し、
    選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報が前記ユーザに対して言語の形で提示されることを特徴とする請求項3に記載の電子装置。
  5. 前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在すると判定したときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成することを特徴とする請求項1に記載の電子装置。
  6. 前記身体的特徴は、前記ユーザの1以上の顔の特徴を含むことを特徴とする請求項1乃至5のいずれか1項に記載の電子装置。
  7. 過去に取得した、前記ユーザの1以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有し、
    前記コントローラは、前記顔の特徴が前記第1のカメラの視野内に存在していると判定したときは、前記ユーザ識別情報を前記メモリから読み出して、前記第1のカメラの視野内に存在している前記顔の特徴について、前記ユーザ識別情報の中に含まれている前記1以上の顔の特徴と一致するものがあるか否かを判定することを特徴とする請求項6に記載の電子装置。
  8. 一致が得られなかった場合、前記コントローラは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成することを特徴とする請求項7に記載の電子装置。
  9. 前記タッチ入力装置の下に配置されたディスプレイを更に有し、該ディスプレイは、前記第2のカメラの視野内のシーンの少なくとも一部の表示を含むプレビュービデオ信号を表示するファインダとして構成され、
    前記コントローラは、前記プレビュービデオ信号を分析して、前記ユーザの1以上の身体的特徴が前記第2のカメラの視野内に存在するか否かを判定する
    ことを特徴とする請求項1乃至8のいずれか1項に記載の電子装置。
  10. 前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第2のカメラの視野内に存在すると判定したときは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成することを特徴とする請求項9に記載の電子装置。
  11. 前記コントローラは、前記身体的特徴が前記第1のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第2のカメラの視野内にも存在しないと判定したときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成することを特徴とする請求項9に記載の電子装置。
  12. 過去に取得した、前記ユーザの1以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有し、
    前記コントローラは、前記身体的特徴が前記第2のカメラの視野内に存在すると判定したときは、前記ユーザ識別情報を読み出して、前記第2のカメラの視野内に存在している前記身体的特徴について、前記ユーザ識別情報に含まれている前記1以上の顔の特徴と一致するものがあるか否かを判定し、
    一致が得られた場合、前記コントローラは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記1以上のタッチポイントとして動作するように構成する
    ことを特徴とする請求項9に記載の電子装置。
  13. 前記第1のカメラの視野は前記第2のカメラの視野に対して逆向きであることを特徴とする請求項1乃至12のいずれか1項に記載の電子装置。
  14. 前記コントローラは、前記第2のカメラの動作開始を要求するユーザコマンドを受信すると、前記第1のカメラの動作、及び、該第1のカメラによって生成された前記ビデオ信号の分析を自動的に開始することを特徴とする請求項1乃至13のいずれか1項に記載の電子装置。
  15. 前記第2のカメラの機能は、カメラモード、ビデオモード、フラッシュ設定、ズーム機能、及び合焦設定のうちの少なくとも1つを含むことを特徴とする請求項1乃至14のいずれか1項に記載の電子装置。
  16. 第1のカメラと、第2のカメラと、タッチ入力装置とを備えた電子装置のタッチスクリーン機能を変更する方法であって、
    前記第1のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を取得するステップと、
    前記ビデオ信号を分析して、前記電子装置のユーザの1以上の身体的特徴が前記第1のカメラの視野内に存在するか否かを判定するステップと、
    前記ビデオ信号の分析結果に基づいて、前記タッチ入力装置の表面領域上においてユーザ入力を受信するための前記タッチ入力装置上の1以上のタッチポイントであって各タッチポイントが前記第2のカメラの複数の機能のそれぞれの機能の制御に関連付けられている1以上のタッチポイントを提供するステップと、
    を有し、
    前記第2のカメラの視野内のシーンの少なくとも一部を表す画像を取り込むために、前記タッチ入力装置の前記1以上のタッチポイントのうちの少なくとも1つのタッチポイントが、前記第2のカメラのシャッター機能の制御に関連付けられている
    ことを特徴とする方法。
  17. 前記身体的特徴が前記第1のカメラの視野内に存在しないと判定されたとき、前記タッチ入力装置の表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成するステップを更に有することを特徴とする請求項16に記載の方法。
  18. 前記身体的特徴が前記第1のカメラの視野内に存在しないと判定されたとき、
    前記タッチ入力装置の表面領域の主要部分を、前記シャッター機能の制御に関連付けられた前記少なくとも1つのタッチポイントとして動作するように構成するステップと、
    前記タッチ入力装置の表面領域の残りの部分を、タッチポイントの選択を含むように構成するステップと、
    を更に有することを特徴とする請求項16に記載の方法。
  19. 前記タッチ入力装置の各タッチポイントに関連するカメラ機能情報を格納するステップと、
    選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報を前記ユーザに対して言語の形で提示するステップと、
    を更に有することを特徴とする請求項18に記載の方法。
  20. 前記身体的特徴が前記第1のカメラの視野内に存在すると判定されたときは、前記タッチ入力装置を、前記第2のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成するステップを更に有することを特徴とする請求項16に記載の方法。
JP2012501396A 2009-03-27 2009-09-16 タッチスクリーン機能を変更するためのシステム及び方法 Expired - Fee Related JP5358733B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/412,583 US8111247B2 (en) 2009-03-27 2009-03-27 System and method for changing touch screen functionality
US12/412,583 2009-03-27
PCT/IB2009/006882 WO2010109264A1 (en) 2009-03-27 2009-09-16 System and method for changing touch screen functionality

Publications (2)

Publication Number Publication Date
JP2012522415A true JP2012522415A (ja) 2012-09-20
JP5358733B2 JP5358733B2 (ja) 2013-12-04

Family

ID=41481325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012501396A Expired - Fee Related JP5358733B2 (ja) 2009-03-27 2009-09-16 タッチスクリーン機能を変更するためのシステム及び方法

Country Status (5)

Country Link
US (1) US8111247B2 (ja)
EP (1) EP2411900B1 (ja)
JP (1) JP5358733B2 (ja)
CN (1) CN102365613B (ja)
WO (1) WO2010109264A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120047514A (ko) * 2010-11-04 2012-05-14 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
JP2014502070A (ja) * 2010-10-20 2014-01-23 ヨタ デバイセズ アイピーアール リミテッド 入力手段を有する携帯機器
JP2014220819A (ja) * 2012-03-27 2014-11-20 富士フイルム株式会社 自分撮り撮影装置、自分撮り撮影方法およびプログラム
JP2015525530A (ja) * 2012-12-06 2015-09-03 小米科技有限▲責▼任公司Xiaomi Inc. ビデオ通信方法、ビデオ通信装置、プログラム及び記録媒体
JP2017511626A (ja) * 2014-01-29 2017-04-20 華為技術有限公司Huawei Technologies Co.,Ltd. モバイル端末の前面カメラと背面カメラの選択の方法及びモバイル端末
GB2594669A (en) * 2019-02-19 2021-11-03 Mitsubishi Electric Corp Semiconductor device, and manufacturing process for semiconductor device

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
GB2475212B (en) * 2008-09-15 2013-03-20 Hewlett Packard Development Co Touchscreen display with plural cameras
TWI393037B (zh) * 2009-02-10 2013-04-11 Quanta Comp Inc 光學觸控顯示裝置及其操作方法
US20100302393A1 (en) * 2009-05-26 2010-12-02 Sony Ericsson Mobile Communications Ab Self-portrait assistance in image capturing devices
KR20110015745A (ko) * 2009-08-10 2011-02-17 삼성전자주식회사 휴대용 단말기에서 터치 감도 조절 방법 및 장치
KR101589501B1 (ko) * 2009-08-24 2016-01-28 삼성전자주식회사 터치 스크린을 이용한 줌 제어 방법 및 장치
JP2011107899A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、設定変更方法及び設定変更プログラム
JP5457217B2 (ja) * 2010-02-02 2014-04-02 オリンパスイメージング株式会社 カメラ
CN101833403B (zh) * 2010-04-26 2012-09-19 鸿富锦精密工业(深圳)有限公司 基于图像识别的触摸系统
FR2960087B1 (fr) * 2010-05-12 2013-08-30 Compagnie Ind Et Financiere Dingenierie Ingenico Dispositif portable comprenant un ecran tactile et procede d'utilisation correspondant.
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US20110302491A1 (en) * 2010-06-04 2011-12-08 Research In Motion Limited Portable electronic device and method of controlling same
KR20120010764A (ko) * 2010-07-27 2012-02-06 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
US9118832B2 (en) * 2010-08-17 2015-08-25 Nokia Technologies Oy Input method
US8988512B2 (en) 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
KR101322465B1 (ko) * 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
WO2013101211A1 (en) * 2011-12-30 2013-07-04 Intel Corporation User interfaces for electronic devices
JP5563108B2 (ja) * 2012-03-27 2014-07-30 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
JP5970937B2 (ja) 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
CN102722321A (zh) * 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US20130322705A1 (en) * 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
CN104702833B (zh) * 2013-12-04 2018-02-27 联想(北京)有限公司 一种信息处理的方法及一种电子设备
WO2015143665A1 (en) * 2014-03-27 2015-10-01 Intel Corporation System and method to control a touchscreen user interface
US9258480B2 (en) 2014-03-31 2016-02-09 Facebook, Inc. Techniques to selectively capture visual media using a single interface element
US9710629B2 (en) * 2014-05-13 2017-07-18 Google Technology Holdings LLC Electronic device with method for controlling access to same
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
CN104469144B (zh) * 2014-10-31 2017-06-09 广东欧珀移动通信有限公司 拍照方法和电子设备
CN104461288B (zh) * 2014-11-28 2017-11-10 广东欧珀移动通信有限公司 使用不同视场角摄像头拍照的方法和终端
CN105183261A (zh) * 2015-10-09 2015-12-23 携程计算机技术(上海)有限公司 触控显示器及触控显示系统
CN106648361A (zh) * 2016-12-13 2017-05-10 深圳市金立通信设备有限公司 一种拍照方法及终端
CN112199016B (zh) * 2020-09-30 2023-02-21 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302958A (ja) * 2003-03-31 2004-10-28 Kyocera Mita Corp 情報入力装置及び画像形成装置
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2007006413A (ja) * 2005-06-27 2007-01-11 Sony Corp 撮像装置
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617407A (en) * 1995-06-21 1997-04-01 Bareis; Monica M. Optical disk having speech recognition templates for information access
US5794205A (en) * 1995-10-19 1998-08-11 Voice It Worldwide, Inc. Voice recognition interface apparatus and method for interacting with a programmable timekeeping device
US7019778B1 (en) * 1999-06-02 2006-03-28 Eastman Kodak Company Customizing a digital camera
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US6842652B2 (en) * 2002-02-22 2005-01-11 Concord Camera Corp. Image capture device
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
WO2004080064A1 (ja) * 2003-03-06 2004-09-16 Fujitsu Limited 情報処理装置、情報処理方法及び情報処理プログラム
CN100504487C (zh) * 2003-09-29 2009-06-24 联想(北京)有限公司 一种数码相机选择对焦区域的方法
KR100677303B1 (ko) * 2003-12-26 2007-02-05 엘지전자 주식회사 휴대 단말기
US20070040810A1 (en) * 2005-08-18 2007-02-22 Eastman Kodak Company Touch controlled display device
JP2007072578A (ja) * 2005-09-05 2007-03-22 Denso Corp 入力装置
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
US8004555B2 (en) * 2006-05-31 2011-08-23 Motorola Mobility, Inc. Methods and devices for simultaneous dual camera video telephony
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
KR101144423B1 (ko) * 2006-11-16 2012-05-10 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 화면 표시 방법
US9794348B2 (en) * 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302958A (ja) * 2003-03-31 2004-10-28 Kyocera Mita Corp 情報入力装置及び画像形成装置
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2007006413A (ja) * 2005-06-27 2007-01-11 Sony Corp 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502070A (ja) * 2010-10-20 2014-01-23 ヨタ デバイセズ アイピーアール リミテッド 入力手段を有する携帯機器
KR20120047514A (ko) * 2010-11-04 2012-05-14 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
KR101691833B1 (ko) 2010-11-04 2017-01-09 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
JP2014220819A (ja) * 2012-03-27 2014-11-20 富士フイルム株式会社 自分撮り撮影装置、自分撮り撮影方法およびプログラム
JP2015525530A (ja) * 2012-12-06 2015-09-03 小米科技有限▲責▼任公司Xiaomi Inc. ビデオ通信方法、ビデオ通信装置、プログラム及び記録媒体
US9591256B2 (en) 2012-12-06 2017-03-07 Xiaomi Inc. Methods and devices for video communication
JP2017511626A (ja) * 2014-01-29 2017-04-20 華為技術有限公司Huawei Technologies Co.,Ltd. モバイル端末の前面カメラと背面カメラの選択の方法及びモバイル端末
US9906723B2 (en) 2014-01-29 2018-02-27 Huawei Technologies Co., Ltd. Method for selection between front-facing camera and rear-facing camera of mobile terminal and mobile terminal
GB2594669A (en) * 2019-02-19 2021-11-03 Mitsubishi Electric Corp Semiconductor device, and manufacturing process for semiconductor device
GB2594669B (en) * 2019-02-19 2022-12-14 Mitsubishi Electric Corp Semiconductor device, and method of manufacturing semiconductor device

Also Published As

Publication number Publication date
US20100245287A1 (en) 2010-09-30
JP5358733B2 (ja) 2013-12-04
CN102365613B (zh) 2013-01-23
EP2411900A1 (en) 2012-02-01
CN102365613A (zh) 2012-02-29
EP2411900B1 (en) 2014-07-23
WO2010109264A1 (en) 2010-09-30
US8111247B2 (en) 2012-02-07

Similar Documents

Publication Publication Date Title
JP5358733B2 (ja) タッチスクリーン機能を変更するためのシステム及び方法
CN106341522B (zh) 移动终端及其控制方法
US11696021B2 (en) Video recording device and camera function control program
JP7005646B2 (ja) 撮影方法及び端末
CN108781271B (zh) 用于提供图像服务的方法和装置
US9116565B2 (en) Mobile terminal and method of controlling the mobile terminal
US9380433B2 (en) Mobile terminal and control method thereof
US20100138797A1 (en) Portable electronic device with split vision content sharing control and method
CN108419016A (zh) 拍摄方法、装置及终端
KR20170112491A (ko) 이동 단말기 및 그 제어방법
KR20170064242A (ko) 영상통화를 제공하는 전자 장치 및 방법
KR20190008610A (ko) 이동 단말기 및 그 제어 방법
EP2887648B1 (en) Method of performing previewing and electronic device for implementing the same
CN103324394A (zh) 用于移动终端的输入控制方法和移动终端
WO2011018683A1 (en) System to highlight differences in thumbnail images, mobile phone including system, and method
US20170277421A1 (en) Method and mobile device for adjusting multimedia
CN111880888A (zh) 预览封面生成方法、装置、电子设备及存储介质
JP2010097393A (ja) 画像表示装置及びプログラム
KR20190135794A (ko) 이동 단말기
US11681487B2 (en) Electronic apparatus and control method thereof and storage medium
CN113613053B (zh) 视频推荐方法、装置、电子设备及存储介质
US11783525B2 (en) Method, device and storage medium form playing animation of a captured image
JP7455651B2 (ja) 電子機器及びその制御方法
US20160216773A1 (en) Virtual Object Control Method and the Portable Device
EP3826282B1 (en) Image capturing method and device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R150 Certificate of patent or registration of utility model

Ref document number: 5358733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees