JP2013120468A - Electronic device, information processing method, and program - Google Patents
Electronic device, information processing method, and program Download PDFInfo
- Publication number
- JP2013120468A JP2013120468A JP2011267649A JP2011267649A JP2013120468A JP 2013120468 A JP2013120468 A JP 2013120468A JP 2011267649 A JP2011267649 A JP 2011267649A JP 2011267649 A JP2011267649 A JP 2011267649A JP 2013120468 A JP2013120468 A JP 2013120468A
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- cpu
- display
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、電子機器、情報処理方法およびプログラムに関する。 The present invention relates to an electronic device, an information processing method, and a program.
従来より、衣服を着た人を撮像して、色及び生地等を判別したり、襟及び袖等の形状を判別したりして、この衣服の種類を分類するシステムが提案されている（例えば、特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０-２６２４２５号公報
2. Description of the Related Art Conventionally, a system for classifying a type of clothes by imaging a person wearing clothes and discriminating colors, fabrics, etc., and discriminating shapes such as a collar and a sleeve has been proposed (for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2010-262425 A
しかしながら、従来のシステムでは、ユーザの衣服を撮像し分類するための設備を準備したり、カメラマンを必要としたりしなければならなく、使い勝手が悪かった。 However, in the conventional system, equipment for imaging and classifying the user's clothes must be prepared and a cameraman must be required, which is inconvenient.
本発明の第１の態様においては、表示を行なう表示部と、前記表示部が表示をしていない場合においてユーザを撮像する撮像部と、前記表示部が表示をしていない場合において前記ユーザの状態を検出する検出部と、を備える電子機器を提供する。 In the first aspect of the present invention, a display unit that performs display, an imaging unit that captures an image of the user when the display unit is not displaying, and the user of the user when the display unit is not displaying An electronic device including a detection unit that detects a state is provided.
本発明の第２の態様においては、情報を表示部に表示する表示ステップと、前記表示部が情報を表示していない場合においてユーザを撮像する撮像ステップと、前記表示部が表示をしていない場合において前記ユーザの状態を検出する状態検出ステップと、を備える情報処理方法を提供する。 In the second aspect of the present invention, a display step for displaying information on a display unit, an imaging step for imaging a user when the display unit does not display information, and the display unit not displaying And a state detection step of detecting the state of the user in some cases.
本発明の第３の態様においては、情報を表示部に表示する表示ステップと、前記表示部が情報を表示していない場合においてユーザを撮像する撮像ステップと、前記表示部が表示をしていない場合において前記ユーザの状態を検出する状態検出ステップと、をコンピュータに実行させるためのプログラムを提供する。 In the third aspect of the present invention, a display step for displaying information on a display unit, an imaging step for imaging a user when the display unit does not display information, and the display unit not displaying In some cases, there is provided a program for causing a computer to execute a state detecting step of detecting the state of the user.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、本実施形態に係る携帯端末１０の外観構成を示す。携帯端末１０は、ユーザにより携帯して用いられる情報機器である。携帯端末１０は、電話機能、インターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。携帯端末１０は、一例として、長方形の主面を有する薄板状であり、片手の手のひらで把持することができる程度の大きさである。
FIG. 1 shows an external configuration of a
携帯端末１０は、ディスプレイ１２と、タッチパネル１４と、内蔵カメラ１６と、マイク１８と、生体センサ２０とを備える。ディスプレイ１２は、当該携帯端末１０の本体の主面側に設けられる。ディスプレイ１２は、例えば当該主面の大半の領域（例えば９０％）を占める大きさを有する。ディスプレイ１２は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ１２は、一例として、例えば液晶表示素子を用いたデバイスである。
The
タッチパネル１４は、ユーザが触れたことに応じて情報を入力する。タッチパネル１４は、ディスプレイ１２上またはディスプレイ１２内に組み込まれて設けられる。従って、タッチパネル１４は、ユーザがディスプレイ１２の表面をタッチすることにより、種々の情報を入力する。
The
内蔵カメラ１６は、撮像レンズおよび撮像素子を有し、被写体を撮像する。撮像素子は、一例として、ＣＣＤおよびＣＭＯＳデバイスである。また、撮像素子は、一例として、ＲＧＢ３原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。
The built-in
内蔵カメラ１６は、当該携帯端末１０の本体におけるディスプレイ１２が設けられる面（すなわち、主面）に設けられる。従って、内蔵カメラ１６は、当該携帯端末１０のタッチパネル１４に対して操作しているユーザの顔および服装を撮像することができる。また、内蔵カメラ１６は、撮像レンズとして広角レンズを有する場合には、操作しているユーザに加えて、ユーザの近傍にいる他のユーザ（例えばユーザの隣にいる人）の顔および服装を撮像することができる。
The built-in
また、携帯端末１０は、内蔵カメラ１６に加えて、主面とは反対側に他のカメラを更に備えてもよい。これにより、携帯端末１０は、ユーザとは反対側に位置する被写体を撮像することができる。
In addition to the built-in
マイク１８は、当該携帯端末１０の周囲の音声を入力する。マイク１８は、一例として、当該携帯端末１０の本体における主面の下方側に設けられる。これにより、マイク１８は、ユーザの口と対向する位置に配置されて、ユーザが話す音声を入力しやすくなる。
The
生体センサ２０は、当該携帯端末１０を保持するユーザの状態を取得する。生体センサ２０は、一例として、ユーザの体温、血圧、脈拍および発汗量等を取得する。また、生体センサ２０は、一例として、ユーザが当該生体センサ２０を保持している力（例えば握力）を取得する。
The
生体センサ２０は、一例として、特開２００５−２７０５４３号公報に開示されているように、発光ダイオードによりユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出する。また、生体センサ２０は、一例として、特開２００５−２７０５４３号公報に開示されているような腕時計型の生体センサにより検出された情報を取得してもよい。
As an example, as disclosed in Japanese Patent Laid-Open No. 2005-270543, the
また、生体センサ２０は、携帯端末１０の本体の長辺側の側部の２箇所に設けられた圧力センサを含んでもよい。このように配置された圧力センサは、ユーザが当該携帯端末１０を保持したことおよび当該携帯端末１０を保持する力を検出することができる。
In addition, the
また、生体センサ２０は、このような圧力センサによりユーザが当該携帯端末１０を保持したことを検出してから、他の生体情報の取得を開始してもよい。また、携帯端末１０は、電源がオンとなっている状態において、このような圧力センサによりユーザが当該携帯端末１０を保持したことを検出してから、他の機能をオンとしてもよい。
In addition, the
図２は、本実施形態に係る携帯端末１０の機能構成を示す。携帯端末１０は、図１に示した構成に加えて、ＣＰＵ（Central Processing Unit）２２と、ＧＰＳ（Global Positioning System）モジュール２４と、温度計２６と、カレンダー部２８と、不揮発性メモリ３０と、音声解析部３２と、画像分析部３４と、通信部３６とを備える。
FIG. 2 shows a functional configuration of the
ＣＰＵ２２は、当該携帯端末１０の全体を制御する。ＣＰＵ２２は、携帯端末１０の全体を制御する。本実施の形態においては、ＣＰＵ２２は、ユーザの服装、ユーザのいる場所、ユーザが一緒にいる人およびユーザの言葉遣い等に応じてユーザに情報を提供するための制御を行う。
The
ＧＰＳモジュール２４は、当該携帯端末１０の位置（例えば緯度および経度）を検出する。ＣＰＵ２２は、ＧＰＳモジュール２４により検出されたユーザのいる位置の履歴を取得して、不揮発性メモリ３０に記憶させる。これにより、ＣＰＵ２２は、ユーザの行動範囲を検出することができる。例えば、ＣＰＵ２２は、ＧＰＳモジュール２４により検出された位置に基づき、平日の午前９時から午後６時までのユーザの行動範囲をビジネスでの行動範囲（ビジネス領域）として登録し、平日の午前９時から午後６時までのビジネス時間帯以外の時間帯における行動範囲をプライベートの行動範囲として登録する。
The
温度計２６は、携帯端末１０の周囲の温度を検出する。なお、温度計２６は、生体センサ２０によるユーザの体温を検出する機能と兼用される構成であってもよい。
The
カレンダー部２８は、年、月、日、時刻といった時間情報を取得して、ＣＰＵ２２に出力する。さらに、カレンダー部２８は、計時機能を有する。
The
不揮発性メモリ３０は、フラッシュメモリ等の半導体メモリである。不揮発性メモリ３０は、ＣＰＵ２２によって実行される当該携帯端末１０を制御するためのプログラム、および、当該携帯端末１０を制御するための各種パラメータ等を記憶する。さらに、不揮発性メモリ３０は、ユーザのスケジュール、各種センサが検出した各種データ、ユーザが登録した顔データ、顔表情データ、および、服装に関するデータ等を記憶する。
The
このうち、顔表情データには、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている表情等を表すデータが含まれる。また、服装データには、各服装（スーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート等）を識別するための画像データが含まれる。また、服装データは、フォーマルな服装（例えばスーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート）と、カジュアルな服装（例えばポロシャツ、Ｔシャツ、ダウンジャケット）とを識別するための画像データであってもよい。また、それぞれの服装の特徴的な形状（例えば、襟部分の形状）を不揮発性メモリ３０に記憶させておいてもよい。
Of these, the facial expression data includes data representing a smile, a crying face, an angry face, a surprised face, a facial expression with an eyebrows between the eyebrows, and the like. Also, the clothing data includes image data for identifying each clothing (suit, jacket, Japanese clothes, tie, pocket chief, coat, etc.). The clothes data is image data for identifying formal clothes (for example, suits, jackets, Japanese clothes, ties, pocket chiefs, coats) and casual clothes (for example, polo shirts, T-shirts, down jackets). Also good. Further, the characteristic shape of each clothing (for example, the shape of the collar portion) may be stored in the
また、不揮発性メモリ３０は、敬語の使い方および挨拶の表現等の言葉の表現例を記憶してもよい。本実施の形態においては、ＣＰＵ２２は、例えば、敬語を使わなければならない状況において、不揮発性メモリ３０に記憶された敬語の表現を読み出してディスプレイ１２に表示する。また、ＣＰＵ２２は、斎場等にいる状況においては、ＣＰＵ２２は、不揮発性メモリ３０に記憶されたお悔やみの言葉の表現を読み出して、ディスプレイ１２に表示する。
The
音声解析部３２は、マイク１８から取り込まれる音声の特徴を解析する。音声解析部３２は、一例として、音声認識辞書を有し、識別した音声をテキストデータに変換してディスプレイ１２に表示する。また、携帯端末１０に音声認識プログラムがインストールされている場合には、音声解析部３２は、ＣＰＵ２２によりこのような音声認識プログラムを実行した結果を取得して、音声認識をしてもよい。
The
また、音声解析部３２は、入力した音声に含まれる言葉の内容が、丁寧な言葉（例えば、敬語、丁寧語および謙譲語等）であるか、日常語（平語）であるか、または、それ以外の砕けた言葉であるかを分類する。本実施の形態においては、音声解析部３２は、丁寧な言葉（敬語、丁寧語および謙譲語）を第１の分類、日常語を第２の分類、それ以外の言葉を第３の分類とする。音声解析部３２は、第３の分類に属する言葉遣いを検出した場合には、ユーザがリラックスしている状態であったり、親密度が高い人と会話している状態であったりすることを認識できる。
Further, the
また、音声解析部３２は、一例として、言葉遣いの分類を、会話の語尾の内容に応じて判断する。音声解析部３２は、一例として、"おはようございます"というように、語尾が"ございます（です、ます）"であれば第１の分類とする。また、音声解析部３２は、一例として、"おはよう"というように、語尾が"です、ます"ではなく、音声認識辞書に登録されている言葉であれば第２の分類とする。また、音声解析部３２は、"おはー"というように、音声認識辞書に登録されていない言葉であれば、第３の分類とする。
Moreover, the
画像分析部３４は、内蔵カメラ１６が撮像した画像を分析する。画像分析部３４は、内蔵カメラ１６が撮像した画像に加えて、タッチパネル１４と反対面側に設けられたカメラが撮像した画像を分析してもよい。
The
画像分析部３４は、一例として、顔認識部４２、表情検出部４４、および服装検出部４６を有する。顔認識部４２は、内蔵カメラ１６が撮像した画像に、顔が含まれているか否かを検出する。さらに、顔認識部４２は、画像に顔を検出した場合には、検出した顔の部分の画像データと、不揮発性メモリ３０に記憶されているユーザの顔の画像データとを比較（例えばパターンマッチング）して、内蔵カメラ１６が撮像した人を認識する。内蔵カメラ１６は、ディスプレイ１２と同じ側の面に設けられているので（言い換えると、タッチパネル１４と同じ側の面に設けられているので）、ユーザおよびユーザの隣にいる人の顔を撮像することができる。従って、顔認識部４２は、ユーザおよびユーザの隣にいる人の顔を認識することができる。
As an example, the
表情検出部４４は、顔認識部４２により認識された顔の画像データと、不揮発性メモリ３０に記憶されている顔表情データと比較して、内蔵カメラ１６が 撮像した人（例えばユーザおよびユーザの隣にいる人）の表情を検出する。なお、表情検出部４４は、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている顔、緊張している顔、および、リラックスしている顔等の表情を検出する。不揮発性メモリ３０は、これらの複数の表情データを記憶する。笑顔検出の方法は、一例として、米国公開特許２００８−０３７８４１号に開示されている。また、眉間の皺の検出の方法は、一例として、米国公開特許２００８−２９２１４８号に開示されている。
The facial
服装検出部４６は、内蔵カメラ１６により撮像されたユーザの服装が、どのような服装であるかを検出する。服装検出部４６は、撮像された画像に含まれている服装の箇所の画像データと、不揮発性メモリ３０に予め登録されている服装の画像データとをパターンマッチングして服装を検出してもよい。さらに、服装検出部４６は、ユーザの服装の種別を判断する。本実施の形態においては、服装検出部４６は、ユーザの服装が、フォーマルな服装か、カジュアル（インフォーマル）な服装かを判断する。
The
顔認識部４２により顔が含まれていると判断された画像は、認識した顔の下方部分に服装を含む。従って、服装検出部４６は、一例として、顔認識部４２により認識された顔の下方部分の予め定められた範囲の画像と、不揮発性メモリ３０に記憶されている服装データ（画像データ）とをパターンマッチングすることにより、ユーザの服装を検出することができる。
The image determined to contain the face by the
また、服装検出部４６は、携帯端末１０を操作しているユーザの服装を検出および服装の種別を判断する。これに加えて、画像内に他のユーザが含まれている場合には、服装検出部４６は、ユーザ以外の人の服装の種別を判断してもよい。例えば、服装検出部４６は、画像内に複数の人が含まれている場合には、これら複数人のグループが、フォーマルな服装のグループかカジュアルな服装のグループかを判別してもよい。また、服装検出部４６は、内蔵カメラ１６の撮像素子から検出された色信号に基づいて、服装の種別を分類してもよい。服装検出部４６は、黒、紺、グレー、ベージュといったような落ち着いた感じの色合いが多い服装の場合には、フォーマルな服装であると判断し、赤、青、黄色といったような鮮やかな色合いが多い場合にはカジュアルな服装であると判断する。
In addition, the
通信部３６は、ネットワーク上のサーバおよび他の携帯端末と通信する。通信部３６は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信を実現するＢｌｕｅｔｏｏｔｈ（登録商標）ユニット、及び、Ｆｅｌｉｃａ（登録商標）チップ等を有し、サーバおよび他の携帯端末と通信する。
The
図３は、本実施形態に係る携帯端末１０の制御フローを示す。図４は、図３に続く制御フローを示す。
FIG. 3 shows a control flow of the
携帯端末１０は、ユーザにより操作が開始されると、図３および図４に示す処理を実行する。携帯端末１０は、一例として、ユーザが当該携帯端末１０を保持したことを生体センサ２０が検出したこと、および、ユーザがタッチパネル１４に触れたこと等を条件として、ユーザにより操作が開始されたと判断する。
When the operation is started by the user, the
まず、ＣＰＵ２２は、カレンダー部２８から、操作が開始された年月日および時刻を取得する（ステップＳ１１）。本例においては、ＣＰＵ２２は、１０月の平日の午前１１時３０分であることを取得したとする。
First, the
続いて、ＣＰＵ２２は、各種センサから周辺情報を取得する（ステップＳ１２）。ＣＰＵ２２は、一例として、ＧＰＳモジュール２４から位置情報を取得するとともに、温度計２６から温度情報を取得する。また、ＣＰＵ２２は、一例として、温度情報に加えて不図示の湿度計により湿度情報を取得してもよい。本例においては、ＣＰＵ２２は、ＧＰＳモジュール２４から位置情報を取得し、温度計２６から２０度の温度情報を取得したとする。
Subsequently, the
続いて、ＣＰＵ２２は、ユーザの生体情報を取得する（ステップＳ１３）。ＣＰＵ２２は、一例として、生体センサ２０からユーザの体温、脈拍および血圧等を取得する。本例においては、ＣＰＵ２２は、生体センサ２０から、通常時よりも高い脈拍および血圧を取得し、手から発汗があることを取得したとする。なお、ステップＳ１１、Ｓ１２およびＳ１３の処理順序は適宜入れ替えてもよい。
Then, CPU22 acquires a user's biometric information (Step S13). CPU22 acquires a user's body temperature, a pulse, blood pressure, etc. from the
続いて、ＣＰＵ２２は、取得した年月日および時刻、周辺情報および生体情報に基づき、撮像タイミングであるか否かを判断する（ステップＳ１４）。ＣＰＵ２２は、一例として、年月日および時刻、周辺情報および生体情報が予め設定された条件に一致している場合に、撮像タイミングであると判断する。例えば、ＣＰＵ２２は、ビジネス領域の時間帯であり、且つ、ユーザが緊張していると判断される生体情報が検出された場合、撮像タイミングであると判断してもよい。また、ＣＰＵ２２は、ＧＰＳモジュール２４の出力に基づいて、ユーザが初めて訪れる場所にいたり、久しぶりに訪れる場所（最後に訪れてから一定期間以上経過した場所）にいたりする場合に撮像タイミングを判断してもよい。
Subsequently, the
ＣＰＵ２２は、撮像タイミングであれば（ステップＳ１４のＹｅｓ）、処理をステップＳ１５に進める。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ１４のＮｏ）、処理をステップＳ１１に戻して、例えば一定時間後にステップＳ１１から処理を繰り返す。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ１４のＮｏ）、本フローを抜けて処理を終了してもよい。
If it is imaging timing (Yes of step S14), CPU22 will advance a process to step S15. Moreover, if it is not an imaging timing (No of step S14), CPU22 will return a process to step S11 and will repeat a process from step S11, for example after a fixed time. Further, the
続いて、ＣＰＵ２２は、撮像タイミングと判断した場合、内蔵カメラ１６によりユーザおよびユーザの近傍を撮像する（ステップＳ１５）。これとともに、ＣＰＵ２２は、マイク１８によりユーザの周囲の音声を取得する。
Subsequently, when determining that it is the imaging timing, the
続いて、画像分析部３４は、内蔵カメラ１６により撮像した画像を分析して、撮像した画像に含まれる顔を認識する（ステップＳ１６）。画像分析部３４は、一例として、撮像した画像に含まれる顔の画像データと、不揮発性メモリ３０に記憶されている顔データとを比較して、当該携帯端末１０を操作しているユーザを認識する。さらに、画像分析部３４は、撮像した画像の中に、ユーザ以外の他の人の顔が含まれている場合には、更に、その他の人の顔を認識する。本例においては、画像分析部３４は、男性のユーザの顔を認識したとする。さらに、本例においては、画像分析部３４は、ユーザの隣に顔があることは検出したが、ユーザの隣の人の顔の認識はできなかったとする。
Subsequently, the
続いて、画像分析部３４は、ユーザの身なりを解析する（ステップＳ１７）。画像分析部３４は、一例として、ユーザの服装を検出して、ユーザの服装の種別を分類する。画像分析部３４は、一例として、ユーザの服装が、フォーマルな服装か、カジュアルな服装かを判断する。この場合、画像分析部３４は、一例として、撮像した画像における顔と認識された箇所の下の領域と、予め登録されている服装データとをパターンマッチングすることにより、ユーザの服装の種別を分類する。画像分析部３４は、一例として、撮像した画像における顔と認識された箇所の下の領域の色合いを検出して、ユーザの服装の種別を分類する。また、画像分析部３４は、不揮発性メモリ３０に記憶された服装の特徴的な形状とのパターンマッチングにより、ユーザの服装の種別を分類してもよく、上述の分類方法を組み合わせてもよい。
Subsequently, the
続いて、ＣＰＵ２２は、ユーザの状況を分析する（ステップＳ１８）。ＣＰＵ２２は、ユーザの身なりに応じて、ユーザの状況を判断する。ＣＰＵ２２は、一例として、ユーザの服装がフォーマルな服装であればビジネスの状況であると判断し、ユーザの服装がカジュアルな服装であればプライベートの状況と判断する。
Subsequently, the
更に、ＣＰＵ２２は、一例として、年月日および時刻からユーザの状況を判断してもよい。ＣＰＵ２２は、一例として、平日の午前９時から午後６時までの間であればビジネスの状況と判断し、それ以外の時間帯であればプライベートの状況と判断する。
Furthermore, CPU22 may judge a user's condition from a date and time as an example. As an example, the
また、更に、ＣＰＵ２２は、一例として、ユーザの位置に応じて状況を分析してもよい。ＣＰＵ２２は、一例として、会社の近傍にいる場合にはビジネスの状況と判断し、ユーザが自宅近傍にいる場合にはプライベートの状況と判断する。
Furthermore, CPU22 may analyze a condition according to a user's position as an example. As an example, the
また、更に、ＣＰＵ２２は、一例として、生体情報からユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、血圧、脈拍および手の汗が平常時より高い場合には緊張した状況であると判断する。
Furthermore, CPU22 may analyze a user's condition from biometric information as an example. As an example, the
また、更に、ＣＰＵ２２は、一例として、認識されたユーザの顔の表情からユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、ユーザが緊張した表情をしている顔の場合には緊張した状況であると判断し、リラックスした表情をしている場合にはリラックスした状況であると判断する。
Further, as an example, the
また、更に、ＣＰＵ２２は、一例として、マイク１８により取得した音声から解析されたユーザまたはユーザの近くにいる人の言葉遣いに基づきユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、ユーザの話した言葉の語尾が第１の分類であればビジネスの状況と判断し、第２の分類であれば友人と会っている状況であると判断し、第３の分類であれば更に親密な友人と会っている状況と判断する。本例においては、ＣＰＵ２２は、ユーザが"お好きな食べ物は何ですか"という言葉を発したことを検出し、語尾に"です"があるので第１の分類と判断したとする。
Furthermore, CPU22 may analyze a user's condition based on the user's wording analyzed from the audio | voice acquired with the
また、ＣＰＵ２２は、以上の判断結果を総合して更に詳細にユーザの状況を判断してもよい。本例においては、ＣＰＵ２２は、ユーザが平日の午前中（ビジネスタイム）にフォーマルな服装でビジネス領域にいて、緊張した状態であまり面識のない人（親密度が高くない人）に対して丁寧な言葉遣いをしている状況である、との分析結果を取得したとする。
Further, the
ユーザの状況の判断が終了すると、続いて、ＣＰＵ２２は、ユーザの操作が、通信部３６を用いてネットワークから情報を検索して取得するための検索操作か否かを判断する（ステップＳ１９）。ＣＰＵ２２は、ユーザの操作が検索操作の場合（ステップＳ１９のＹｅｓ）、処理をステップＳ２０に進め、ユーザの操作が検索操作では無い場合（ステップＳ１９のＮｏ）、処理をステップＳ２１に進める。
When the determination of the user status is completed, the
ＣＰＵ２２は、ユーザの操作が検索操作の場合（ステップＳ１９のＹｅｓ）、ユーザが検索のために入力した検索キーワードに、ユーザの状況に対応するキーワードを追加して検索を実行する（ステップＳ２０）。これにより、ＣＰＵ２２は、ネットワークから、ユーザの状況に適した情報をユーザに対して提供することができる。
When the user's operation is a search operation (Yes in step S19), the
本例の場合においては、ＣＰＵ２２は、ユーザが入力した"ランチ"という検索キーワードに、服装から判断されるユーザの状況を表す"フォーマル"というキーワードを追加して、検索を実行する。これにより、ＣＰＵ２２は、ネットワークから、フォーマルな状況に適したランチを食べるためのお店等の情報を取得することができる。
In the case of this example, the
また、ＣＰＵ２２は、ユーザの服装により判断される状況に代えて、ユーザの言葉遣いの違いにより判断された状況に応じてキーワードを追加してもよい。ＣＰＵ２２は、一例として、ユーザがフォーマルな格好をしている場合であっても、ユーザの語尾が第２の分類または第３の分類である場合には、例えば"ファーストフード"または"ファミリー向け"といったキーワードを追加して検索を実行する。
Further, the
また、音声解析部３２がユーザの言葉の中から"食事"という用語を特定した場合において、ユーザがタッチパネル１４により検索メニューを操作したことに応じて、ＣＰＵ２２は、ディスプレイ１２に"ランチの検索をしますか？"というような、特定した用語に応じたメッセージを表示してもよい。また、ＣＰＵ２２は、生体センサ２０が検出した生体情報からユーザが焦っている状態（交感神経が活発となり血圧および心拍数が上昇したり、発汗したりする状態）と判断した場合は、ソフトウェアによる処理によりタッチパネル１４の感度を敏感にしたり、ディスプレイ１２に表示する文字を大きくしてもよい。
In addition, when the
一方、ＣＰＵ２２は、ユーザの操作が検索操作ではない場合（ステップＳ１９のＮｏ）、ユーザに対してアドバイスを表示するタイミングか否かを判断する（ステップＳ２１）。ＣＰＵ２２は、一例として、ユーザがタッチパネル１４を操作中であって入力量（操作量）が予め設定された量よりも多い場合、アドバイスを表示するタイミングではないと判断する。また、ＣＰＵ２２は、一例として、生体センサ２０の検出結果に基づき、ユーザの感情および心情の変化が少ない状態の場合に、アドバイスを表示するタイミングであると判断する。また、反対に、ＣＰＵ２２は、一例として、ユーザの感情および心情の変化が大きい場合に、アドバイスを表示するタイミングであると判断する。
On the other hand, when the user's operation is not a search operation (No in step S19), the
ＣＰＵ２２は、アドバイスを表示するタイミングであると判断した場合（ステップＳ２１のＹｅｓ）、処理をステップＳ２２に進める。また、ＣＰＵ２２は、アドバイスを表示するタイミングではないと判断した場合（ステップＳ２１のＮｏ）、ステップＳ２２をスキップして、処理をステップＳ２３に進める。なお、ステップＳ２１においてアドバイスを表示するタイミングではないと判断した場合、ＣＰＵ２２は、アドバイスを表示するタイミングとなるまで、当該ステップＳ２１で処理を一定時間繰り返してもよい。
If the
続いて、ＣＰＵ２２は、ステップＳ１８で判断したユーザの状況に応じた内容のアドバイスをディスプレイ１２に表示する（ステップＳ２２）。ＣＰＵ２２は、一例として、ユーザの状況に応じて、会話の参考となる話題に関する情報を表示する。これにより、ＣＰＵ２２は、例えばユーザがあまり面識の無い人と緊張した状態でランチを取っている場合等において、適切な話題の情報をユーザに提供することができる。より具体的には、ＣＰＵ２２は、フォーマルな服装でビジネスの状況でランチを取っている場合には、政治、経済、事件等のニュースを表示する。さらに、ＣＰＵ２２は、ユーザの会話の中から特定したキーワードに基づき情報を提供してもよい。この場合、例えばユーザの会話中から"為替"というキーワードが特定された場合には、ＣＰＵ２２は、最新の為替レート等を表示する。
Subsequently, the
また、ユーザがカジュアルな服装をしていてもあまり面識のない人と一緒になり、会話が弾まない場合がある。このような場合、ＣＰＵ２２は、一例として、カレンダー部２８から取得した日時から時節の話題に関する情報を表示したり、ＧＰＳモジュール２４からの位置情報に基づき近隣の話題に関する情報を表示したりしてもよい。
In addition, even if the user is wearing casual clothes, the user may not be able to play a conversation with a person who is not very acquainted. In such a case, for example, the
また、更に、ＣＰＵ２２は、服装検出部４６が検出した服装に応じた話題の情報を表示してもよい。例えば、ユーザが白いネクタイを着用しており、ＧＰＳモジュール２４から検出された位置情報および地図情報に基づきユーザが結婚式場の近くにいると判断した場合には、ＣＰＵ２２は、通信部３６を用いて外部サーバから結婚に関する情報を取得してこれらの情報を表示したり、不揮発性メモリ３０に記憶されているお祝いの言葉、スピーチ例、マナーに関する情報等を表示したりする。また、例えば、ユーザが黒いネクタイをしており、ＧＰＳモジュール２４からの位置情報および地図情報に基づきユーザが斎場の近くにいると判断した場合に、ＣＰＵ２２は、不揮発性メモリ３０に記憶されているお悔やみの言葉および気をつける事項の情報（使わない方がよい用語およびマナー等の情報）を表示する。
Further, the
なお、ＣＰＵ２２は、当該携帯端末１０に対して予め定められたアクションをした場合（例えば、例えば当該携帯端末１０を予め定められた力以上で握った場合）、情報の表示タイミングであると判断して、情報を表示してもよい。また、ＣＰＵ２２は、検索結果を取得したことに応じて、不図示のバイブレータ機能により、ユーザに情報検索ができたことを報知するようにしてもよい。
When the
続いて、ＣＰＵ２２は、ユーザが携帯端末１０の操作を続けているかどうかを判断する（ステップＳ２３）。ＣＰＵ２２は、一例として、内蔵カメラ１６がユーザを撮像し続けている場合、ユーザが操作を続けていると判断してもよい。ユーザが携帯端末１０の操作を続けている場合には、ＣＰＵ２２は、ステップＳ１１に戻り処理を繰り返す。そして、ＣＰＵ２２は、ユーザが操作を終了した場合には、ユーザによる携帯端末１０の操作時間、ステップＳ１８で分析されたユーザの状況、検索結果、アドバイス情報等を不揮発性メモリ３０に記録して（ステップＳ２４）、本フローを抜けて処理を終了する。
Subsequently, the
なお、ＣＰＵ２２は、ステップＳ２４において、認識された顔データのうちの不揮発性メモリ３０に顔データが未だ登録されていない人について、不揮発性メモリ３０に顔データを記録してもよい。これにより、ＣＰＵ２２は、ユーザが次にその人に会った場合において、その人の顔認識に活用することができる。
Note that the
また、ＣＰＵ２２は、ステップＳ２４において、ユーザの言葉遣いの分類を、相手の人と対応付けて記録してもよい。そして、ＣＰＵ２２は、同一の人との会話において、過去に使っていた言葉の言葉遣いの分類と、今回使った言葉の言葉遣いの分類とが異なる場合、ユーザに報知をしてもよい。例えば、ＣＰＵ２２は、同一の人との会話において、ユーザの言葉遣いが第１の分類から第２の分類に変化した場合、ユーザに報知をしてもよい。これにより、ＣＰＵ２２は、そのユーザと何回か会ううちに打ち解けてきたことをユーザに知らせることができる。また、ＣＰＵ２２は、その相手の言葉遣いも記録してもよい。この場合において、ＣＰＵ２２は、ユーザ自身の言葉遣いの分類と、相手の言葉遣いの分類とに相違がある場合、バランスが取れていない旨を報知してもよい。
In step S24, the
また、ＣＰＵ２２は、図３および図４に示すフローチャートの処理を、ユーザが１人でいる場合に実行してもよい。例えば、ＣＰＵ２２は、ユーザが１人でいる場合にユーザの服装に応じた情報を表示してもよい。より具体的には、ＣＰＵ２２は、一例として、ユーザが自宅におり室温が１５度を下回っているのに半袖の服装でいる場合には、"薄着である旨"をディスプレイ１２に表示する。また、ＣＰＵ２２は、一例として、気温が３０度を超えるような場合に、"水分補給をする旨"をディスプレイ１２に表示する。
Further, the
図５は、変形例に係る携帯端末１０の外観構成を示す。なお、本変形例に係る携帯端末１０は、図１から図４を参照して説明した携帯端末１０と略同一の構成および機能を採るので、同一の構成要素には同一符号を付けて以下相違点を除き説明を省略する。
FIG. 5 shows an external configuration of the
本変形例に係る携帯端末１０は、図１に示した構成に加えて、ミラーフィルム５０を更に備える。ミラーフィルム５０は、ディスプレイ１２の表面に、例えば接着により貼り付けられている。ミラーフィルム５０は、反射性を有する透過性フィルムであり、裏面（ディスプレイ１２）側から照射された光を表面側に透過するが、裏面（ディスプレイ１２）側から光が照射されていない場合には反射面として機能する。
The
従って、このようなミラーフィルム５０を備える携帯端末１０は、ディスプレイ１２から光が発光されていない状態においては（例えば、当該携帯端末１０の電源がオフの場合）、化粧をするための小型の鏡として機能する。なお、携帯端末１０は、ミラーフィルム５０に代えて、ディスプレイ１２と同一面であって、ディスプレイ１２とは異なる場所に設けられた鏡を備えてもよい。
Therefore, the
図６は、本変形例に係る携帯端末１０の機能構成を示す。本変形例に係る携帯端末１０は、図２に示した構成に加えて、バックライト５２を更に備える。また、本変形例において、画像分析部３４は、図２に示した構成に加えて、顔分析部５４を更に有する。
FIG. 6 shows a functional configuration of the
バックライト５２は、光源を有し、液晶表示部等であるディスプレイ１２に対して画面裏側から光を照射する。バックライト５２は、ＣＰＵ２２により光源のオンおよびオフの切り換えおよび光量の制御がされる。より具体的には、ＣＰＵ２２は、ユーザがタッチパネル１４を操作している場合、および、ディスプレイ１２に情報を表示する場合、バックライト５２をオンにして、ディスプレイ１２の視認性を向上させる。また、ＣＰＵ２２は、ユーザがタッチパネル１４を操作していない場合、バックライト５２をオフにする。また、ＣＰＵ２２は、バックライト５２をオフする操作をした場合、バックライト５２をオフにする。
The
顔分析部５４は、内蔵カメラ１６の撮像結果および内蔵カメラ１６の撮像素子からの色信号の変化から、ユーザの顔に関する変化を分析する。顔分析部５４は、一例として、化粧崩れがあるかを分析する。より具体的には、顔分析部５４は、顔にテカリがあるかどうか、および、口紅の色落ちがあるかどうか等を分析する。なお、顔のテカリ検出方法は、例えば、特許第４３９６３８７号明細書に開示されている。
The
また、顔分析部５４は、自宅を出る前（例えば通勤の前）に撮像したユーザのカラーの顔画像を基準として、この顔画像から唇部分に色変化が生じているか否かを判断して、口紅の色落ちを検出する。また、顔分析部５４は、ユーザの日々の顔画像のデータおよび口紅の状態を不揮発性メモリ３０に記憶させておき、この不揮発性メモリ３０のデータとの撮像されたユーザの顔画像とを比較して、口紅の色落ちを検出してもよい。
Further, the
図７は、ユーザが保有する服装の画像データおよびログを記述したテーブルの一例を示す。本変形例において、不揮発性メモリ３０には、ユーザが保有している複数の服装の画像データが記憶されている。例えば、不揮発性メモリ３０には、ユーザが保有している、スカート、ブラウスおよびコート等の画像データが記憶されている。
FIG. 7 shows an example of a table describing image data and logs of clothes held by the user. In this modification, the
ＣＰＵ２２は、不揮発性メモリ３０に、新たな服装の画像データを適宜追加する。ＣＰＵ２２は、一例として、ユーザがネットワーク等を介してオンラインショップで服を購入した場合に、その服の画像および名称等を不揮発性メモリ３０に登録する。また、ＣＰＵ２２は、ユーザが新たな服を撮像した場合、その撮像した服の画像および名称等を不揮発性メモリ３０に登録する。また、服装には、服のみならず、アクセサリ、帽子、靴およびカバン等を含んでいてもよい。
The
また、不揮発性メモリ３０には、それぞれの服装に対応して、第１のログおよび第２のログが登録されている。第１のログには、当該服装の着用頻度が含まれる。第１のログには、一例として、月毎の着用頻度および季節毎の着用頻度が含まれる。また、第２のログには、当該服装のユーザのお気に入り度が含まれる。第２のログには、一例として、１から９までの数値でお気に入り度が表されている。なお、第１のログおよび第２のログの更新については、次のフローの説明において行う。
In addition, in the
図８は、本実施形態に係る携帯端末１０の制御フローを示す。携帯端末１０は、ユーザによる操作またはユーザによる当該携帯端末１０の保持が検出されると、図８に示す処理を実行する。
FIG. 8 shows a control flow of the
ＣＰＵ２２は、カレンダー部２８から、操作が開始された年月日および時刻を取得する（ステップＳ３１）。続いて、ＣＰＵ２２は、各種センサから周辺情報を取得する（ステップＳ３２）。続いて、ＣＰＵ２２は、ユーザの生体情報を取得する（ステップＳ３３）。なお、ステップＳ３１、Ｓ３２およびＳ３３の処理は、図３および図４に示したフローチャートのステップＳ１１、Ｓ１２およびＳ１３の処理と同様である。
The
続いて、ＣＰＵ２２は、取得した年月日および時刻、周辺情報および生体情報に基づき、撮像タイミングであるか否かを判断する（ステップＳ３４）。ＣＰＵ２２は、一例として、年月日および時刻、周辺情報および生体情報が予め設定された条件に一致している場合に、撮像タイミングであると判断する。
Subsequently, the
例えば、ＣＰＵ２２は、自宅を出る前（例えば通勤の前）の時間帯であってユーザが自宅にいる場合、または、ユーザが会社に出勤してから一定時間経過後の時間帯であってユーザが会社内にいる場合等において、撮像タイミングであると判断してもよい。ＣＰＵ２２は、撮像タイミングであれば（ステップＳ３４のＹｅｓ）、処理をステップＳ３５に進める。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ３４のＮｏ）、処理をステップＳ３１に戻して、例えば一定時間後にステップＳ３１から処理を繰り返す。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ３４のＮｏ）、本フローを抜けて処理を終了してもよい。
For example, the
続いて、ＣＰＵ２２は、撮像タイミングと判断した場合、内蔵カメラ１６によりユーザを撮像する（ステップＳ３５）。この場合において、ＣＰＵ２２は、ユーザの顔と、ユーザの服装を認識できるような画角等で撮像する。
Subsequently, when the
続いて、ＣＰＵ２２は、バックライト５２がオンとなっているか、バックライト５２がオフとなっているかを判断する（ステップＳ３６）。バックライト５２がオンとなっている場合には、ユーザは、当該携帯端末１０を操作していたり、当該携帯端末１０により表示される情報を見ていたりする状態である。反対に、バックライト５２がオフとなっている場合には、ユーザは、当該携帯端末１０を鏡として使用している状態である可能性が高い。
Subsequently, the
バックライト５２がオンとなっている場合、即ち、ユーザが携帯端末１０を操作していたり、表示されている情報を見ていたりする状態の場合（ステップＳ３６のＹｅｓ）、ＣＰＵ２２は、処理をステップＳ３７に進める。また、バックライト５２がオフとなっている場合、即ち、ユーザが携帯端末１０を鏡として使用している場合（ステップＳ３６のＮｏ）、ＣＰＵ２２は、処理をステップＳ４０に進める。
When the
バックライト５２がオンとなっている場合の処理において、画像分析部３４は、ユーザを撮像した画像における服装部分の画像データと、不揮発性メモリ３０に記憶されているユーザの服装の画像データとパターンマッチング等をして、ユーザが身につけている服等が、ユーザが保有している服装のうちの何れなのかを特定する（ステップＳ３７）。さらに、画像分析部３４は、特定した服装の組み合わせを更に判別してもよい。
In the process in the case where the
続いて、ＣＰＵ２２は、特定した服装に対応する第１のログを更新する（ステップＳ３８）。より具体的には、ＣＰＵ２２は、特定した服装に対応する頻度（当月の頻度および当該季節の頻度）の値を、１つカウントアップする。さらに、ＣＰＵ２２は、服装の組み合わせを特定した場合には、特定した組み合わせの情報を不揮発性メモリ３０に記憶させる。
Subsequently, the
また、ＣＰＵ２２は、ステップＳ３７〜Ｓ３８の処理を１日１回のみ行うようにしてもよい。これにより、ＣＰＵ２２は、ユーザが保有しているそれぞれの服をユーザがどの程度の頻度で着ているかを、日毎に更新することができる。なお、ＣＰＵ２２は、撮像された画像が不鮮明でユーザの服装が検出できない場合には、ステップＳ３７〜Ｓ３８の処理をスキップする。
Further, the
続いて、画像分析部３４は、ユーザの顔を分析する（ステップＳ３９）。より具体的には、画像分析部３４は、ユーザの顔画像から、口紅の色落ちおよび顔のテカリ等が生じて、化粧崩れが生じたかを分析する。また、ユーザが男性の場合には、画像分析部３４は、ひげが伸びてきたかどうかを分析してもよい。画像分析部３４は、一例として、自宅を出る前（例えば通勤の前）に撮像したユーザの顔画像と、ステップＳ３５で撮像した顔画像とを比較して、化粧崩れが生じているかまたはひげが伸びできたかを分析する。ＣＰＵ２２は、ステップＳ３９の処理を終えると、処理をステップＳ４３に進める。
Subsequently, the
一方、バックライト５２がオフとなっている場合において、ＣＰＵ２２は、ユーザの感情を解析する（ステップＳ４０）。ＣＰＵ２２は、一例として、生体センサ２０の検出結果および顔画像から解析された表情等から、ユーザが、機嫌が良いのか、普通の気分なのか、又は機嫌が悪いのか等を解析する。
On the other hand, when the
続いて、画像分析部３４は、ユーザを撮像した画像における服装部分の画像データと、不揮発性メモリ３０に記憶されているユーザの服装の画像データとパターンマッチング等をして、ユーザが身につけている服装が、ユーザが保有している服装のうちの何れなのかを特定する（ステップＳ４１）。
Subsequently, the
続いて、ＣＰＵ２２は、特定した服装に対応する第２のログを、ステップＳ４０で解析したユーザの感情に応じて更新する。より具体的には、ＣＰＵ２２は、ユーザの機嫌が良ければ、特定した服装に対応するお気に入り度を上げる。また、ＣＰＵ２２は、ユーザの機嫌が普通であれば、特定した服装に対応するお気に入り度を変更しない。また、ＣＰＵ２２は、ユーザの機嫌が悪ければ、特定した服装に対応するお気に入り度を下げる。
Subsequently, the
バックライト５２がオフとなっている場合であって、ユーザが当該携帯端末１０を保持している場合、ユーザは、当該携帯端末１０を鏡として使用している状態である可能性が高い。このような場合、ユーザは、身に着けている服装が気に入っていれば機嫌の良い気分となり、身に着けている服装が気に入ってなければ機嫌の悪い気分となる可能性が高い。そこで、このような状態におけるユーザの感情を、身に付けている服装に対応して長期間記録していれば、ユーザがその服装を気に入っているか気に入っていないかの指標とすることができる。
When the
なお、ＣＰＵ２２は、ステップＳ４０〜４２の処理をユーザが自宅を出る前（例えば通勤の前）であることを条件として実行してもよい。また、ＣＰＵ２２は、ステップＳ４０〜４３の処理を１日１回のみ行うようにしてもよい。また、ＣＰＵ２２は、撮像された画像が不鮮明でユーザの服装が検出できない場合には、ステップＳ４０〜Ｓ４２の処理をスキップする。ＣＰＵ２２は、ステップＳ４２の処理を終えると、処理をステップＳ４３に進める。
Note that the
続いて、ステップＳ４３において、ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングか否かを判断する。ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングであれば（ステップＳ４３のＹｅｓ）、ステップＳ４４においてユーザに対してアドバイスを表示する。ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングでなければ（ステップＳ４３のＮｏ）、ステップＳ４３においてアドバイスを表示するタイミングとなるまで処理を待機する。なお、ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングでなければ、一定時間ステップＳ４３で処理を待機したのちに、本フローを抜けて処理を終了してもよい。
Subsequently, in step S43, the
ステップＳ４４においては、ＣＰＵ２２は、一例として、ネットワークを介してオンラインショップ等で服等を購入するタイミングにおいて、第２のログに示される内容を表示する。ＣＰＵ２２は、一例として、服等を購入するタイミングにおいて、お気に入り度の高い服装の画像データ、または、お気に入り度の低い服装の画像データを表示する。これにより、ユーザは、新たな服等の購入時等に、自分の好みを確認することができる。
In step S44, for example, the
また、ＣＰＵ２２は、ネットワークを介してオンラインショップ等で服等を購入している場合において、購入しようと選択した服とデザインが似通っている服等を既にユーザが保有していれば、注意を促すアドバイスを表示してもよい。これにより、ユーザは、似通っている服を重複して購入してしまうことを回避することができる。
In addition, when purchasing clothes or the like at an online shop or the like via a network, the
また、ＣＰＵ２２は、第１のログを参照して、頻繁に着用している服等およびあまり着用していない服等をユーザに表示する。これにより、ユーザは、着用している服等の偏りを知って、着用する服等の選択に役立てることができる。
Further, the
また、ＣＰＵ２２は、ユーザが会社に出勤してから一定時間経過後の時間帯であってユーザが会社内にいる場合であって、ステップＳ３９で化粧崩れ（顔のテカリおよび口紅の色落ち）を検出した場合、または、ひげが伸びてきたことを検出した場合には、その旨を表示してもよい。これにより、ユーザは、化粧直しおよびひげを剃るべきタイミングであることを知ることができる。
Further, the
そして、ＣＰＵ２２は、ステップＳ４４の処理を完了すると、本フローを抜けて処理を終了する。なお、ＣＰＵ２２は、アドバイス表示を行なった後、データ量が足りなかったり取得したデータがまだ変化していたりすることにより、ユーザの顔の撮像を続ける必要がある場合には、ステップＳ３５に処理を戻して、再度の撮像処理から処理を繰り返してもよい。
Then, when completing the process of step S44, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ 携帯端末、１２ ディスプレイ、１４ タッチパネル、１６ 内蔵カメラ、１８ マイク、２０ 生体センサ、２２ ＣＰＵ、２４ ＧＰＳモジュール、２６ 温度計、２８ カレンダー部、３０ 不揮発性メモリ、３２ 音声解析部、３４ 画像分析部、３６ 通信部、４２ 顔認識部、４４ 表情検出部、４６ 服装検出部、５０ ミラーフィルム、５２ バックライト、５４ 顔分析部
DESCRIPTION OF
Claims (12)
前記表示部が表示をしていない場合においてユーザを撮像する撮像部と、
前記表示部が表示をしていない場合において前記ユーザの状態を検出する検出部と、
を備える電子機器。 A display unit for displaying;
An imaging unit for imaging a user when the display unit is not displaying;
A detection unit for detecting the state of the user when the display unit is not displaying;
Electronic equipment comprising.
前記照明部が前記表示部を照明していない場合において、前記撮像部の撮像と前記検出部との検出との少なくとも一方が行われる請求項１に記載の電子機器。 An illumination unit capable of illuminating the display unit provided with a mirror;
The electronic device according to claim 1, wherein at least one of imaging by the imaging unit and detection by the detection unit is performed when the illumination unit does not illuminate the display unit.
前記表示部が前記操作部の操作に関連した情報を表示していない場合において、前記撮像部の撮像と前記検出部との検出との少なくとも一方が行われる
請求項１または２に記載の電子機器。 An operation unit that receives the user's operation;
3. The electronic apparatus according to claim 1, wherein at least one of imaging by the imaging unit and detection by the detection unit is performed when the display unit does not display information related to operation of the operation unit. .
請求項１から９のいずれか一項に記載の電子機器。 The electronic device according to claim 1, further comprising a second storage unit that stores data relating to the purchase history of the user.
前記表示部が情報を表示していない場合においてユーザを撮像する撮像ステップと、
前記表示部が表示をしていない場合において前記ユーザの状態を検出する状態検出ステップと、
を備える情報処理方法。 A display step for displaying information on the display unit;
An imaging step of imaging the user when the display unit does not display information;
A state detecting step of detecting the state of the user when the display unit is not displaying;
An information processing method comprising:
前記表示部が情報を表示していない場合においてユーザを撮像する撮像ステップと、
前記表示部が表示をしていない場合において前記ユーザの状態を検出する状態検出ステップと、
をコンピュータに実行させるためのプログラム。 A display step for displaying information on the display unit;
An imaging step of imaging the user when the display unit does not display information;
A state detecting step of detecting the state of the user when the display unit is not displaying;
A program that causes a computer to execute.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011267649A JP5929145B2 (en) | 2011-12-07 | 2011-12-07 | Electronic device, information processing method and program |
| US14/354,738 US20140330684A1 (en) | 2011-12-07 | 2012-10-11 | Electronic device, information processing method and program |
| PCT/JP2012/006534 WO2013084395A1 (en) | 2011-12-07 | 2012-10-11 | Electronic device, information processing method and program |
| CN201410440390.4A CN104156870A (en) | 2011-12-07 | 2012-10-11 | Mobile terminal control method and mobile terminal |
| IN3367DEN2014 IN2014DN03367A (en) | 2011-12-07 | 2012-10-11 | |
| CN201280060250.3A CN103975291A (en) | 2011-12-07 | 2012-10-11 | Electronic device, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011267649A JP5929145B2 (en) | 2011-12-07 | 2011-12-07 | Electronic device, information processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013120468A true JP2013120468A (en) | 2013-06-17 |
| JP5929145B2 JP5929145B2 (en) | 2016-06-01 |
Family
ID=48773085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011267649A Active JP5929145B2 (en) | 2011-12-07 | 2011-12-07 | Electronic device, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5929145B2 (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013191157A (en) * | 2012-03-15 | 2013-09-26 | Pioneer Electronic Corp | Mobile object control apparatus and mobile object loading device |
| JP2018185830A (en) * | 2013-10-30 | 2018-11-22 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Displaying relevant user interface object |
| US10732821B2 (en) | 2007-01-07 | 2020-08-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
| US10739974B2 (en) | 2016-06-11 | 2020-08-11 | Apple Inc. | Configuring context-specific user interfaces |
| US10748153B2 (en) | 2014-05-29 | 2020-08-18 | Apple Inc. | User interface for payments |
| US10778828B2 (en) | 2006-09-06 | 2020-09-15 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
| US10788953B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders |
| US10860199B2 (en) | 2016-09-23 | 2020-12-08 | Apple Inc. | Dynamically adjusting touch hysteresis based on contextual data |
| US10884579B2 (en) | 2005-12-30 | 2021-01-05 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
| US10914606B2 (en) | 2014-09-02 | 2021-02-09 | Apple Inc. | User interactions for a mapping application |
| US10972600B2 (en) | 2013-10-30 | 2021-04-06 | Apple Inc. | Displaying relevant user interface objects |
| US11281368B2 (en) | 2010-04-07 | 2022-03-22 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
| US11321731B2 (en) | 2015-06-05 | 2022-05-03 | Apple Inc. | User interface for loyalty accounts and private label accounts |
| US11604559B2 (en) | 2007-09-04 | 2023-03-14 | Apple Inc. | Editing interface |
| US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
| US11783305B2 (en) | 2015-06-05 | 2023-10-10 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10155749A (en) * | 1996-12-04 | 1998-06-16 | Hiyuunet Kk | System for monitoring and informing about human health condition |
| JP2002271457A (en) * | 2001-03-08 | 2002-09-20 | Kumiko Nishioka | Portable device using semitransparent mirror capable of using its screen as mirror |
| JP3094091U (en) * | 2002-11-15 | 2003-05-30 | 株式会社テラ・マトリックス | Display device for mobile phone and mobile phone |
| JP2004081285A (en) * | 2002-08-23 | 2004-03-18 | Citizen Watch Co Ltd | Portable type blood pressure measuring instrument |
| JP2005030861A (en) * | 2003-07-10 | 2005-02-03 | Casio Comput Co Ltd | Device and program for person management |
| JP2005046305A (en) * | 2003-07-28 | 2005-02-24 | Sony Corp | Conversation assisting device, conversation assisting system, conversation assisting method, information transmitting device, information transmitting system, information transmitting method, controlling device, controlling system, and controlling method |
| JP3110219U (en) * | 2005-01-18 | 2005-06-16 | 勝康 小野 | GPS security watch cell phone with detachable sensor and fisheye lens |
| JP2006110361A (en) * | 2004-10-14 | 2006-04-27 | Samsung Electronics Co Ltd | Measuring device for calorie consumption and method for the same |
| WO2010059513A2 (en) * | 2008-11-19 | 2010-05-27 | Immersion Corporation | Method and apparatus for generating mood-based haptic feedback |
| JP2011524719A (en) * | 2008-06-16 | 2011-09-01 | クゥアルコム・インコーポレイテッド | Method and system for configuring mobile devices using sensors |
| JP2011170637A (en) * | 2010-02-18 | 2011-09-01 | Nikon Corp | Information processor |
| JP2011193281A (en) * | 2010-03-15 | 2011-09-29 | Nikon Corp | Portable device |
-
2011
- 2011-12-07 JP JP2011267649A patent/JP5929145B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10155749A (en) * | 1996-12-04 | 1998-06-16 | Hiyuunet Kk | System for monitoring and informing about human health condition |
| JP2002271457A (en) * | 2001-03-08 | 2002-09-20 | Kumiko Nishioka | Portable device using semitransparent mirror capable of using its screen as mirror |
| JP2004081285A (en) * | 2002-08-23 | 2004-03-18 | Citizen Watch Co Ltd | Portable type blood pressure measuring instrument |
| JP3094091U (en) * | 2002-11-15 | 2003-05-30 | 株式会社テラ・マトリックス | Display device for mobile phone and mobile phone |
| JP2005030861A (en) * | 2003-07-10 | 2005-02-03 | Casio Comput Co Ltd | Device and program for person management |
| JP2005046305A (en) * | 2003-07-28 | 2005-02-24 | Sony Corp | Conversation assisting device, conversation assisting system, conversation assisting method, information transmitting device, information transmitting system, information transmitting method, controlling device, controlling system, and controlling method |
| JP2006110361A (en) * | 2004-10-14 | 2006-04-27 | Samsung Electronics Co Ltd | Measuring device for calorie consumption and method for the same |
| JP3110219U (en) * | 2005-01-18 | 2005-06-16 | 勝康 小野 | GPS security watch cell phone with detachable sensor and fisheye lens |
| JP2011524719A (en) * | 2008-06-16 | 2011-09-01 | クゥアルコム・インコーポレイテッド | Method and system for configuring mobile devices using sensors |
| WO2010059513A2 (en) * | 2008-11-19 | 2010-05-27 | Immersion Corporation | Method and apparatus for generating mood-based haptic feedback |
| JP2011170637A (en) * | 2010-02-18 | 2011-09-01 | Nikon Corp | Information processor |
| JP2011193281A (en) * | 2010-03-15 | 2011-09-29 | Nikon Corp | Portable device |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10915224B2 (en) | 2005-12-30 | 2021-02-09 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
| US11650713B2 (en) | 2005-12-30 | 2023-05-16 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
| US11449194B2 (en) | 2005-12-30 | 2022-09-20 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
| US10884579B2 (en) | 2005-12-30 | 2021-01-05 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
| US11736602B2 (en) | 2006-09-06 | 2023-08-22 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
| US10778828B2 (en) | 2006-09-06 | 2020-09-15 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
| US11240362B2 (en) | 2006-09-06 | 2022-02-01 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
| US10732821B2 (en) | 2007-01-07 | 2020-08-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
| US11586348B2 (en) | 2007-01-07 | 2023-02-21 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
| US11169691B2 (en) | 2007-01-07 | 2021-11-09 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
| US11604559B2 (en) | 2007-09-04 | 2023-03-14 | Apple Inc. | Editing interface |
| US11809700B2 (en) | 2010-04-07 | 2023-11-07 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
| US11500516B2 (en) | 2010-04-07 | 2022-11-15 | Apple Inc. | Device, method, and graphical user interface for managing folders |
| US10788953B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders |
| US11281368B2 (en) | 2010-04-07 | 2022-03-22 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
| JP2013191157A (en) * | 2012-03-15 | 2013-09-26 | Pioneer Electronic Corp | Mobile object control apparatus and mobile object loading device |
| US11316968B2 (en) | 2013-10-30 | 2022-04-26 | Apple Inc. | Displaying relevant user interface objects |
| US10972600B2 (en) | 2013-10-30 | 2021-04-06 | Apple Inc. | Displaying relevant user interface objects |
| JP2018185830A (en) * | 2013-10-30 | 2018-11-22 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Displaying relevant user interface object |
| US10796309B2 (en) | 2014-05-29 | 2020-10-06 | Apple Inc. | User interface for payments |
| US10977651B2 (en) | 2014-05-29 | 2021-04-13 | Apple Inc. | User interface for payments |
| US11836725B2 (en) | 2014-05-29 | 2023-12-05 | Apple Inc. | User interface for payments |
| US10902424B2 (en) | 2014-05-29 | 2021-01-26 | Apple Inc. | User interface for payments |
| US10748153B2 (en) | 2014-05-29 | 2020-08-18 | Apple Inc. | User interface for payments |
| US11733055B2 (en) | 2014-09-02 | 2023-08-22 | Apple Inc. | User interactions for a mapping application |
| US10914606B2 (en) | 2014-09-02 | 2021-02-09 | Apple Inc. | User interactions for a mapping application |
| US11734708B2 (en) | 2015-06-05 | 2023-08-22 | Apple Inc. | User interface for loyalty accounts and private label accounts |
| US11321731B2 (en) | 2015-06-05 | 2022-05-03 | Apple Inc. | User interface for loyalty accounts and private label accounts |
| US11783305B2 (en) | 2015-06-05 | 2023-10-10 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| US11073799B2 (en) | 2016-06-11 | 2021-07-27 | Apple Inc. | Configuring context-specific user interfaces |
| US10739974B2 (en) | 2016-06-11 | 2020-08-11 | Apple Inc. | Configuring context-specific user interfaces |
| US11733656B2 (en) | 2016-06-11 | 2023-08-22 | Apple Inc. | Configuring context-specific user interfaces |
| US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
| US10860199B2 (en) | 2016-09-23 | 2020-12-08 | Apple Inc. | Dynamically adjusting touch hysteresis based on contextual data |
| US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5929145B2 (en) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5929145B2 (en) | Electronic device, information processing method and program | |
| WO2013084395A1 (en) | Electronic device, information processing method and program | |
| KR102354428B1 (en) | Wearable apparatus and methods for analyzing images | |
| CN105573573B (en) | Apparatus and method for managing user information based on image | |
| EP3321787B1 (en) | Method for providing application, and electronic device therefor | |
| US20180285641A1 (en) | Electronic device and operation method thereof | |
| WO2013128715A1 (en) | Electronic device | |
| KR102606689B1 (en) | Method and apparatus for providing biometric information in electronic device | |
| KR20160037074A (en) | Image display method of a apparatus with a switchable mirror and the apparatus | |
| US11157988B2 (en) | System and method for fashion recommendations | |
| US20120236105A1 (en) | Method and apparatus for morphing a user during a video call | |
| CN111161035A (en) | Dish recommendation method and device, server, electronic equipment and storage medium | |
| JP2019056970A (en) | Information processing device, artificial intelligence selection method and artificial intelligence selection program | |
| CN108132983A (en) | The recommendation method and device of clothing matching, readable storage medium storing program for executing, electronic equipment | |
| JP2013120473A (en) | Electronic device, information processing method, and program | |
| JP2013140574A (en) | Electronic apparatus, information processing method, and program | |
| CN112204539A (en) | Adaptive search using social graph information | |
| JP2013207407A (en) | Electronic device | |
| JPWO2020059263A1 (en) | Image proposal device, image proposal method and image proposal program | |
| JP2013182422A (en) | Electronic device | |
| JP2013183289A (en) | Electronic device | |
| CN106557753A (en) | The method and device of output prompting | |
| US20230359320A1 (en) | Techniques For Adjusting A Detachable Display Capsule Of A Wrist-Wearable Device To Operationally Complement A Wearable-Structure Attachment, And Wearable Devices And Systems For Performing Those Techniques | |
| JP6601457B2 (en) | Electronics | |
| JP2014002463A (en) | Electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5929145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |