JP2015505430A - 携帯電子機器及び携帯電子機器を使用してメディアを記録する方法 - Google Patents
携帯電子機器及び携帯電子機器を使用してメディアを記録する方法 Download PDFInfo
- Publication number
- JP2015505430A JP2015505430A JP2014543780A JP2014543780A JP2015505430A JP 2015505430 A JP2015505430 A JP 2015505430A JP 2014543780 A JP2014543780 A JP 2014543780A JP 2014543780 A JP2014543780 A JP 2014543780A JP 2015505430 A JP2015505430 A JP 2015505430A
- Authority
- JP
- Japan
- Prior art keywords
- media
- metadata
- sensor
- data
- portable electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Facsimiles In General (AREA)
- Storing Facsimile Image Data (AREA)
- Telephone Function (AREA)
Abstract
メディアを記録するための第1のセンサ(2)と、携帯電子機器のユーザの身体的状態を表すデータをキャプチャするための少なくとも1つの第2のセンサ(18、19、30)と、を含み、少なくとも1つの第2のセンサ(18、19、30)は、第1のセンサ(2)がメディアを記録することに応答してデータをキャプチャするように構成される。処理装置(4)は、少なくとも1つの第2のセンサ(18、19、30)とインタフェース接続される。処理装置(4)は、少なくとも1つの第2のセンサ(18、19、30)によってキャプチャされたデータを取得し、当該データに基づいて、記録されたメディアについてのメタデータを生成し、当該メタデータは、身体的状態を示し、メタデータを記録されたメディアと関連付けて格納させるように構成される。【選択図】図3
Description
本出願は、携帯電子機器及び携帯電子機器を使用してメディアを記録する方法に関する。本出願は、特に、そのような携帯電子機器、及び携帯通信装置のために使用され得る方法に関する。
今日では様々な携帯電子機器が、イメージ、ビデオ又は他のメディアを記録するためのコンポーネントと共に提供されている。そのような電子機器の例として、カメラを含むことができる携帯通信装置が含まれる。説明のため、現代の携帯電話又はパーソナルデジタルアシスタントは、カメラを備えてもよい。データ伝送帯域幅の増加は、携帯通信装置を使用してメディアを記録し、その後別の装置に記録されたメディアを移動させることをますます魅力的にする。
携帯電子機器を使用してメディアを記録することのこれまでの人気の増加とともに、記録されたメディアを整理することは相当な仕事である。膨大な量のイメージやビデオは、携帯電子機器を使用してキャプチャすることができる。その後、記録されたメディアを整理し、編集するのに、かなりの時間がかかることがある。
記録されたメディアを整理するタスクにおいてユーザを支援するための1つのアプローチは、記録されたメディアをパーソナルコンピュータに移動し、記録されたメディアを半自動化された手順で整理することにある。半自動化された手順では、メディアアイテムがユーザに出力される間に、様々なメディアアイテムに対するユーザの応答が評価される。そのようなアプローチは、依然として時間がかかる可能性がある、専用の処理段階を必要とするであろう。
上記欠点のいくつかに対処する携帯電子機器及び方法について当該技術分野における継続的な必要性が存在する。特に、複数の記録されたメディアをグループ化し、複数の記録されたメディア内を検索し、又はそうでなければ記録されたメディアを整理する際にユーザを支援するために続いて使用されることができる、記録されたメディアに関連する追加的な情報を生成する、携帯電子機器及び方法について当該技術分野における継続的な必要性が存在する。
実施形態によれば、携帯電子機器が提供される。当該携帯電子機器は、メディアを記録するための第1のセンサを含む。当該携帯電子機器は、当該携帯電子機器のユーザの身体的状態を表すデータをキャプチャするための少なくとも1つの第2のセンサを含み、当該少なくとも1つの第2のセンサは、第1のセンサがメディアを記録することに応答してデータをキャプチャするように構成される。当該携帯電子機器は、少なくとも1つの第2のセンサとインタフェース接続される処理装置を含む。当該処理装置は、少なくとも1つの第2のセンサによってキャプチャされたデータを取得し、当該データに基づいて、記録されたメディアについてのメタデータを生成し、当該メタデータは身体的状態を示し、記録されたメディアと関連付けて当該メタデータを格納させるように構成される。
少なくとも1つの第2のセンサは、第1のセンサがメディアを同時に記録する間に、データをキャプチャするように構成されることができる。
処理装置は、キャプチャされたデータが予め定義された基準を満たすかどうかを照合し、キャプチャされたデータが予め定義された基準を満たすかどうかに基づいて、メタデータを選択的に格納させるように構成されることができる。
当該予め定義された基準は、少なくとも1つの閾値比較を含むことができる。
少なくとも1つの第2のセンサは、第1の身体的状態を表す第1のデータ及び第1の身体的状態と異なる第2の身体的状態を表す第2のデータをキャプチャするように構成されることができる。処理装置は、第1のデータについて第1の閾値比較を実行し、第2のデータについて第2の閾値比較を実行し、第1の閾値比較及び第2の閾値比較の両方の結果に基づいて、メタデータを選択的に生成するように構成されることができる。
当該携帯電子機器は、記録されるメディア及び関連付けられるメタデータを格納するように構成される記憶装置をさらに含むことができる。処理装置は、メディアと各々関連付けられるメタデータに基づいて、記憶装置に格納されたメディアを処理するように構成されることができる。
処理装置は、メディアと関連付けられるメタデータに基づいて、記憶装置に格納されるメディア内の検索を実行するように構成されることができる。
処理装置は、メディアと関連付けられるメタデータに基づいて、記憶装置に格納されるメディアを複数のグループに整理するように構成されることができる。
処理装置は、関連付けられるメタデータに基づいて、記憶装置に格納されるメディアを複数のグループに整理するために基準を評価するように構成されることができる。基準は時間と共に変化することができる。基準は、自動的に調整されうる。処理装置は、基準を調整するために、ユーザ入力によって各々グループ化される複数のメディアアイテムと関連付けられるメタデータを関連付けるように構成されることができる。
メディアと関連付けられるメタデータは、第1の身体的状態を示す第1のメタデータと、第1の身体的状態と異なる第2の身体的状態を示す第2のメタデータと、を含むことができる。処理装置は、メディアと各々関連付けられる第1のメタデータ及び第2のメタデータの両方に基づいて、記憶装置に格納されるメディアを処理するように構成されることができる。
第1のセンサは、イメージセンサを含むことができる。
当該イメージセンサは、複数のイメージフレームを含むビデオを記録するように構成されることができる。少なくとも1つの第2のセンサは、複数のイメージフレームが記録される間、データをキャプチャするように構成されることができる。
処理装置は、複数のイメージフレームが記録される間にキャプチャされたデータに基づいて、複数のイメージフレームのサブセットについて、選択的にメタデータを格納させるように構成されることができる。
当該携帯電子機器は、処理装置と少なくとも1つの第2のセンサのうちの第2のセンサとをインタフェース接続する、無線通信回路を含むことができる。
少なくとも1つの第2のセンサは、ユーザのボディランゲージ、例えばユーザの顔の表情をキャプチャするように構成されるイメージセンサを含むことができる。処理装置は、ユーザのボディランゲージを解析するように構成されることができる。代替的に又は追加的に、少なくとも1つの第2のセンサは、電気皮膚反応を測定するための装置を含むことができる。代替的に又は追加的に、少なくとも1つの第2のセンサは、ユーザの脈拍数を測定するための心拍数モニタを含むことができる。代替的に又は追加的に、少なくとも1つの第2のセンサは、血中酸素飽和度を測定するための装置を含むことができる。酸素飽和度を測定するための装置は、パルスオキシメータであってもよい。代替的に又は追加的に、少なくとも1つの第2のセンサは、ユーザの脳活動を記録するための装置を含むことができる。このような第2のセンサの様々な組み合わせが使用されることができ、ユーザの身体的状態を表すデータをキャプチャするように構成される他の第2のセンサが、追加的に又は代替的に使用されることができる。
複数の第2のセンサが使用されることができる。
処理装置は、1又は複数の第2のセンサから取得される生データを、ユーザの身体的状態を示すメタデータとして格納させることにより、記録されたメディアについてのメタデータを生成するように構成されることができる。代替的に又は追加的に、処理装置は、メタデータを生成するために、1又は複数の第2のセンサから取得したデータに依存する1つの関数又は複数の関数を評価することができる。この場合、処理装置は、生データを処理することにより操作されたセンサデータを生成し、操作されたセンサデータを格納させる。代替的に又は追加的に、処理装置は、第2のセンサから取得した生のセンサデータと、生データを処理することにより得られる操作されたセンサデータとの組み合わせを、メタデータとして格納させることができる。
実施形態によれば、携帯電子機器を使用してメディアを記録する方法が提供される。当該方法は、メディアを記録することを含む。メディアが記録されているとき、携帯電子機器のユーザの身体的状態を表すデータがキャプチャされる。記録されたメディアについてのメタデータは、キャプチャされたデータに基づいて生成され、メタデータは、身体的状態を示す。メタデータは、記録されたメディアと関連付けて格納される。
メディアは、第1のセンサを使用して記録されることができ、データは、第1のセンサと異なる、少なくとも1つの第2のセンサを使用してキャプチャされることができる。
第1のセンサがメディアを同時に記録する間に、データがキャプチャされることができる。
少なくとも1つの第2のセンサは、第1のセンサがメディアを同時に記録する間に、データをキャプチャするように構成されることができる。
メタデータは、キャプチャされたデータが予め定義された基準を満たすかどうかに基づいて、選択的に格納されることができる。予め定義された基準は、少なくとも1つの閾値比較を含むことができる。第1の身体的状態を表す第1のデータ、及び第1の身体的状態とは異なる第2の身体的状態を表す第2のデータがキャプチャされることができる。第1の閾値比較は、第1のデータについて実行され、第2の閾値比較は、第2のデータについて実行され、メタデータは、第1の閾値比較及び第2の閾値比較の両方の結果に基づいて選択的に生成されることができる。メタデータが生成され、格納されるべきかどうかを判定するために、様々な論理演算が適用されうる。第1及び第2の閾値比較の結果に基づいてメタデータを選択的に生成するために、例えば、論理“AND”、論理“OR”、又は論理“XOR”演算子が、第1及び第2の閾値比較の結果に適用されることができる。
携帯電子機器は、記録されるメディア及び関連するメタデータが格納される記憶装置を含むことができる。記憶装置に格納されるメディアは、メディアに各々関連付けられるメタデータに基づいて処理されることができる。
記憶装置に格納されたメディア内の検索は、メディアと関連付けられるメタデータに基づいて実行されることができる。代替的に又は追加的に、記憶装置内に格納されたメディアは、メディアと関連付けられるメタデータに基づいて、複数の異なるグループに割り当てられることができる。
メディアと関連付けられるメタデータは、第1の身体的状態を示す第1のメタデータと、第1の身体的状態とは異なる第2の身体的状態を示す第2のメタデータとを含むことができる。記憶装置に格納されたメディアは、メディアと各々関連付けられる第1のメタデータ及び第2のメタデータの両方に基づいて処理されることができる。メディアが、ある身体的状態の組み合わせに対応するメタデータと関連付けられているかどうかを判定するために、様々な論理演算子が適用されうる。例えば、論理“AND”、論理“OR”、又は論理“XOR”演算子が、第1及び第2のメタデータについて各々実行された第1及び第2の閾値比較の結果に適用されうる。
記録されるメディアは、少なくとも1つのイメージを含むことができる。
記録されるメディアは、複数のイメージフレームを有するビデオを含むことができる。身体的状態を表すデータは、複数のイメージフレームが記録されている間にキャプチャされることができる。身体的状態を表すデータは、現在行われているビデオ記録中に、継続的又は半継続的に複数回記録されることができる。メタデータは、複数のイメージフレームが記録される間にキャプチャされるデータに基づいて、ビデオの複数のイメージフレームのサブセットについて選択的に格納されることができる。
ユーザの身体的状態を表すデータのうち少なくともいくつかは、無線インタフェースを介して送信されることができる。メタデータを生成する処理装置は、キャプチャされたデータを取得するために、無線接続を介して少なくとも1つの第2のセンサから読み出すことができる。
ユーザの身体的状態を表すデータは、ユーザのボディランゲージ、例えば、ユーザの顔の表情のイメージを含むことができる。代替的に又は追加的に、ユーザの身体的状態を表すデータは、電気皮膚反応を含むものであってもよい。代替的に又は追加的に、ユーザの身体的状態を表すデータは、ユーザの脈拍数を含むものであってもよい。代替的に又は追加的に、ユーザの身体的状態を表すデータは、血中酸素飽和度を含むものであってもよい。身体的状態を表すこのようなデータの様々な組み合わせが使用されることができ、身体的状態についての他の指標が、追加的又は代替的に使用されてもよい。
複数の第2のセンサが、身体的状態を表すデータをキャプチャするために使用されることができる。
方法は、任意の態様又は実施形態の携帯電子機器によって実行されることができる。
さらに他の実施形態によれば、携帯電子機器のプロセッサによって実行されるとき、任意の態様又は実施形態の方法を実行するように携帯電子機器に指示する命令コードを格納する、非一時的記憶媒体が提供される。
本発明の他の実施形態によれば、イメージを処理する方法が提供される。メタデータは、各イメージと関連付けられ、メタデータは、各イメージが記録された時のユーザの身体的状態を示す。当該方法は、イメージと関連付けられるメタデータを取得することと、各々関連付けられたメタデータに基づいてイメージを処理することと、を含む。処理することには、メタデータに基づいてイメージを検索することを含むことができる。処理することには、イメージと関連付けられるメタデータに基づいて、イメージを複数のグループのうちの1つに割り当てることを、代替的に又は追加的に含むことができる。
様々な実施形態の携帯電子機器及び方法は、各メディアが記録された時のユーザの身体的状態を示すメタデータが生成されることを可能とする。メディアは、自動的に個人センサ情報にタグ付けされることができる。個人センサ情報は、イメージ、ビデオシーケンス、又はイメージシーケンスの個々のイメージフレームに各々タグ付けされることができる。そのような自動生成されたタグは、メディアが整理されるとき、メディア内で検索が実行されるとき、又は他の後処理が実行されるときに使用されることができる。タグは、メディアが記録される間自動的に追加される。後の段階で、身体的状態についての指標を追加するための別個の後処理を実行する必要はない。
上述した特徴及び以下でさらに説明される特徴は、示されたそれぞれの組み合わせだけでなく、他の組み合わせ又は単独で、本発明の範囲から逸脱することなく、使用されることができることが理解されるべきである。上述の態様及び実施形態の特徴は、他の実施形態においても互いに組み合わせることができる。
上述の及びさらなる本発明の特徴及び利点は、類似の参照番号が類似の要素を参照する添付の図面と併せて読むときに、以下の詳細な説明から明らかになるであろう。
一実施形態に係る携帯電子機器の正面図である。
携帯電子機器の背面図である。
図1及び2の携帯電子機器の概略的なブロック図である。
一実施形態に係る携帯電子機器の動作を示す図である。
一実施形態に係る方法のフローチャートである。
一実施形態に係る方法のフローチャートである。
一実施形態に係る個人センサ情報に従って整理されたメディアの概略図である。
一実施形態に係る通信システムの概略図である。
一実施形態に係る方法のフローチャートである。
以下では、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、実施形態の以下の説明は、限定的な意味で解釈されるべきではないことを理解すべきである。本発明の範囲は、単なる例示であると解釈される、後述の実施形態又は図面によって限定されることを意図しない。
図面は模式的な表現であるとみなされるべきであり、図面に示される要素(element)は必ずしも縮尺通りに示されていない。むしろ、様々な要素は、それらの機能および一般的な目的が当業者に明らかとなるように表わされる。図面に示され、又はここで説明される機能ブロック、装置、コンポーネント又は他の物理的若しくは機能的ユニット間の任意の接続又は結合はまた、間接的な接続又は結合によって実装されてもよい。コンポーネント間の結合は、無線接続を介して確立されてもよい。機能ブロックは、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせにおいて実装されてもよい。
様々な実施形態の特徴は、特に言及されない限り、互いに組み合わせることができる。
携帯電子機器及び携帯電子機器を使用したメディアを記録する方法について説明する。携帯電子機器は、メディアを記録するように構成された第1のセンサを有する。第1のセンサは、イメージ又はビデオシーケンスを形成する一連のイメージフレームをキャプチャするように構成されたイメージセンサを含むことができる。イメージセンサが、光学的イメージをイメージデータに変換することによってイメージを記録するとき、ユーザの身体的状態を表すデータが判定される。ここで「個人センサ情報」とも呼ばれる、キャプチャされたデータは、イメージキャプチャが実行される時点におけるユーザの身体的状態に関連する。キャプチャされたデータ又はそこから生成される他のデータは、記録されたメディアと関連付けられるように格納される。
以下でより詳細に説明されるように、実施形態の携帯電子機器及び方法は、個人センサ情報をイメージ又は他のメディアに自動的に付加し、それによって後続の処理を容易にする。1人のユーザの身体的状態を監視するのには十分でありうるが、複数の異なる身体的状態を表す複数の異なるデータは、イメージ又は他のメディアの記録と同時にキャプチャされることができる。メディアについてのメタデータは、複数の異なる身体的状態を表すデータに基づいて生成されうる。説明のため、顔の表情、脈拍数、電気皮膚反応、又は血中酸素飽和度のうち少なくとも1つがキャプチャされうる。キャプチャされたデータは、メタデータを生成するために処理されうる。ユーザの顔の表情は、異なる笑顔の度合いを定量化する数値を判定するためにイメージ処理を受けることができ、当該数値は、記録されたメディアと関連付けられるメタデータとして格納され得る。脈拍数、電気皮膚反応、又は血中酸素飽和度などの他のセンサデータは、メタデータとして直接格納され得る。メディアが記録された時点における異なる身体的状態を示すデータは、並行してキャプチャされることができ、ユーザの身体的状態を示すメタデータを生成するために使用され得る。説明のため、メタデータは、脈拍数を示す値と、血中酸素飽和度を示すもう1つの値とを含むことができる。これらの2つの値の組み合わせは、例えば、身体の緊張状態を識別するのに使用され得る。他のデータは、メディアが記録されている間にキャプチャされ、例えばタグとしてこの個人情報をイメージファイルに付加するために処理され得る。ユーザの身体的状態を表すデータの少なくともほんの一部は、ボディランゲージのような目に見えるユーザの状態に関連しうる。ユーザの身体的状態を表すデータの少なくともほんの一部は、脳活動、電圧若しくは電流、又は電気抵抗などの、目に見えない状態に関連する。
図1は、携帯電子機器1の正面図であり、図2は、携帯電子機器1の背面図であり、図3は、携帯電子機器1を表す概略的なブロック図である。携帯電子機器1は、メインイメージセンサ2、ディスプレイ3、及び処理装置4を含む。処理装置4は、1つのプロセッサであってもよいし、又はメインプロセッサ13及びグラフィック処理ユニット14のような複数のプロセッサを含んでもよい。携帯電子機器1のメインイメージセンサ2は、デジタルカメラの様々なコンポーネントを含むことができる。メインイメージセンサ2は、焦点調節光学素子11を含むことができる。メインイメージセンサ2は、光学的イメージをイメージデータに変換するために、イメージサンプリングを実行する光電子センサ15を含む。メインイメージセンサ2は、フラッシュユニット12、イルミネーションセンサ、又は類似の付加的なコンポーネントを含むことができる。メインイメージセンサ2は、イメージ又は一連のイメージフレームを記録するように構成された第1のセンサとしての役割をする。
携帯電子機器1は、携帯電子機器1のユーザの身体的状態を表すデータをキャプチャする、少なくとも1つの第2のセンサを有する。以下でさらに詳細に述べるように、少なくとも1つの第2のセンサは、様々な構成を有することができ、ユーザの身体的状態を表す様々な異なる種類のデータを感知することができる。少なくとも1つの第2のセンサは、メディアを記録するために使用される第1のセンサとは異なる。
処理装置4は、処理及び制御動作を実行することができる。メインイメージセンサ2を用いてイメージが記録されるものとされているとき、処理装置4は、少なくとも1つの第2のセンサによってキャプチャされたデータを取得する。処理装置4は、イメージと関連付けられるメタデータを生成することができ、メタデータは、少なくとも1つの第2のセンサによってキャプチャされたデータに基づいて生成される。メタデータは、処理装置4が第2のセンサから読み出す、キャプチャされたデータを含むように生成されてもよい。メタデータはまた、処理装置4が付加的な処理を実行するように生成されてもよい。説明のため、メインイメージセンサ2がイメージ又はビデオを記録する時点におけるユーザのボディランゲージの写真をキャプチャする第2のイメージセンサ19を、少なくとも1つの第2のセンサが含む場合、処理装置4は、第2のイメージセンサ19によってキャプチャされたユーザの身体の写真のイメージ処理を実行することができる。処理装置4は、第2のイメージセンサ19によってキャプチャされたユーザの身体の写真を処理することにより、数値を導き出すことができる。ユーザの口の湾曲は、定量化されることができ、例えば、それによって笑顔の度合いについての指標としての役割をする。
処理装置4は、メディアが記録されたときに第2のセンサによってキャプチャされたデータを用いてメタデータを生成するように構成される。したがって、身体的状態を表すデータは、メディア記録時におけるユーザの身体的状態を表す。このことは、記録されたメディアの自動化された処理を容易にする。記録されたメディアは、メディア記録時におけるユーザの身体的状態に従って整理され、検索され、又はフィルタリングされ得る。ユーザの個人情報を示すタグがメディアファイルの生成時に付加されるため、そのような情報をメディアファイルに付加するための別個の後処理を実行する必要がない。より詳細に述べるように、身体的状態を示すデータは、様々なフォーマットのうちの任意の1つを有することができる。説明のため、データは、喜び、興奮、大変な仕事量、及び/又はその他の身体的状態のうちの少なくとも1つの状態が、第2のセンサによってキャプチャされたデータに基づいて識別され得るものでありうる。
処理装置4は、メディアの記録と協調して、第2のセンサによってキャプチャされたデータが取得されるように構成される。メディアの記録は、処理装置4が第2のセンサによってキャプチャされたデータを取得するためのトリガとなりうる。メディアの記録がまだ処理中であった間、処理装置4は、第2のセンサによってキャプチャされたデータを取得することができる。処理装置4は、ユーザの身体的状態を表すデータを取得するために、メインイメージセンサ2がイメージをキャプチャする時点において、少なくとも1つの第2のセンサに能動的に問い合わせを行うことができる。メインイメージセンサ2が複数のイメージフレームを有するビデオをキャプチャする場合、処理装置4は、記録中に複数回、少なくとも1つの第2のセンサに能動的に問い合わせを行うことができる。処理装置4が、ビデオ記録の間第2のセンサによってキャプチャされたデータを取得するタイミングは、ビデオシーケンスのイメージフレームが記録されたフレームレートに一致させることができる。身体的状態を示すデータが各イメージフレームについて取得される必要はない。処理装置4は、記録されたビデオのイメージフレームのサブセットについてのみ、例えばn番目のフレーム毎に、第2のセンサからデータを取得することができる。nは、1より大きい整数である。
メタデータがメディア記録時におけるユーザの身体的状態を示すことを保証するために、他の技術を使用してメタデータの生成をメディアの記録と協調させることができる。説明のため、第2のセンサは、ユーザの身体的状態を継続的又は半継続的に監視することができる。処理装置4は、メディアの記録が実行された時間に対応する、第2のセンサによってキャプチャされたそれらのデータを選択するように構成され得る。タイムスタンプは、メディアの記録が実行されたのと同時に、第2のセンサによってキャプチャされたデータを処理装置4が識別するのを支援する第2のセンサによって使用されうる。メディアの記録が実行されたときにキャプチャされたデータを識別することができる限り、処理装置4は、メディア記録が実行されているのと同時にユーザの身体的状態を表すデータを取得する必要はない。
処理装置4は、メタデータを生成するための様々な機能のうち任意の1つを実行しうる。処理装置4は、メディア記録時のセンサ読取値を表す、第2のセンサから取得された1又はいくつかの値をメタデータが含むように、記録されたメディアについてのメタデータを生成しうる。第2のセンサから取得した各値を特定の身体的状態と各々関連付けるために、識別子がメタデータ内に追加的に格納されることができる。説明のため、処理装置4は、その値が脈拍数であると識別する識別子と組み合わせて、心拍センサから取得した値を含むようにメタデータを生成することができる。処理装置4は、その値が血中酸素飽和度及び/又は脈拍数であると識別する識別子と組み合わせて、オキシメータから取得した値を含むようにメタデータを生成することができる。処理装置4は、その値が電気皮膚反応であると識別する識別子と組み合わせて、電気皮膚反応を測定するための装置から取得した値を含むようにメタデータを生成することができる。ユーザの身体的状態を表すデータをキャプチャするために利用可能な第2のセンサに応じて、他の識別子が使用されてもよい。
処理装置4は、1又は複数の第2のセンサから取得された生データをメタデータとして格納させることができるが、処理装置4は、メタデータを生成するときに、追加の処理を実行することができる。処理装置4は、1又は複数の第2のセンサから取得された生データに応じた関数を評価することによって、操作されたセンサデータを生成してもよい。処理装置4は、メタデータを生成するために、1又は複数の第2のセンサから取得された生データに応じた数学関数を評価してもよい。メタデータはまた、1又は複数の第2のセンサから取得された生データと、1又は複数の関数に生データを入力して得られる操作されたデータとの組み合わせを含むように生成されてもよい。
説明のため、処理装置4は、第2のイメージセンサ19によってキャプチャされたユーザの顔のイメージ上でイメージ認識を実行することができる。処理装置4は、ユーザの身体的状態を示す数量を判定するために、第2のイメージセンサ19によってキャプチャされたユーザの顔のイメージを解析することによって数値を計算することができる。説明のため、処理装置19は、口の外縁を口の最下部につなぐ2本の線の間の角度を判定することができ、それによって、ユーザの顔の表情の笑顔の度合いを定量化する。ボディランゲージについての他の数量詞(quantifiers)が使用されてもよい。処理装置4によって実行される処理の結果は、メインイメージセンサ2によってキャプチャされたイメージ又はビデオと関連付けられてメタデータ内に格納されることができる。
処理装置4は、異なる第2のセンサによって提供されるデータにおいて論理演算を実行することができる。説明のため、身体的状態を表す第2のセンサのデータは、閾値と比較され得る。身体的状態を定義する1以上の特徴量が第2のセンサによってキャプチャされる場合、処理装置4は、論理演算を使用して第2のセンサの出力を組み合わせることができる。これは、メタデータの生成時、及び/又は記録されたメディアについて生成されたメタデータをその後評価するときに行われうる。説明のため、異なる第2のセンサによって提供される第1及び第2のデータが各々閾値と比較され、両方の閾値比較の結果に論理演算が適用され得る。処理装置4は、例えば、脈拍数が第1の閾値よりも上で、電気皮膚反応が第2の閾値よりも上で、血中酸素飽和度が第3の閾値より下であるという状況を識別するかもしれない。メディア記録中に複数の第2のセンサによってキャプチャされたデータを評価することによって識別されるこのような身体的状態は、高い緊張状態にあるユーザを示しうる。処理装置4はまた、例えば、脈拍数が第1の閾値よりも上で、電気皮膚反応が第2の閾値よりも上で、血中酸素飽和度が第4の閾値よりも上であるという状況を識別するかもしれない。メディア記録中に複数の第2のセンサによってキャプチャされるデータを評価することによって識別されるこのような身体的状態は、高い努力の状態にあるユーザを示しうる。処理装置4はまた、例えば、脈拍数が第1の閾値より上で、血中酸素濃度が第3の閾値より上であるという状況を識別するかもしれない。
処理装置4が、少なくとも1つの第2のセンサによってキャプチャされたデータについて論理演算又はその他の処理を実行する場合、論理演算又はその他の処理の結果に基づいて、メタデータが生成され得る。メタデータがメディアの記録時におけるユーザの身体的状態を表すように、処理装置4は、第2のセンサによって提供されるデータに基づいてメタデータを生成する。処理装置4は、記録されたメディアと関連付けてメタデータを格納させる。他の実装においては、メタデータは、メディアファイルと別個のファイル内に格納されてもよいし、メタデータとメディアファイル間に一対一対応が確立されることを可能にする方法で格納されてもよい。
処理装置4は、メタデータ及びメディアファイルを携帯電子機器内で局所的に、例えば、不揮発性メモリ5又は他の記憶装置内に格納することができる。ユーザが身体的状態を示すデータが共有されることを可能にするための設定をアクティブにするとき、処理装置4は、無線通信インタフェース9を介してメモリ5に格納されたメディアファイル及び関連するメタデータのうちいくつかを通信することができる。説明のため、ユーザがあるメディアファイルを送信したいと思ったとき、処理装置4は、関連するメタデータを取得し、ユーザが個人データの送信を許可する設定をアクティブにしている場合は、無線通信インタフェース9を介してサーバにこの情報を通信することができる。処理装置4は、検索、メディアファイルのグループ化、又はフィルタ基準に従ったメディアファイルのフィルタリングなどの他の目的のためにも、メモリ5からメタデータを取得することができる。
第2のセンサは、様々な構成を有することができる。説明のため、イメージキャプチャの間ユーザの方を向いている第2のイメージセンサ19は、ユーザのボディランゲージを判定するのに使用されうる。第2のイメージセンサ19は、処理装置4及びメインイメージセンサ2も含む携帯電子装置のハウジング10に組み込まれる。携帯電子装置に組み込まれる他の第2のセンサがあってもよい。説明のため、個人データセンサ18は、メディアが記録されているときに、電気皮膚反応又はユーザの身体的状態の特徴の他の量を測定するために提供され得る。個人データセンサ18は、メディア記録時のユーザの身体的状態を表すデータをキャプチャする第2のセンサとして動作する。個人データセンサ18は、個人電子装置内に組み込まれている。個人データセンサ18は、ハウジング10の外側に露出される部分を有してもよい。
他の個人データセンサ30は、携帯電子機器から分離されて提供されてもよい。他の個人データセンサ30は、メディア記録時のユーザの身体的状態を表すデータをキャプチャする第2のセンサとして動作する。他の個人データセンサ30は、ユーザの身体に付着するためのマウント31を有することができる。他の個人データセンサ30は、耳、指、又はユーザの皮膚の他の部分に取り付けられることができる。他の個人データセンサ30は、ユーザの脈拍数及び血中酸素濃度を測定するパルスオキシメータとして構成されてもよい。他の個人データセンサ30は、ユーザの脈拍数を測定する心拍数モニタとして構成されてもよい。他の個人データセンサ30は、ユーザの脳活動を監視するための装置として構成されてもよい。他の個人データセンサ30は、無線接続を介して処理装置4とインタフェース接続されてもよい。他の個人データセンサ30は、携帯電子装置の無線センサインタフェース8との通信のための、無線インタフェース38を有してもよい。無線インタフェース38及び無線センサインタフェース8は、近距離無線通信のために構成されてもよい。無線インタフェース38及び無線センサインタフェース8は、IEEE802.11プロトコルファミリーのプロトコルを使用する通信のために構成されてもよい。限定ではなく説明のため、無線インタフェース38及び無線センサインタフェース8は、Bluetooth Health Device Profile(HDP)を使用する通信のために構成されてもよい。無線インタフェース38及び無線センサインタフェース8の間の通信は、例えば、IEEE11073の最適化交換プロトコル(optimized exchange protocol)、又は健康関連のセンサと他の装置との間の通信のためのその他のプロトコルにしたがって実行されてもよい。
携帯電子機器1は、例えば、携帯電話、携帯情報端末(personal digital assistant)又は類似の携帯通信装置として動作しうる。携帯電子機器1は、音声通信のためのコンポーネントを含むことができ、音声通信のためのコンポーネントは、マイクロフォン21、スピーカ22及び無線通信ネットワークとの通信のための無線通信インタフェース9を含むことができる。携帯電子機器1は、手動で操作可能なユーザインタフェースを有することができる。ユーザインタフェースは、携帯電子機器のハウジング10上に提供されるファンクション及びコントロールキー7、及び/又はディスプレイ3の接触若しくは近接感知入力部17を含むことができる。
図4から図9を参照して、携帯電子機器1の動作についてより詳細に説明する。
携帯電子装置1のメインイメージセンサ2によってキャプチャされるイメージ又は一連のイメージは、不揮発性メモリ5又はその他の記憶装置内に格納されうる。メディア記録中のユーザの身体的状態を示す関連するメタデータは、イメージのうちの少なくともいくつかについて格納されうる。ユーザの身体的状態を示すメタデータは、例えば属性としてイメージ又はビデオと同一のファイル内に格納されてもよく、別個のファイルに格納されてもよい。
複数のイメージフレームを含むビデオが記録されるとき、ユーザの身体的状態を示すデータは、数個のフレームについてキャプチャされることができ、メタデータは、ビデオシーケンスの個々のイメージフレームと関連付けられるように生成され、格納されうる。これは、検索基準としてユーザの身体的状態を使用して、あるイメージフレームを検索することを容易にする。
図4は、図1から3の携帯電子機器1の様々なセンサでキャプチャされたデータを図示する概略図である。図示された動作では、複数のイメージフレーム41〜44をキャプチャするためのメインイメージセンサ2を使用してビデオが記録されている。イメージは、フレーム間隔Trでキャプチャされている。
ユーザの方を向いている第2のイメージセンサ19を使用して、ユーザのボディランゲージのイメージ51〜54がキャプチャされる。イメージ51〜54は、ボディランゲージを定量化する数値を判定するために評価されることができる。説明のため、ユーザの顔を検出し笑顔の度合いを定量化するために、イメージ解析が実行されうる。
パルスオキシメータや心拍数モニタのような他の第2のセンサを使用して、ビデオ記録中のユーザの脈拍数が監視されることができる。
イメージ51〜54は、ビデオのイメージフレームが各々記録されるときにキャプチャされうる。メインイメージセンサ2を使用してビデオ記録が同時に行われている間、第2のイメージセンサ19は、ユーザの顔の表情を記録するためにビデオモードで動作させることができる。同様に、脈拍数の値55〜58は、ビデオのイメージフレームが各々記録されるときに読み出されることができる。第2のセンサによってキャプチャされたデータもまた、フレーム間隔Trでキャプチャされ、評価されうるが、ユーザの身体的状態を表すデータをキャプチャするための割合は、イメージフレーム41〜44がキャプチャされる割合とは異なるようにすることができる。説明のため、第2のイメージセンサを使用してキャプチャされたイメージ51〜54は、フレーム間隔Trよりも長い間隔k・Trでキャプチャされることができる。kは、1より大きい整数である。脈拍数の値55〜58は、フレーム間隔Trよりも長い間隔m・Trで読み出されることができる。mは1より大きい整数である。
メタデータは、ビデオシーケンスのイメージフレームのうち少なくともいくつかについて生成されることができる。メタデータは、ビデオシーケンスを形成するイメージフレームのサブセットについてのみ選択的に生成され、格納されうる。説明のため、メタデータは、n番目のイメージフレーム毎についてのみ生成されうる。nは1より大きい整数である。
代替的に又は追加的に、メタデータは、キャプチャされたデータの評価に基づいてイメージフレームについて選択的に格納されうる。この目的のために、第2のセンサによって提供されるデータは、閾値59と比較されうる。比較結果に基づいて、メタデータは選択的に格納されうる。これにより、ユーザの身体的状態がある反応を示しているそれらのメディアについて、メタデータが選択的に生成及び格納されることができる。当該ユーザの身体的状態は、キャプチャされたデータがある閾値を超えたか、又は別のある閾値を下回ることによって反映される。メタデータが選択的に格納されるとき、記憶領域の必要量を減少させることができる。1つより多くの第2のセンサがある場合、記録されたメディアについてメタデータを選択的に格納する処理は、複数の第2のセンサによってキャプチャされたデータ上で論理演算を使用して実行されることができる。異なる第2のセンサによって提供されるデータは、各々閾値比較の対象とされることができ、論理演算は閾値比較の結果に適用されうる。説明のため、論理AND、OR、又はXOR演算が、脈拍値について実行される第1の閾値比較、及び血中酸素レベルについて実行される第2の閾値比較の結果において実行されうる。ユーザの身体的状態を表す異なる値のうちの少なくとも1つがデフォルト値からの著しい逸脱を示すとき、メタデータが選択的に生成されることがこれにより可能となる。
閾値は、複数のメディアの記録処理中に第2のセンサによってキャプチャされるデータに基づいて調整されうる。したがって、ユーザの身体的状態の特性は、1人のユーザから別のユーザに変化し得るという事実を考慮することができる。例えば、安静時の脈拍数は、ユーザごとに異なる場合がある。メタデータの生成及び/又はメタデータに基づく記録されたメディアの処理に使用される閾値を調整することによって、自動的にそのユーザについて学習することが可能な携帯電子機器は、以前にキャプチャしたデータを使用して閾値を調整することを実現することができる。
図5は、方法60のフローチャートである。方法60は、図1から3の携帯電子機器1によって実行されうる。限定ではなく説明のため、方法60は、イメージ記録との関連において説明される。
61において、イメージがキャプチャされたかどうかが判定される。判定は、携帯電子機器の入力インタフェースを監視することを含むことができる。イメージが何もキャプチャされていない場合、61において監視が継続される。
イメージがキャプチャされている場合、62においてイメージ記録が実行され、63においてユーザの身体的状態を表すデータがキャプチャされる。データのキャプチャは、イメージ記録に応答して、即ち、イメージ記録と協調して実行される。イメージ記録と身体的状態を表すデータのキャプチャは、時間的にオーバラップして実行されうる。イメージ記録が第1の期間中ずっと実行され、ユーザの身体的状態を表すデータのキャプチャが第2の期間中ずっと実行される場合、第2の期間は、第1の期間と少なくとも部分的にオーバラップすることがある。第2の期間は、第1の期間内に完全に含まれることができ、又は、第1の期間は、第2の期間内に完全に含まれることができる。
64において、メタデータが、ユーザの身体的状態を表すデータに基づいて生成される。メタデータを生成するために、第2のセンサにより出力される数値がメタデータ内に書き込まれることができる。第2のセンサが脈拍数、血中酸素飽和度、又は電気皮膚反応を示す数値を含むデータを提供する場合、この値がメタデータ内に書き込まれることができる。メタデータを生成するために、追加の処理が実行されてもよい。図1から4を参照して既に説明したように、メタデータを生成するために、イメージ解析、閾値比較、及び/又は論理演算が、第2のセンサによってキャプチャされたデータに対して実行されてもよい。
65において、イメージファイル及び関連するメタデータが格納される。メタデータはイメージファイル内に含まれてもよい。メタデータは、イメージファイルの属性フィールド内に含まれてもよく、又はイメージにタグ付けされてもよい。メタデータはまた、メタデータとイメージファイル間で一対一対応が確立されるようにして別のファイル内に格納されてもよい。方法は、61の監視に戻る。
第2のセンサによってキャプチャされたデータが、予め定義された基準を満たすとき、メタデータの生成及び格納は、選択的に実行されることができる。閾値比較は、イメージキャプチャ中の身体的状態を表すデータをイメージファイルに関連するメタデータに変換すべきかどうかを判定するために実行されてもよい。
図6は、メタデータが選択的に格納される方法67のフローチャートである。方法67は、図1〜3の携帯電子機器1によって実行されることができる。限定ではなく説明のために、方法67は、イメージ記録との関連で説明する。図5中と同一の参照符号で指定されるステップは、図5を参照して説明したのと同一の方法で実行されることができる。
61において、イメージがキャプチャされるか否か判定される。イメージがキャプチャされるべきである場合、62においてイメージ記録が実行される。さらに、63において、ユーザの身体的状態を表すデータがキャプチャされる。
67において、キャプチャされたデータが予め定義された基準を満たすかどうかを判定するために、キャプチャされたデータが評価される。キャプチャされたデータは、閾値比較の対象とされることができる。説明のため、脈拍数は、ユーザが興奮状態にあるかどうかを判定するために、脈拍値の閾値と比較されることができる。閾値は、以前のメディア記録中に携帯電子機器で測定した脈拍値に基づいて調整されうる。複数の異なる第2のセンサによってキャプチャされたデータは、それぞれ閾値と比較することができ、閾値比較の結果は“AND”又は“OR”論理演算を使用して互いに組み合わせることができる。キャプチャされたデータが予め定義された基準を満たさない場合、方法は68へ進む。68において、記録されたイメージが格納されるが、メタデータは格納されない。
キャプチャされたデータが予め定義された基準を満たす場合、方法は64に進み、メタデータが生成される。65において、メディアファイル及び関連するメタデータが格納される。その後、方法は、61での監視に戻る。
メタデータは、イメージやビデオ等の記録されたメディアにタグ付けされる個人情報である。メタデータは、異なる時間に記録されたが、それらにタグ付けされた類似の個人情報を有する、異なるメディアアイテムをグループ化するために使用されることができる。関連するメタデータに従ってメディアを整理することは、携帯電子機器又はメディアファイルと関連するメタデータが送信されたデバイスにおいて局所的に実行されてもよい。メタデータに従ってメディアを各々整理するために、異なるルールが異なるデバイスによって使用されてもよい。携帯電子機器において局所的にメディアデータを整理するために、処理装置4は、記録されたメディアに関連するメタデータを取得することができ、メディアアイテムをグループ化するため、又は検索基準としてユーザの身体的状態を使用してメディア内の検索を実行するために、メタデータを使用することができる。
図7は、関連付けられたメタデータに従ってメディアアイテムが複数のグループ71〜73にグループ化された、記憶装置70を概略的に示している。メディアアイテムは、記憶装置上で物理的にグループ化される必要はない。グループ化は、論理レベルで実装されうる。説明のため、それにタグ付けされた個人データに従ったメディアアイテムのグループ化は、携帯電子機器のディスプレイを介してユーザに出力するためのメディアの整理を実行することができる。
メディアアイテムのグループ71は、笑っている顔の表情と関連付けられる。グループ71は、2つのメディアファイル74、76を含む。グループ71は、メディアファイル74、76と関連付けられたメタデータをさらに含むことができる。メディアファイル74、76は、第2のイメージセンサ19を使用してキャプチャされたビデオ内で、笑顔が検知されるか否かに基づいて、グループ71に割り当てられる。
メディアアイテムのグループ72は、興奮と関連付けられる。脈拍数は、メディア記録時のユーザの興奮を示し得る。グループ72は、2つのメディアファイル74、76を含む。グループ72は、メディアファイル77、78と関連付けられたメタデータをさらに含むことができる。メディアファイル77、78は、脈拍数を含む基準に基づいてグループ72に割り当てられる。説明のため、イメージ記録中にキャプチャされた脈拍数が閾値を超える場合、メディアファイル77、78は、グループ72に割り当てられる。
メディアアイテムのグループ73は、大変な仕事量に対応する状況と関連付けられる。脈拍数及び血中酸素飽和度が、組み合わせて評価される場合に、そのような状況を示し得る。グループ73は、メディアファイル79を含む。グループ73は、メディアファイル79と関連付けられるメタデータをさらに含むことができる。論理“AND”を使用して組み合わせた、キャプチャされた脈拍値についての第1の閾値比較とキャプチャされた血中酸素飽和度についての第2の閾値比較とを含む基準に基づいて、メディアファイル79はグループ73に割り当てられる。説明のため、イメージ記録中にキャプチャされた脈拍数が第1の閾値を超え、血中酸素飽和度が第2の閾値よりも下である場合に、メディアファイル79はグループ73に割り当てられることができる。
ビデオシーケンスのように、延長された時間ピリオドを超えて記録されるメディアファイルと関連付けられたメタデータは、メディアファイルの個々の部分に割り当てられてもよい。メタデータは、ビデオシーケンスの特定のイメージフレームと関連付けられてもよい。メタデータが、ビデオシーケンスの個々のイメージフレームと別々に関連付けられるとき、メタデータは、ビデオ記録時の特定の身体的状態をもたらすビデオのサブシーケンスを容易に識別するのに使用されることができる。
ユーザの身体的状態を表すデータをキャプチャするのに利用可能な第2のセンサに依存して、他のグループが定義されうる。関連するメタデータが、メディアアイテムを第1のグループ及び異なる第2のグループに割り当てるための基準に従う場合、1つのメディアアイテムが複数のグループに含まれることも可能である。
メディア記録時の身体的状態を示すメタデータは、メディア記録を実行する携帯電子機器1において局所的に使用されるだけでない。メタデータは、無線通信インタフェース9を介して携帯通信ネットワークに送信されうる。そのような送信は、ユーザが、記録されたメディアにタグ付けされた個人センサ情報を携帯通信ネットワークに送信する意思があることを能動的に確認したかどうかに条件付きで依存して、実行されうる。携帯通信ネットワークにおいて、サーバは、メディアファイルと関連付けられたメタデータに基づいて、メディアファイルを送信する処理を実行することができる。説明のため、ソーシャルネットワークにおいては、メディア記録中の各ユーザの身体的状態を示すメタデータは、メディアアイテムをグループに整理し、メディアアイテム内の検索をするなどのために使用されうる。他のデバイスは、関連するメタデータに従ってメディアをグループ化してもよい。説明のため、メディア及び関連するメタデータは、携帯電子機器から他の携帯電子に送信されることができ、他の携帯電子機器において関連するメタデータに従って整理されることができる。異なるデバイスが、メディアを複数のグループに整理するために異なる基準を使用することができる。
図8は、通信システム80の概略図である。通信システム80においては、携帯電子機器81〜83は、メディア及び、任意でメディア記録時の身体的状態を示すメタデータを共有するためにサーバ85と通信する。携帯電子機器81〜83は、サーバ85にメッセージを送信し、又はメッセージを受信するために、無線携帯通信ネットワーク84と通信する。サーバ85は、携帯通信ネットワーク84のコアネットワーク内に含まれることができ、又はそうでなければ、携帯通信ネットワーク84のノードとインタフェース接続されることができる。携帯電子機器81〜83のうちの1つが、イメージ及びメタデータ内に含まれる関連する個人センサ情報を共有する意思があるとき、それはサーバ85にメディア及び関連するメタデータを含むメッセージを送信することができる。
サーバ85は、イメージ及び関連する個人センサ情報を格納するデータベース86を有することができる。データベース86はまた、複数の携帯電子機器についての、イメージ及び関連する個人センサ情報を共有するための接点(contacts)の識別子を定義する情報を含むことができる。
サーバ85上で実行されるメディアオーガナイザモジュール87は、メディアと関連付けられたメタデータに基づく、メディアの処理を実行しうる。説明のために、携帯電子機器81からイメージ及び関連する個人センサ情報を含むメッセージを受信することに応答して、サーバ85は、イメージと関連付けられたメタデータに依存して、このイメージを複数のグループのうち少なくとも1つに割り当てることができる。グループは、メディア記録時のユーザの身体的状態に基づいて選択される。少なくともいくつかの他のユーザ、例えば携帯電子機器82のユーザなどは、携帯電子機器81のユーザが、彼又は彼女の身体的状態についての情報を携帯電子機器82のユーザと共有することに同意する場合に、グループにアクセスできる。
図9は、記録されたメディアと関連付けられたメタデータが、メディアをグループに整理し又はメディア内の検索を実行するための使用される方法90のフローチャートである。方法90は、メディアを記録し、及びユーザの身体的状態を表すデータをキャプチャするために使用された、携帯電子機器1によって実行されうる。方法90は、また、メディアを記録するために使用された携帯電子機器1と異なるデバイス、例えば、図8の通信システム80のサーバ85によって実行されてもよい。メディアアイテムを整理するために使用される、関連するメタデータを各々有する複数のメディアアイテムがある。
91において、身体的状態を示すユーザ入力を受信する。ユーザ入力は、予め定義された身体的状態の限定されたセットのうち少なくとも1つであることができる。そのような身体的状態の例には、“笑顔”、“高脈拍値”、“高い緊張状態(high tension)”、“高い努力(high effort)”、“大変な仕事量(high workload)”等が含まれる。
92において、記憶装置内に格納されたメディアアイテムと関連付けられたメタデータが取得される。メタデータの取得は、メディアファイルの専用フィールド又はメディアファイルに一対一対応で関連付けられる別個のファイルからメタデータを取得することを含むことができる。
93において、ユーザの身体的状態を示すメタデータが、予め定義された基準を満たすか否かが判断される。93における照合は、少なくとも1つの閾値比較を伴うことができる。メタデータが、複数の身体的状態、例えば脈拍値、電気皮膚反応、又は血中酸素飽和度等を示すデータを含む場合、照合には論理演算を含むことができる。このために、複数の閾値比較の結果は、論理“AND”演算子又は論理“OR”演算子に供給されることができる。これは、身体的状態を識別するのに強化された汎用性を提供する。説明のために、メタデータ内に含まれる脈拍値及び血中酸素飽和度値は、メディアが記録されたときユーザが高い努力、高い緊張、又は大変な仕事量の状態にあったかどうかを判定するため互いに組み合わせることができる。
93において照合のために使用される予め定義された基準は、91において受信されるユーザ入力に依存しうる。説明のため、メディアアイテムが高い脈拍値に対応するかどうかを判定するために、メタデータ内の脈拍値が閾値と比較されうる。メタデータ内に含まれうる他の値、例えば、血中酸素レベル等は、この基準については無視されてもよい。メディアアイテムが高い努力状態に対応するかどうかを判定するために、脈拍値が第1の閾値より大きく、血中酸素飽和度が他の閾値より下であるかどうかが判定されることができる。
比較の結果に依存して、94では、メディアアイテムが、メディアアイテムのサブセットに選択的に追加される。91でのユーザ入力によって特定される、メディアアイテムが記録された時の身体的状態をユーザが有することを関連するメタデータが示す場合に、メディアアイテムはサブセットに追加される。
95においては、記憶装置に格納された他のメディアアイテムがあるかどうかが判定される。他のメディアアイテムがある場合、方法は、96に進む。96において、他のメディアアイテムが選択される。方法は、92に戻り、ステップ92から95が繰り返される。この処理において、メディアアイテムが記録された時に、91におけるユーザ入力によって特定される身体的状態をユーザが有することを関連するメタデータが示す場合に、メディアアイテムはサブセットに追加される。
全ての利用可能なメディアアイテムについて93の照合が実行されたと判定される場合、方法は97に進む。97において、サブセット内に含まれるメディアアイテムは、ユーザに出力されることができる。ユーザがある身体的状態を有するメディアアイテムを含むグループが、91における問い合わせ入力に応答してユーザに返される。
メタデータに基づくグループ化は、様々なデバイス、例えば、携帯電子機器や、携帯電子機器から遠く離れたデバイスにおいて実行されることができる。関連するメタデータにしたがってメディアを整理するために使用される基準は、時間と共に変化しうる。説明のため、基準は、例えば、専用のユーザアクションによってアクティブ化することができるユーザ設定に基づく等、ユーザの好みに基づいて調整されることができる。基準は、それぞれのユーザによって実行される手動のグループ化から機械学習に基づいて変更されてもよい。この目的のために、ユーザが手動でメディアファイルをグループ化する方法が監視されてもよく、身体的状態を示す関連するメタデータは、ユーザ定義グループとグループ内のメディアと関連付けられたメタデータ間の相関を自動的に識別するために関連付けられることができる。これにより、メディアファイルをグループ化するための規則は、ユーザによって手動で定義されたグループを監視することによって導き出される情報及び身体的状態を示す関連するメタデータに由来するか、または考慮して調整することができる。基準はまた、複数のユーザによって実行されたアクションからの機械学習に基づいて変更されてもよい。説明のため、複数の異なるユーザがそれぞれメディアアイテムをグループ化する方法は、監視されることができ、各ユーザの身体的状態を示す関連するメタデータは、ユーザによって定義されるグループと相関させることができる。グループ化に使用される基準は、複数のユーザからの機械学習に応じて調整されることができる。更新されたグループ化の基準アルゴリズムは、複数のユーザがそれぞれのメディアのグループ化を実行する方法に基づいて生成されることができる。更新されたグループ化の基準アルゴリズムは、携帯通信ネットワーク又は広域ネットワークのサーバにおいて生成されることができる。更新されたグループ化の基準アルゴリズムは、携帯通信ネットワーク又は広域ネットワーク内のサーバのような中央エンティティで使用されてもよく、及び/又は携帯電子装置における局所使用のために携帯電子機器に配備されてもよい。
携帯電子機器及びメディア記録の方法は、図面を参照して説明してきたが、さらなる実施形態で修正及び変更が実装されてもよい。機器及び装置において、記録されたメディアは、イメージフレームであってもよい。記録されたメディアはまた、ビデオを形成する複数のイメージフレームを含んでもよい。実施形態は、イメージ記録の文脈において説明してきたが、機器及び方法は、ビデオ及び/又はオーディオ記録のような、他の種類のメディア記録にも適用されうる。
さらに説明のために、第2のセンサの特定の実装について説明したが、代替的に又は追加的に他の第2のセンサが使用されることができる。説明のために、少なくとも1つの第2のセンサは、血圧計、温度計、または、心血管センサやフィットネスセンサ等の他のモニタを含んでもよい。
本発明は、特定の好適な実施形態に関して図示及び説明されたが、本明細書を読み理解する当業者であれば均等物及び改変に想到するであろう。本発明は、そのような全ての均等物及び改変を含み、添付された特許請求の範囲によってのみ限定される。
Claims (15)
- メディア(41−44)を記録するための第1のセンサ(2)と、
携帯電子機器(1)のユーザの身体的状態を表すデータ(51−54、55−58)をキャプチャするための少なくとも1つの第2のセンサ(18、19、30)であって、前記第1のセンサ(2)が前記メディア(41−44)を記録することに応答して前記データ(51−54、55−58)をキャプチャするように構成される前記少なくとも1つの第2のセンサ(18、19、30)と、
前記少なくとも1つの第2のセンサ(18、19、30)とインタフェース接続される処理装置(4)であって、
前記少なくとも1つの第2のセンサ(18、19、30)によってキャプチャされた前記データ(51−54、55−58)を取得し、
前記データ(51−54、55−58)に基づいて、前記記録されたメディア(41−44)についてのメタデータ(75)を生成し、前記メタデータ(75)は、前記身体的状態を示し、
前記記録されたメディア(41−44)と関連付けて前記メタデータ(75)を格納させるように構成される前記処理装置(4)と、
を含む、携帯電子機器(1)。 - 前記少なくとも1つの第2のセンサ(18、19、30)は、前記第1のセンサ(2)が前記メディア(41−44)を同時に記録する間に、前記データ(51−54、55−58)をキャプチャするように構成される、請求項1の携帯電子機器。
- 前記処理装置(4)は、
前記キャプチャされたデータ(51−54、55−58)が予め定義された基準を満たすかどうかを照合し、
前記キャプチャされたデータ(51−54、55−58)が予め定義された基準を満たすかどうかに基づいて、前記メタデータ(75)を選択的に格納させるように構成される、請求項1又は2の携帯電子機器。 - 前記予め定義された基準は、少なくとも1つの閾値比較を含む、請求項3の携帯電子機器。
- 前記少なくとも1つの第2のセンサ(18、19、30)は、
第1の身体的状態を表す第1のデータ(51−54)、及び前記第1の身体的状態と異なる第2の身体的状態を表す第2のデータ(55−58)をキャプチャするように構成され、
前記処理装置(4)は、
前記第1のデータ(51−54)について第1の閾値比較を実行し、
前記第2のデータ(55−58)について第2の閾値比較を実行し、
前記第1の閾値比較及び前記第2の閾値比較両方の結果に基づいて、前記メタデータ(75)を選択的に生成するように構成される、
請求項3または4の携帯電子機器。 - 前記記録されたメディア(41−44)及び前記メディア(41−44)と関連付けられる前記メタデータ(75)を格納するように構成される記憶装置(5)をさらに含み、
前記処理装置(4)は、前記メディア(41−44)に各々関連付けられる前記メタデータ(75)に基づいて、前記記憶装置(5)に格納されたメディア(41−44)を処理するように構成される、先のクレームのいずれかの携帯電子機器。 - 前記処理装置(4)は、前記メディア(41−44)と関連付けられる前記メタデータ(75)に基づいて、前記記憶装置に格納された前記メディア(41−44)内の検索を実行するように構成される、請求項6の携帯電子機器。
- 前記処理装置(4)は、前記メディア(41−44)と関連付けられる前記メタデータ(75)に基づいて、前記記憶装置(5)に格納されたメディア(41−44)を複数のグループ(71−73)に整理するように構成される、請求項6又は7の携帯電子機器。
- 前記メディア(41−44)と関連付けられる前記メタデータ(75)は、第1の身体的状態を示す第1のメタデータと、前記第1の身体的状態と異なる第2の身体的状態を示す第2のメタデータと、を含み、
前記処理装置(4)は、前記メディア(41−44)と各々関連付けられる前記第1のメタデータ及び前記第2のメタデータの両方に基づいて、前記記憶装置に格納された前記メディア(41−44)を処理するように構成される、請求項6〜8のいずれかの携帯電子機器。 - 前記第1のセンサは、イメージセンサ(2)を含む、先のクレームのいずれかの携帯電子機器。
- 前記イメージセンサ(2)は、複数のイメージフレーム(41−44)を含むビデオを記録するように構成され、
前記少なくとも1つの第2のセンサ(18、19、30)は、前記複数のイメージフレーム(41−44)が記録されている間、前記データ(51−54、55−58)をキャプチャするように構成される、請求項10の携帯電子機器。 - 前記処理装置(4)は、前記複数のイメージフレーム(41−44)が記録されている間にキャプチャされた前記データ(51−54、55−58)に基づいて、前記ビデオの前記複数のイメージフレーム(41−44)のサブセットについて、選択的に前記メタデータ(75)を格納させるように構成される、請求項11の携帯電子機器。
- 前記処理装置(4)を前記少なくとも1つの第2のセンサ(18、19、30)のうちの第2のセンサ(30)とインタフェース接続する、無線通信回路(8、38)をさらに含む、先の請求項のいずれかの携帯電子機器。
- 携帯電子機器(1)を使用してメディア(41−44)を記録する方法であって、
メディア(41−44)を記録することと、
前記携帯電子機器のユーザの身体的状態を表すデータ(51−54、55−58)をキャプチャすることと、前記データ(51−54、55−58)は前記メディア(41−44)が記録される間にキャプチャされ、
前記キャプチャされたデータ(51−54、55−58)に基づいて、前記記録されたメディア(41−44)についてのメタデータ(75)を生成することと、前記メタデータ(75)は、前記身体的状態を示し、
前記記録されたメディア(41−44)と関連付けて前記メタデータ(75)を格納することと、
を含む、方法。 - 請求項1〜13のいずれかの携帯電子機器(1)を使用して実行される、請求項14の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161564409P | 2011-11-29 | 2011-11-29 | |
US61/564,409 | 2011-11-29 | ||
PCT/EP2012/000170 WO2013079124A1 (en) | 2011-11-29 | 2012-01-16 | Portable electronic equipment and method of recording media using a portable electronic equipment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015505430A true JP2015505430A (ja) | 2015-02-19 |
Family
ID=45540854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014543780A Pending JP2015505430A (ja) | 2011-11-29 | 2012-01-16 | 携帯電子機器及び携帯電子機器を使用してメディアを記録する方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9380257B2 (ja) |
EP (1) | EP2786555B1 (ja) |
JP (1) | JP2015505430A (ja) |
CN (1) | CN103959756B (ja) |
WO (1) | WO2013079124A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016220158A (ja) * | 2015-05-26 | 2016-12-22 | 株式会社Jvcケンウッド | タギング装置、タギングシステム、タギング方法及びタギングプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140153900A1 (en) * | 2012-12-05 | 2014-06-05 | Samsung Electronics Co., Ltd. | Video processing apparatus and method |
US20150009364A1 (en) * | 2013-06-25 | 2015-01-08 | Glen Anderson | Management and access of media with media capture device operator perception data |
EP3025216A4 (en) | 2013-07-22 | 2017-04-12 | Fossil Group, Inc. | Methods and systems for displaying representations of facial expressions and activity indicators on devices |
US9703770B2 (en) * | 2014-03-19 | 2017-07-11 | International Business Machines Corporation | Automated validation of the appearance of graphical user interfaces |
CN116389554A (zh) * | 2017-03-08 | 2023-07-04 | 理查德.A.罗思柴尔德 | 用于提高用户在体育活动中的表现的系统及其方法 |
JP7448659B2 (ja) * | 2019-12-19 | 2024-03-12 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | ソフトウェアを更新する方法および通信デバイス |
WO2021138732A1 (en) * | 2020-01-06 | 2021-07-15 | Myant Inc. | Methods and devices for electronic communication enhanced with metadata |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178593A (ja) * | 2002-11-25 | 2004-06-24 | Eastman Kodak Co | 画像処理方法及びシステム |
JP2005222494A (ja) * | 2004-02-09 | 2005-08-18 | Brother Ind Ltd | 統合ファイル作成装置及び統合ファイル作成システム |
WO2005096613A1 (en) * | 2004-03-11 | 2005-10-13 | Eastman Kodak Company | Device and method for linking psychophysiological parameters to an image |
JP3132791U (ja) * | 2007-04-03 | 2007-06-21 | 道政 徐 | 複数の身体データを測定できる携帯電話 |
JP2008118527A (ja) * | 2006-11-07 | 2008-05-22 | Sony Corp | 撮像装置、表示装置、撮像方法、表示方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3132791B2 (ja) | 1991-12-18 | 2001-02-05 | 株式会社クラレ | 導電性複合繊維 |
JP4649944B2 (ja) * | 2004-10-20 | 2011-03-16 | 富士ゼロックス株式会社 | 動画像処理装置、動画像処理方法およびプログラム |
EP2453386B1 (en) * | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
-
2012
- 2012-01-16 WO PCT/EP2012/000170 patent/WO2013079124A1/en active Application Filing
- 2012-01-16 US US13/979,910 patent/US9380257B2/en active Active
- 2012-01-16 EP EP12701316.7A patent/EP2786555B1/en active Active
- 2012-01-16 CN CN201280058776.8A patent/CN103959756B/zh not_active Expired - Fee Related
- 2012-01-16 JP JP2014543780A patent/JP2015505430A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178593A (ja) * | 2002-11-25 | 2004-06-24 | Eastman Kodak Co | 画像処理方法及びシステム |
JP2005222494A (ja) * | 2004-02-09 | 2005-08-18 | Brother Ind Ltd | 統合ファイル作成装置及び統合ファイル作成システム |
WO2005096613A1 (en) * | 2004-03-11 | 2005-10-13 | Eastman Kodak Company | Device and method for linking psychophysiological parameters to an image |
JP2008118527A (ja) * | 2006-11-07 | 2008-05-22 | Sony Corp | 撮像装置、表示装置、撮像方法、表示方法 |
JP3132791U (ja) * | 2007-04-03 | 2007-06-21 | 道政 徐 | 複数の身体データを測定できる携帯電話 |
Non-Patent Citations (2)
Title |
---|
JPN6016011349; 呉 海元 他: '色彩動画像からの頭部ジェスチャ認識システム' 情報処理学会論文誌 Transactions of Information Processing Society of Japan 第40巻 第2号, 19990215, p.577〜584, 社団法人情報処理学会 * |
JPN6016011350; 呉 海元 他: 'ジェスチャ認識のための連続DPの改良' システム制御情報学会論文誌 第14巻 第6号, 20010615, p.1〜8, システム制御情報学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016220158A (ja) * | 2015-05-26 | 2016-12-22 | 株式会社Jvcケンウッド | タギング装置、タギングシステム、タギング方法及びタギングプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2786555B1 (en) | 2018-11-28 |
WO2013079124A1 (en) | 2013-06-06 |
US20130329081A1 (en) | 2013-12-12 |
US9380257B2 (en) | 2016-06-28 |
EP2786555A1 (en) | 2014-10-08 |
CN103959756B (zh) | 2016-08-31 |
CN103959756A (zh) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015505430A (ja) | 携帯電子機器及び携帯電子機器を使用してメディアを記録する方法 | |
US8694495B2 (en) | Information processing device, information processing terminal, information processing method, and program | |
CN104919396B (zh) | 在头戴式显示器中利用身体握手 | |
US9646046B2 (en) | Mental state data tagging for data collected from multiple sources | |
JP6365915B2 (ja) | 応対装置、応対システム、応対方法、及び記録媒体 | |
CN105407794A (zh) | 利用习惯的诊断装置和诊断管理装置及利用其的诊断方法 | |
CN103136321A (zh) | 多媒体信息处理方法和装置及移动终端 | |
CN107097234A (zh) | 机器人控制系统 | |
JP2015092646A (ja) | 情報処理装置、制御方法、およびプログラム | |
WO2015074434A1 (zh) | 一种联系人的排序方法及装置 | |
KR20140032651A (ko) | 감성 피드백 서비스 방법 및 이를 적용한 스마트 디바이스 | |
US8526673B2 (en) | Apparatus, system and method for recognizing objects in images using transmitted dictionary data | |
WO2017175447A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2020071086A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP4649944B2 (ja) | 動画像処理装置、動画像処理方法およびプログラム | |
JP2023034419A (ja) | システム、推定サーバ、それらの制御方法およびプログラム | |
JP2014144052A (ja) | 感情推定方法、装置及びプログラム | |
WO2023105887A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
KR101554966B1 (ko) | 심리 검사 결과를 판독하는 방법, 장치 및 기록매체 | |
US20240223884A1 (en) | Image capturing method | |
WO2023198092A1 (zh) | 媒体文件管理方法、装置、设备及存储介质 | |
KR20240021624A (ko) | 어노테이션을 포함하는 영상 획득 방법 및 디바이스 | |
Kim et al. | Personalized life log media system in ubiquitous environment | |
JP2003134454A5 (ja) | ||
CN107079075A (zh) | 有效传送生活日志照相机捕获到的数字图像的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151007 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160329 |