JP2004533640A - 人についての情報を管理する方法及び装置 - Google Patents
人についての情報を管理する方法及び装置 Download PDFInfo
- Publication number
- JP2004533640A JP2004533640A JP2002584244A JP2002584244A JP2004533640A JP 2004533640 A JP2004533640 A JP 2004533640A JP 2002584244 A JP2002584244 A JP 2002584244A JP 2002584244 A JP2002584244 A JP 2002584244A JP 2004533640 A JP2004533640 A JP 2004533640A
- Authority
- JP
- Japan
- Prior art keywords
- information
- person
- user
- information representing
- atmosphere
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 230000008921 facial expression Effects 0.000 claims description 13
- 230000002996 emotional effect Effects 0.000 abstract description 9
- 230000036651 mood Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Collating Specific Patterns (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
自然人についての情報を供給する方法及び電子装置(好ましくは、携帯情報端末、PDA又はパームコンピュータ)であって、前記自然人のオーディオデータを記録するマイク(606)及び/又はイメージデータを記録するカメラ(602)を有する方法及び電子装置である。前記自然人の身元を認識するために前記オーディオデータ及び/又はビジュアルデータを処理し、認識された前記身元についての記憶された情報を検索するためのメモリを備えるプロセッサ(603、607、604)が設けられる。ユーザインタフェース(605)が、ユーザに前記記憶された情報を引き渡すために用いられる。前記情報は、前記人についての名刺の情報及び/又は他の情報を有し得る。更に、前記人の感情的/個人的な状態/雰囲気を表わす情報が、記録され、検索され、前記ユーザインタフェース(605)を介して前記ユーザに供給されても良い。
Description
【技術分野】
【0001】
本発明は、自然人(physical person)についての情報を供給する装置であって、前記自然人のオーディオ及び/又はイメージデータを記録する記録器を有する装置に関する。
【0002】
更に、本発明は、自然人についての情報を供給する方法であって、前記自然人のオーディオ/イメージデータを記録するステップを有する方法に関する。
【背景技術】
【0003】
従来技術において、人々の顔の表情及び音声の表現(vocal expression)の記録を処理するための様々な技術的解決法が提案されている。この処理の結果は、とりわけアクセス制御アプリケーションのために人を同定するのに用いられている。このようなアプリケーションは、例えば、音声認識(話者認識)技術又は顔認識技術のいずれかに基づいて、ユーザを認識することに基づいている。更に、人の雰囲気(mood)又は感情的な状態(emotional state)を認識するための様々な技術が提案されている。
【0004】
ICICS 1997の情報、通信及び信号処理についての国際会議の会議の議事録(IEEE, vol.1, pp. 397-401)は、文化(cultures)間の感情の翻訳(emotion translation)のために顔及び音声の表情を記録するためにビデオとオーディオとの組み合わせを用いるコンピュータマルチメディアの方法を開示している。
【0005】
独国特許公報第DE19502627A1号は、互いと連絡(contact)をつけることを望む人々に連絡を開始する手段を供給する方法及び送信/受信装置を開示している。連絡を求める人は、喜んで個人的な連絡をつける気のある人によって受信され得る信号を送信しても良く、前記連絡を求める人は、その結果として、音響信号又は視覚信号によって通知されるかもしれない。
【0006】
独国特許公報第DE19801666A1号は、受け取られた特徴情報を検出し、この受け取られた特徴情報を予め記憶された特徴情報と突き合わせて、完全な又は部分的な一致を検出し、示す方法を開示している。
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術は、ほとんどの人々が、あまり頻繁には会わない人々を覚えるのに苦労するという問題に対して如何なる解決策も開示していない。幾つかの−典型的にはビジネスに関連する−状況において、人々は、彼らが特定の人の詳細を思い出すのに役立つよう人の名刺を持つかもしれない。しかしながら、彼らは、たとえ彼らの前に前記人の名刺を持っていたとしても、該人を思い出すことが出来ないかもしれない。
【0008】
我々があまり頻繁には会わない人々との良好な関係を得ることにおいて、我々が以前に会った人々の我々の心の中での印象を思い出すことが出来ることは、極めて重要であり得る。
【課題を解決するための手段】
【0009】
上記の問題は、冒頭の段落に記載の電子装置が、自然人の身元(identity)を認識するためにオーディオ及び/又はビジュアルデータを処理し、認識された前記身元について記憶された情報を検索するメモリを備えるプロセッサと、前記記憶された情報をユーザに供給するユーザインタフェースとを更に有する場合に解決される。
【0010】
その結果として、電子装置は、ユーザがあまり頻繁に会わない人を思い出すのを手助けすることが出来る。これは、その結果として、仕事上の関係又は人間関係の改善を得る助けとなり得る。
【0011】
それにより、人々を思い出すことがより容易になることから、誰が誰であろうかと考えるのに払われる労力が少なくなる。更に、様々な人々についての情報を混同することによりもたらされる考え違いを直すユーザの労力が削減され得る。これは、その結果として、時間のより効率的な使用をもたらし得る。
【0012】
好都合な実施例において、装置は、オーディオデータを取得するマイク、及びイメージデータを取得するカメラを有する。非常に小さい物理的な寸法を持つマイク及びカメラの両方が市販されていることから、これらは非常に小さな携帯型の器具に一体的に組み込まれ得る。
【0013】
更に、プロセッサは、人の音声のトーンを決定するためにオーディオデータを処理し、前記音声のトーンを表わす情報(representation)を記憶するよう構成され得る。これは、前記音声のトーンは、典型的には、前記人についての、とりわけ、話している人の感情的な状態又は雰囲気についての多くの情報を有するという点で都合がよい。
【0014】
更に、プロセッサは、音声のトーンを表わす情報を、雰囲気を表わす情報と関連づけるよう構成され得る。それにより、所与の音声のトーンは、予め規定された雰囲気と関連づけられ得る。
【0015】
その上、プロセッサは、人の顔の表情を決定するためにイメージデータを処理し、前記顔の表情を表わす情報を記憶するよう構成され得る。典型的には、顔の表情は、人の感情的な状態又は雰囲気と密接に関連づけられる。これは、その結果として、人の感情的な状態又は雰囲気を登録する又は認識するための良い基準(basis)を装置に供給する。
【0016】
プロセッサが、顔の表情を表わす情報を、雰囲気を表わす情報と関連づけるよう構成される場合に、顔の表情は、予め規定されたタイプの雰囲気に関連づけられ得る。
【0017】
プロセッサは、顔の表情を表わす情報及び音声のトーンを表わす情報を、雰囲気を表わす情報と組み合わせるよう構成され得る。それにより、雰囲気のより詳細な又はロバストな登録/認識が達成され得る。
【0018】
好ましい実施例において、音声のトーンを表わす情報は、発話速度(speaking rate)、ピッチ曲線(pitch contour)又は音声の大きさを表わす値を有する。
【0019】
オーディオ/イメージデータの処理は、人の特徴を示すデータの生成を含む。それにより、人は、記録データに基づいて認識され得る。
【0020】
好ましい実施例において、装置は、人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するよう構成される。それにより、ユーザは、所与の人に関する該ユーザ自身の覚え書又は他のタイプの情報を付加することが出来る。
【0021】
これは、前記情報がテキスト、ピクチャ又はイメージシーケンスを有する場合にとりわけ好都合である。
【0022】
装置が、顔の表情を表わす情報及び/又は音声のトーンを表わす情報の履歴を記憶するよう構成される場合、ユーザは人の履歴を集める(compile)ことが出来る。これは、その結果として、ユーザが前記人をより良く知るようになるのを手助けすることが出来る。
【0023】
装置が雰囲気を表わす情報の履歴を記憶するよう構成される場合、人のより個人的な知識が得られ得る。
【0024】
装置は、雰囲気を表わす情報の履歴において、以前に記憶された雰囲気を表わす情報と現在の雰囲気を表わす情報を比較し、この比較についてユーザに情報を引き渡すよう構成され得る。これは、ユーザが記録の履歴を詳細に調べるより素早く人についての情報を得る助けとなり得る。
【0025】
本発明は、方法にも関する。
【0026】
以下で、好ましい実施例と関連して、図面を参照して本発明をより完全に説明する。
【発明を実施するための最良の形態】
【0027】
図1は、人についての情報を検索する方法の第1フローチャートを示している。このフローチャートは、前記方法の最初のステップ、ステップ102につながるステップ101において開始し、ステップ102において、携帯情報端末(PDA)を携帯するユーザが人と会う。ユーザは、以前にこの人に会ったことがあるだろうかと思いながらこの人と話し始める。その結果、ユーザは、会話が続いている間に、ステップ103においてユーザのPDAにおける個人情報検索(Personal Information Retrieval)(PIR)機能をイネーブルにする。
【0028】
会話が進行している間、PDAは、オーディオデータを得るためにステップ109においてこの人の音声を記録する。オーディオデータは、この人の音声によってこの人を同定するためにPDAにおいて処理される。この人が同定され得る場合には、PDAは、この人についての情報を見つけるためにデータベースに照会する。これは、ステップ108において行われる。照会の結果が、同定された人についての情報が見つけられることを示す場合には、ユーザは、ユーザが現在話している人についての情報が見つけられることを通知される。この情報はステップ107においてユーザに供給される。その結果として、ユーザは、ステップ105において、この人についての情報でアップデートされることから、以前にこの人に会ったことがあるだろうかと思うのをやめ得る。この情報は、この人についてのユーザ自身の覚え書を有しても良い。その後、会話は、続いていても良いし、又はステップ106においてこのフローチャートが終了する前に終了しても良い。それによって、ユーザは、例えば、電子名刺にこの人の名前、(勤務先の)住所などを供給することによって、この人についての情報でアップデートされる。
【0029】
図2は、人についての情報を検索する方法の第2フローチャートを示している。このフローチャートは、前記方法の最初のステップ、ステップ202につながるステップ201において開始し、ステップ202において、ユーザは人と会う。ユーザは、確信はないが、この人に会ったことがあるに違いないと思いながらこの人と話し始める。今度も、ユーザは、ステップ203においてユーザのPDAにおける個人情報検索機能をイネーブルにする。これは、ステップ204においてユーザが、会話が進行している間この人のオーディオデータを記録していることを含む。それに応じて、オーディオデータがステップ210においてPDAにより記録される。しかしながら、イメージ/ビデオデータもまた記録され得る。
【0030】
この記録中又はその直後に、このデータは、この人の音声によってこの人を同定するためにこの人を認識するために処理される。この人のイメージ/ビデオデータが記録される場合には、この人は、この人の顔又は全体的な外観によって同定され得る。
【0031】
この人が同定され得る場合には、PDAは、ステップ208において、この人についての情報を見つけるためにデータベースDBに照会する。照会の結果が、同定された人についての情報が見つけられることを示す場合には、ユーザは、ユーザが会っている人についての情報が見つけられることを通知され、この情報はステップ207においてユーザに供給される。その結果として、ユーザは、ステップ205においてこの情報でアップデートされる。その後、会話は、ステップ211において続いていても良い。
【0032】
会話中又はその後、ユーザは、ユーザが今しがた会話中に取得したこの人についての情報を付加する、編集する又はアップデートするためにステップ212及び213においてPDAを操作することが出来る。
【0033】
この方法は、ステップ206において終了する。オーディオデータを記録することに加えて、又はオーディオデータを記録することの代わりとして、ユーザは、人のイメージ又はビデオシーケンスを記録することが出来る。後に、記録されたイメージデータは、この人を同定するために処理され得る。
【0034】
図3は、人についての情報を検索する装置の第1フローチャートを示している。この方法は、自然人についての情報を思い出す手段をユーザに供給するために、ユーザのコマンドに応じてPDAにより実行される。
【0035】
ステップ301においてユーザのコマンドを受け取ると、オーディオデータ及びイメージデータの並行記録が、各々ステップ303及び302において行なわれる。これらの記録中又はこの記録が終了される直後に、ビデオ及びイメージデータは、オーディオ及びビデオデータから、所与の人を認識するために用いられ得るフィーチャを抽出するために処理される。
【0036】
ステップ307において、フィーチャプロファイル中に配設される抽出フィーチャが、以前に記憶されたフィーチャプロファイルに適合するか否かが確認される。適合が検出される(Yesである)場合には、このプロファイルと関連する人がステップ308において同定され、以前記憶された、この人と関連する情報が検索される。その後、ステップ305において、この情報はユーザインタフェースによってユーザに供給される。
【0037】
一方、適合が検出されない(Noである)場合には、仮の無名の人(temporary anonymous person)がステップ309において作成される。即ち、フィーチャプロファイルが、ユーザ指定の名前をこのプロファイルと関連づけることなしに記憶される。ステップ310において、仮の無名の人に対する参照情報(reference)が、その後のユーザによる情報の付加のために作成される。これは、その場合に、ユーザは、人との会話が終了した際に人についての情報を入力することを許容されることから好都合である。
【0038】
図4は、人についての情報を検索する装置の第2フローチャートを示している。同様に、この方法は、自然人についての情報を思い出す手段をユーザに供給するために、ユーザのコマンドに応じてPDAにより実行される。このフローチャートにおいては、ユーザに、人の雰囲気及び/又は感情的/個人的な状態(emotional/personal status)についての情報を記憶し、検索するオプションが供給される。
【0039】
ステップ401においてユーザのコマンドを受け取ると、オーディオデータ及びイメージデータの並行記録が、各々ステップ403及びステップ402において行なわれる。これらの記録中又はこの記録が中止される直後に、ステップ404において、ビデオ及びイメージデータは、オーディオ及びビデオデータから、所与の人を認識するために用いられ得るフィーチャを抽出するために処理される。
【0040】
ステップ407において、フィーチャプロファイル中に配設される抽出フィーチャが、以前に記憶されたフィーチャプロファイルに適合するか否かが確認される。適合が検出される(Yesである)場合には、このプロファイルと関連する人がステップ408において同定され、以前記憶された、この人と関連する情報が検索される。次のステップ411において、ビデオ及びイメージデータは、オーディオ及びビデオデータから、同定された人の雰囲気又は感情的/個人的な状態を認識するために用いられ得るフィーチャを抽出するために処理される。
【0041】
その後、ステップ405において、この人についての情報及びこの人の雰囲気又は感情的/個人的な状態が、ユーザインタフェースによってユーザに供給される。
【0042】
一方、適合が検出されない(ステップ407においてNoである)場合には、仮の無名の人がステップ409において作成される。ステップ410において、ユーザは、その後の情報の付加のために仮の無名の人に対する参照情報を作成する。
【0043】
次のステップ412において、ユーザは、ユーザが人についての情報を編集する及び/又はアップデートすることを可能にするユーザインタフェースにアクセスできる。ユーザがこのようなオプションを選択する場合には、ステップ413においてエディタがオープンされる。
【0044】
同様に、ステップ414において、ユーザに、人の雰囲気又は感情的/個人的な状態についての情報を編集する及び/又はアップデートするオプションが供給される。ユーザがこの情報を変更することを選択する場合には、ステップ415においてエディタがオープンされる。
【0045】
この方法はステップ406において終了する。
【0046】
図5は、人についての情報を記憶し、検索する装置のブロック図を示している。
【0047】
参照符号501は、一般に、携帯情報端末(PDA)を示す。PDAは、基本的なオペレーティングシステム(OS)のプロセスと、本発明による方法を実施するためのプログラムを含むアプリケーションのプロセス/プログラムとの両方を実行する中央処理装置509を有する。
【0048】
イメージデータを処理するために、この処理装置は、カメラ502からのイメージデータを前処理するためのイメージプロセッサ503に動作的に接続される。
【0049】
同様に、オーディオデータを処理するために、この処理装置はまた、マイク504からのオーディオデータを前処理するためのオーディオプロセッサ505に動作的に接続される。
【0050】
ユーザがPDAと対話することを可能にするために、PDAは、対話型ディスプレイ506及びスピーカ507を備えるユーザインタフェース手段を有する。対話型ディスプレイは、イメージ及びビデオシーケンスを含むグラフィック並びにテキストを表示することによりユーザに情報を供給することが出来る。
【0051】
PDAは、対話型ディスプレイがタッチセンシティブであることでユーザからの入力を受け取ることが出来る。それにより、対話型ディスプレイ上にキーボードを出現させることが可能である。その代わりに又は付加的に、ディスプレイ上でのユーザの手書きが解釈(interpret)され得る。
【0052】
人についての情報を記憶するために、PDAは、構造化され、探索可能なようにこの情報を記憶するためのデータベース508を有する。
【0053】
据え置き型コンピュータ、インターネット上のコンピュータ、他のPDA、又は移動体電話を含む他の電気機器と通信する目的のために、PDAは入力/出力(I/O)インタフェース510を有する。I/Oインタフェースは、ワイヤレスインタフェース、例えば、所謂IrDaポート又はブルートゥースインタフェースであっても良い。
【0054】
PDAは、携帯型の装置又は移動体装置であることから、PDAは、主として充電式バッテリ511によって給電される。
【0055】
図6は、人についての情報を処理する装置の装置の第2ブロック図を示している。
【0056】
このブロック図は、4つの主要な処理手段、即ち、イメージプリプロセッサ603、オーディオプリプロセッサ607、人認識プロセッサ604及び雰囲気認識プロセッサ608を有する。更に、イメージプリプロセッサ603はカメラ602からイメージデータを取得し、オーディオプリプロセッサ607はマイク606からオーディオデータを取得する。ユーザインタフェース605を介して、ユーザに、認識された人の身元又は認識された/登録された雰囲気についての情報を登録する手段が供給される。この情報はデータベース609中に記憶される。
【0057】
好ましい実施例において、イメージプリプロセッサ603は、人々の顔を表わすイメージデータを処理するよう構成される。これは、人々の顔は、1)特定の人を同定するため、及び2)人の雰囲気を決定するために用いられ得る多くの情報を有することから、好都合である。
【0058】
オーディオプリプロセッサ607は、人々の音声及び人々の音声のトーンを表わすオーディオデータを処理するよう構成される。これは、人々の音声は、信号処理技術により抽出され得る、個々の人の特徴を示す情報を有することから好都合である。同様に、ほとんどの状況において、人の音声のトーンは該人の雰囲気を表わす。
【0059】
斯くして、プリプロセッサ603及び607は、1)特定の人を同定するため、及び2)人の雰囲気を決定するために用いられ得るフィーチャを抽出するよう構成される。
【0060】
特定の人の同定に関連するフィーチャは人認識プロセッサ604に供給され、人の雰囲気の決定に関連するフィーチャは雰囲気認識プロセッサ608に供給される。それにより、所与のイメージ及び/又はオーディオの記録が、人の身元を認識するためにも、人の雰囲気を決定するためにも用いられ得る。
【0061】
上記のプロセッサは、所与の人について様々な雰囲気又は音声のトーンの間の区別をするためのイメージ及びオーディオデータの処理において非常に効率的であるが、ユーザが登録された雰囲気情報を修正することが出来ると都合がよい。それにより、ユーザは、関係のある人(associated person)の雰囲気と音声のトーンとの間の関係を変更することが出来る。ユーザインタフェース605はこのための手段を供給する。
【0062】
更に、ユーザインタフェース605は、人についての情報を登録する、アップデートする又は編集するのに用いられ得る。
【0063】
前記ブロック図は、PDA、移動体電話、パソコン、ラップトップコンピュータ、クライアント-サーバ・コンピュータシステム、又は別のタイプの電子機器によって実施され得る。
【0064】
図7は、カメラユニット及びマイクを備える携帯情報端末(PDA)を示している。参照符号701によって一般に示されているPDAのこの実施例において、PDAは、対話型ディスプレイ703、マイク708及びボタン704を有する。PDAは、カメラユニット702に接続するためのインタフェース705を持つ。カメラユニット702は、該カメラユニットから直接的に、又はPDAから操作され得るカメラ709を有する。カメラで記録されたイメージはインタフェース705を介してPDAに転送される。
【0065】
人について記憶される情報は、名前、住所、会社名、電子メールアドレス、ウェブアドレス、地位、専門技術(expertise)などを備える名刺を含み得ることに注意されたい。更に、この情報は、この人との面談の内容についての覚え書などを含み得る。
【0066】
更に、人の音声のトーンの記憶/処理の代わりに又は加えて、人の声紋が記憶/処理され得ることに注意されたい。人の声紋は、音声データに基づいて人を同定するために音声データを処理することにより抽出され得る。人の声紋は、人に特有のものであるとみなされることができ、即ち、声紋は、とりわけ人の物理的な発声系(physical voice system) の大きさ、例えば該人の声道の長さ及び幅によって決定される特徴である。
【図面の簡単な説明】
【0067】
【図1】人についての情報を検索する方法の第1フローチャートを示す。
【図2】人についての情報を検索する方法の第2フローチャートを示す。
【図3】人についての情報を検索する装置の第1フローチャートを示す。
【図4】人についての情報を検索する装置の第2フローチャートを示す。
【図5】人についての情報を記憶し、検索する装置のブロック図を示す。
【図6】人についての情報を処理する装置の第2ブロック図を示す。
【図7】カメラユニット及びマイクを備える携帯情報端末(PDA)を示す。
【0001】
本発明は、自然人(physical person)についての情報を供給する装置であって、前記自然人のオーディオ及び/又はイメージデータを記録する記録器を有する装置に関する。
【0002】
更に、本発明は、自然人についての情報を供給する方法であって、前記自然人のオーディオ/イメージデータを記録するステップを有する方法に関する。
【背景技術】
【0003】
従来技術において、人々の顔の表情及び音声の表現(vocal expression)の記録を処理するための様々な技術的解決法が提案されている。この処理の結果は、とりわけアクセス制御アプリケーションのために人を同定するのに用いられている。このようなアプリケーションは、例えば、音声認識(話者認識)技術又は顔認識技術のいずれかに基づいて、ユーザを認識することに基づいている。更に、人の雰囲気(mood)又は感情的な状態(emotional state)を認識するための様々な技術が提案されている。
【0004】
ICICS 1997の情報、通信及び信号処理についての国際会議の会議の議事録(IEEE, vol.1, pp. 397-401)は、文化(cultures)間の感情の翻訳(emotion translation)のために顔及び音声の表情を記録するためにビデオとオーディオとの組み合わせを用いるコンピュータマルチメディアの方法を開示している。
【0005】
独国特許公報第DE19502627A1号は、互いと連絡(contact)をつけることを望む人々に連絡を開始する手段を供給する方法及び送信/受信装置を開示している。連絡を求める人は、喜んで個人的な連絡をつける気のある人によって受信され得る信号を送信しても良く、前記連絡を求める人は、その結果として、音響信号又は視覚信号によって通知されるかもしれない。
【0006】
独国特許公報第DE19801666A1号は、受け取られた特徴情報を検出し、この受け取られた特徴情報を予め記憶された特徴情報と突き合わせて、完全な又は部分的な一致を検出し、示す方法を開示している。
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術は、ほとんどの人々が、あまり頻繁には会わない人々を覚えるのに苦労するという問題に対して如何なる解決策も開示していない。幾つかの−典型的にはビジネスに関連する−状況において、人々は、彼らが特定の人の詳細を思い出すのに役立つよう人の名刺を持つかもしれない。しかしながら、彼らは、たとえ彼らの前に前記人の名刺を持っていたとしても、該人を思い出すことが出来ないかもしれない。
【0008】
我々があまり頻繁には会わない人々との良好な関係を得ることにおいて、我々が以前に会った人々の我々の心の中での印象を思い出すことが出来ることは、極めて重要であり得る。
【課題を解決するための手段】
【0009】
上記の問題は、冒頭の段落に記載の電子装置が、自然人の身元(identity)を認識するためにオーディオ及び/又はビジュアルデータを処理し、認識された前記身元について記憶された情報を検索するメモリを備えるプロセッサと、前記記憶された情報をユーザに供給するユーザインタフェースとを更に有する場合に解決される。
【0010】
その結果として、電子装置は、ユーザがあまり頻繁に会わない人を思い出すのを手助けすることが出来る。これは、その結果として、仕事上の関係又は人間関係の改善を得る助けとなり得る。
【0011】
それにより、人々を思い出すことがより容易になることから、誰が誰であろうかと考えるのに払われる労力が少なくなる。更に、様々な人々についての情報を混同することによりもたらされる考え違いを直すユーザの労力が削減され得る。これは、その結果として、時間のより効率的な使用をもたらし得る。
【0012】
好都合な実施例において、装置は、オーディオデータを取得するマイク、及びイメージデータを取得するカメラを有する。非常に小さい物理的な寸法を持つマイク及びカメラの両方が市販されていることから、これらは非常に小さな携帯型の器具に一体的に組み込まれ得る。
【0013】
更に、プロセッサは、人の音声のトーンを決定するためにオーディオデータを処理し、前記音声のトーンを表わす情報(representation)を記憶するよう構成され得る。これは、前記音声のトーンは、典型的には、前記人についての、とりわけ、話している人の感情的な状態又は雰囲気についての多くの情報を有するという点で都合がよい。
【0014】
更に、プロセッサは、音声のトーンを表わす情報を、雰囲気を表わす情報と関連づけるよう構成され得る。それにより、所与の音声のトーンは、予め規定された雰囲気と関連づけられ得る。
【0015】
その上、プロセッサは、人の顔の表情を決定するためにイメージデータを処理し、前記顔の表情を表わす情報を記憶するよう構成され得る。典型的には、顔の表情は、人の感情的な状態又は雰囲気と密接に関連づけられる。これは、その結果として、人の感情的な状態又は雰囲気を登録する又は認識するための良い基準(basis)を装置に供給する。
【0016】
プロセッサが、顔の表情を表わす情報を、雰囲気を表わす情報と関連づけるよう構成される場合に、顔の表情は、予め規定されたタイプの雰囲気に関連づけられ得る。
【0017】
プロセッサは、顔の表情を表わす情報及び音声のトーンを表わす情報を、雰囲気を表わす情報と組み合わせるよう構成され得る。それにより、雰囲気のより詳細な又はロバストな登録/認識が達成され得る。
【0018】
好ましい実施例において、音声のトーンを表わす情報は、発話速度(speaking rate)、ピッチ曲線(pitch contour)又は音声の大きさを表わす値を有する。
【0019】
オーディオ/イメージデータの処理は、人の特徴を示すデータの生成を含む。それにより、人は、記録データに基づいて認識され得る。
【0020】
好ましい実施例において、装置は、人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するよう構成される。それにより、ユーザは、所与の人に関する該ユーザ自身の覚え書又は他のタイプの情報を付加することが出来る。
【0021】
これは、前記情報がテキスト、ピクチャ又はイメージシーケンスを有する場合にとりわけ好都合である。
【0022】
装置が、顔の表情を表わす情報及び/又は音声のトーンを表わす情報の履歴を記憶するよう構成される場合、ユーザは人の履歴を集める(compile)ことが出来る。これは、その結果として、ユーザが前記人をより良く知るようになるのを手助けすることが出来る。
【0023】
装置が雰囲気を表わす情報の履歴を記憶するよう構成される場合、人のより個人的な知識が得られ得る。
【0024】
装置は、雰囲気を表わす情報の履歴において、以前に記憶された雰囲気を表わす情報と現在の雰囲気を表わす情報を比較し、この比較についてユーザに情報を引き渡すよう構成され得る。これは、ユーザが記録の履歴を詳細に調べるより素早く人についての情報を得る助けとなり得る。
【0025】
本発明は、方法にも関する。
【0026】
以下で、好ましい実施例と関連して、図面を参照して本発明をより完全に説明する。
【発明を実施するための最良の形態】
【0027】
図1は、人についての情報を検索する方法の第1フローチャートを示している。このフローチャートは、前記方法の最初のステップ、ステップ102につながるステップ101において開始し、ステップ102において、携帯情報端末(PDA)を携帯するユーザが人と会う。ユーザは、以前にこの人に会ったことがあるだろうかと思いながらこの人と話し始める。その結果、ユーザは、会話が続いている間に、ステップ103においてユーザのPDAにおける個人情報検索(Personal Information Retrieval)(PIR)機能をイネーブルにする。
【0028】
会話が進行している間、PDAは、オーディオデータを得るためにステップ109においてこの人の音声を記録する。オーディオデータは、この人の音声によってこの人を同定するためにPDAにおいて処理される。この人が同定され得る場合には、PDAは、この人についての情報を見つけるためにデータベースに照会する。これは、ステップ108において行われる。照会の結果が、同定された人についての情報が見つけられることを示す場合には、ユーザは、ユーザが現在話している人についての情報が見つけられることを通知される。この情報はステップ107においてユーザに供給される。その結果として、ユーザは、ステップ105において、この人についての情報でアップデートされることから、以前にこの人に会ったことがあるだろうかと思うのをやめ得る。この情報は、この人についてのユーザ自身の覚え書を有しても良い。その後、会話は、続いていても良いし、又はステップ106においてこのフローチャートが終了する前に終了しても良い。それによって、ユーザは、例えば、電子名刺にこの人の名前、(勤務先の)住所などを供給することによって、この人についての情報でアップデートされる。
【0029】
図2は、人についての情報を検索する方法の第2フローチャートを示している。このフローチャートは、前記方法の最初のステップ、ステップ202につながるステップ201において開始し、ステップ202において、ユーザは人と会う。ユーザは、確信はないが、この人に会ったことがあるに違いないと思いながらこの人と話し始める。今度も、ユーザは、ステップ203においてユーザのPDAにおける個人情報検索機能をイネーブルにする。これは、ステップ204においてユーザが、会話が進行している間この人のオーディオデータを記録していることを含む。それに応じて、オーディオデータがステップ210においてPDAにより記録される。しかしながら、イメージ/ビデオデータもまた記録され得る。
【0030】
この記録中又はその直後に、このデータは、この人の音声によってこの人を同定するためにこの人を認識するために処理される。この人のイメージ/ビデオデータが記録される場合には、この人は、この人の顔又は全体的な外観によって同定され得る。
【0031】
この人が同定され得る場合には、PDAは、ステップ208において、この人についての情報を見つけるためにデータベースDBに照会する。照会の結果が、同定された人についての情報が見つけられることを示す場合には、ユーザは、ユーザが会っている人についての情報が見つけられることを通知され、この情報はステップ207においてユーザに供給される。その結果として、ユーザは、ステップ205においてこの情報でアップデートされる。その後、会話は、ステップ211において続いていても良い。
【0032】
会話中又はその後、ユーザは、ユーザが今しがた会話中に取得したこの人についての情報を付加する、編集する又はアップデートするためにステップ212及び213においてPDAを操作することが出来る。
【0033】
この方法は、ステップ206において終了する。オーディオデータを記録することに加えて、又はオーディオデータを記録することの代わりとして、ユーザは、人のイメージ又はビデオシーケンスを記録することが出来る。後に、記録されたイメージデータは、この人を同定するために処理され得る。
【0034】
図3は、人についての情報を検索する装置の第1フローチャートを示している。この方法は、自然人についての情報を思い出す手段をユーザに供給するために、ユーザのコマンドに応じてPDAにより実行される。
【0035】
ステップ301においてユーザのコマンドを受け取ると、オーディオデータ及びイメージデータの並行記録が、各々ステップ303及び302において行なわれる。これらの記録中又はこの記録が終了される直後に、ビデオ及びイメージデータは、オーディオ及びビデオデータから、所与の人を認識するために用いられ得るフィーチャを抽出するために処理される。
【0036】
ステップ307において、フィーチャプロファイル中に配設される抽出フィーチャが、以前に記憶されたフィーチャプロファイルに適合するか否かが確認される。適合が検出される(Yesである)場合には、このプロファイルと関連する人がステップ308において同定され、以前記憶された、この人と関連する情報が検索される。その後、ステップ305において、この情報はユーザインタフェースによってユーザに供給される。
【0037】
一方、適合が検出されない(Noである)場合には、仮の無名の人(temporary anonymous person)がステップ309において作成される。即ち、フィーチャプロファイルが、ユーザ指定の名前をこのプロファイルと関連づけることなしに記憶される。ステップ310において、仮の無名の人に対する参照情報(reference)が、その後のユーザによる情報の付加のために作成される。これは、その場合に、ユーザは、人との会話が終了した際に人についての情報を入力することを許容されることから好都合である。
【0038】
図4は、人についての情報を検索する装置の第2フローチャートを示している。同様に、この方法は、自然人についての情報を思い出す手段をユーザに供給するために、ユーザのコマンドに応じてPDAにより実行される。このフローチャートにおいては、ユーザに、人の雰囲気及び/又は感情的/個人的な状態(emotional/personal status)についての情報を記憶し、検索するオプションが供給される。
【0039】
ステップ401においてユーザのコマンドを受け取ると、オーディオデータ及びイメージデータの並行記録が、各々ステップ403及びステップ402において行なわれる。これらの記録中又はこの記録が中止される直後に、ステップ404において、ビデオ及びイメージデータは、オーディオ及びビデオデータから、所与の人を認識するために用いられ得るフィーチャを抽出するために処理される。
【0040】
ステップ407において、フィーチャプロファイル中に配設される抽出フィーチャが、以前に記憶されたフィーチャプロファイルに適合するか否かが確認される。適合が検出される(Yesである)場合には、このプロファイルと関連する人がステップ408において同定され、以前記憶された、この人と関連する情報が検索される。次のステップ411において、ビデオ及びイメージデータは、オーディオ及びビデオデータから、同定された人の雰囲気又は感情的/個人的な状態を認識するために用いられ得るフィーチャを抽出するために処理される。
【0041】
その後、ステップ405において、この人についての情報及びこの人の雰囲気又は感情的/個人的な状態が、ユーザインタフェースによってユーザに供給される。
【0042】
一方、適合が検出されない(ステップ407においてNoである)場合には、仮の無名の人がステップ409において作成される。ステップ410において、ユーザは、その後の情報の付加のために仮の無名の人に対する参照情報を作成する。
【0043】
次のステップ412において、ユーザは、ユーザが人についての情報を編集する及び/又はアップデートすることを可能にするユーザインタフェースにアクセスできる。ユーザがこのようなオプションを選択する場合には、ステップ413においてエディタがオープンされる。
【0044】
同様に、ステップ414において、ユーザに、人の雰囲気又は感情的/個人的な状態についての情報を編集する及び/又はアップデートするオプションが供給される。ユーザがこの情報を変更することを選択する場合には、ステップ415においてエディタがオープンされる。
【0045】
この方法はステップ406において終了する。
【0046】
図5は、人についての情報を記憶し、検索する装置のブロック図を示している。
【0047】
参照符号501は、一般に、携帯情報端末(PDA)を示す。PDAは、基本的なオペレーティングシステム(OS)のプロセスと、本発明による方法を実施するためのプログラムを含むアプリケーションのプロセス/プログラムとの両方を実行する中央処理装置509を有する。
【0048】
イメージデータを処理するために、この処理装置は、カメラ502からのイメージデータを前処理するためのイメージプロセッサ503に動作的に接続される。
【0049】
同様に、オーディオデータを処理するために、この処理装置はまた、マイク504からのオーディオデータを前処理するためのオーディオプロセッサ505に動作的に接続される。
【0050】
ユーザがPDAと対話することを可能にするために、PDAは、対話型ディスプレイ506及びスピーカ507を備えるユーザインタフェース手段を有する。対話型ディスプレイは、イメージ及びビデオシーケンスを含むグラフィック並びにテキストを表示することによりユーザに情報を供給することが出来る。
【0051】
PDAは、対話型ディスプレイがタッチセンシティブであることでユーザからの入力を受け取ることが出来る。それにより、対話型ディスプレイ上にキーボードを出現させることが可能である。その代わりに又は付加的に、ディスプレイ上でのユーザの手書きが解釈(interpret)され得る。
【0052】
人についての情報を記憶するために、PDAは、構造化され、探索可能なようにこの情報を記憶するためのデータベース508を有する。
【0053】
据え置き型コンピュータ、インターネット上のコンピュータ、他のPDA、又は移動体電話を含む他の電気機器と通信する目的のために、PDAは入力/出力(I/O)インタフェース510を有する。I/Oインタフェースは、ワイヤレスインタフェース、例えば、所謂IrDaポート又はブルートゥースインタフェースであっても良い。
【0054】
PDAは、携帯型の装置又は移動体装置であることから、PDAは、主として充電式バッテリ511によって給電される。
【0055】
図6は、人についての情報を処理する装置の装置の第2ブロック図を示している。
【0056】
このブロック図は、4つの主要な処理手段、即ち、イメージプリプロセッサ603、オーディオプリプロセッサ607、人認識プロセッサ604及び雰囲気認識プロセッサ608を有する。更に、イメージプリプロセッサ603はカメラ602からイメージデータを取得し、オーディオプリプロセッサ607はマイク606からオーディオデータを取得する。ユーザインタフェース605を介して、ユーザに、認識された人の身元又は認識された/登録された雰囲気についての情報を登録する手段が供給される。この情報はデータベース609中に記憶される。
【0057】
好ましい実施例において、イメージプリプロセッサ603は、人々の顔を表わすイメージデータを処理するよう構成される。これは、人々の顔は、1)特定の人を同定するため、及び2)人の雰囲気を決定するために用いられ得る多くの情報を有することから、好都合である。
【0058】
オーディオプリプロセッサ607は、人々の音声及び人々の音声のトーンを表わすオーディオデータを処理するよう構成される。これは、人々の音声は、信号処理技術により抽出され得る、個々の人の特徴を示す情報を有することから好都合である。同様に、ほとんどの状況において、人の音声のトーンは該人の雰囲気を表わす。
【0059】
斯くして、プリプロセッサ603及び607は、1)特定の人を同定するため、及び2)人の雰囲気を決定するために用いられ得るフィーチャを抽出するよう構成される。
【0060】
特定の人の同定に関連するフィーチャは人認識プロセッサ604に供給され、人の雰囲気の決定に関連するフィーチャは雰囲気認識プロセッサ608に供給される。それにより、所与のイメージ及び/又はオーディオの記録が、人の身元を認識するためにも、人の雰囲気を決定するためにも用いられ得る。
【0061】
上記のプロセッサは、所与の人について様々な雰囲気又は音声のトーンの間の区別をするためのイメージ及びオーディオデータの処理において非常に効率的であるが、ユーザが登録された雰囲気情報を修正することが出来ると都合がよい。それにより、ユーザは、関係のある人(associated person)の雰囲気と音声のトーンとの間の関係を変更することが出来る。ユーザインタフェース605はこのための手段を供給する。
【0062】
更に、ユーザインタフェース605は、人についての情報を登録する、アップデートする又は編集するのに用いられ得る。
【0063】
前記ブロック図は、PDA、移動体電話、パソコン、ラップトップコンピュータ、クライアント-サーバ・コンピュータシステム、又は別のタイプの電子機器によって実施され得る。
【0064】
図7は、カメラユニット及びマイクを備える携帯情報端末(PDA)を示している。参照符号701によって一般に示されているPDAのこの実施例において、PDAは、対話型ディスプレイ703、マイク708及びボタン704を有する。PDAは、カメラユニット702に接続するためのインタフェース705を持つ。カメラユニット702は、該カメラユニットから直接的に、又はPDAから操作され得るカメラ709を有する。カメラで記録されたイメージはインタフェース705を介してPDAに転送される。
【0065】
人について記憶される情報は、名前、住所、会社名、電子メールアドレス、ウェブアドレス、地位、専門技術(expertise)などを備える名刺を含み得ることに注意されたい。更に、この情報は、この人との面談の内容についての覚え書などを含み得る。
【0066】
更に、人の音声のトーンの記憶/処理の代わりに又は加えて、人の声紋が記憶/処理され得ることに注意されたい。人の声紋は、音声データに基づいて人を同定するために音声データを処理することにより抽出され得る。人の声紋は、人に特有のものであるとみなされることができ、即ち、声紋は、とりわけ人の物理的な発声系(physical voice system) の大きさ、例えば該人の声道の長さ及び幅によって決定される特徴である。
【図面の簡単な説明】
【0067】
【図1】人についての情報を検索する方法の第1フローチャートを示す。
【図2】人についての情報を検索する方法の第2フローチャートを示す。
【図3】人についての情報を検索する装置の第1フローチャートを示す。
【図4】人についての情報を検索する装置の第2フローチャートを示す。
【図5】人についての情報を記憶し、検索する装置のブロック図を示す。
【図6】人についての情報を処理する装置の第2ブロック図を示す。
【図7】カメラユニット及びマイクを備える携帯情報端末(PDA)を示す。
Claims (12)
- 自然人についての情報を供給する方法であって、
前記自然人のオーディオデータ及び/又はイメージデータを記録するステップと、
前記自然人の身元を認識するために前記オーディオデータ及び/又はビジュアルデータを処理するステップと、
認識された前記身元について記憶された情報を検索するステップと、
前記記憶された情報をユーザに供給するステップとを有する方法。 - 前記人の音声のトーン及び/又は声紋を決定するために前記オーディオデータを処理するステップと、前記音声のトーン及び/又は声紋を表わす情報を記憶するステップとを更に有することを特徴とする請求項1に記載の方法。
- 音声のトーンを表わす情報を雰囲気を表わす情報と関連づけるステップを更に有することを特徴とする請求項2に記載の方法。
- 前記人の顔の表情を決定するために前記イメージデータを処理するステップと、前記顔の表情を表わす情報を記憶するステップとを更に有することを特徴とする請求項1に記載の方法。
- 顔の表情を表わす情報を雰囲気を表わす情報と関連づけるステップを更に有することを特徴とする請求項4に記載の方法。
- 人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するステップを更に有することを特徴とする請求項1に記載の方法。
- 自然人についての情報を供給する装置であって、
前記自然人のオーディオデータ及び/又はイメージデータを記録する記録器と、
前記自然人の身元を認識するために前記オーディオデータ及び/又はビジュアルデータを処理し、認識された前記身元について記憶された情報を検索するメモリを備えるプロセッサと、
前記記憶された情報をユーザに供給するユーザインタフェースとを有する装置。 - 前記プロセッサが、音声のトーンを表わす情報を雰囲気を表わす情報と関連づけるよう構成されることを特徴とする請求項7に記載の装置。
- 前記プロセッサが、顔の表情を表わす情報を雰囲気を表わす情報と関連づけるよう構成されることを特徴とする請求項7に記載の装置。
- 前記プロセッサが、顔の表情を表わす情報及び音声のトーンを表わす情報を雰囲気を表わす情報と組み合わせるよう構成されることを特徴とする請求項7に記載の装置。
- 前記装置が、人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するよう構成されることを特徴とする請求項7に記載の装置。
- 雰囲気を表わす情報の履歴において、現在の雰囲気を表わす情報を、以前に記憶された雰囲気を表わす情報と比較し、この比較の結果について前記ユーザに情報を供給するよう構成されることを特徴とする請求項7に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01201393 | 2001-04-17 | ||
PCT/IB2002/001311 WO2002086801A1 (en) | 2001-04-17 | 2002-04-11 | Method and apparatus of managing information about a person |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004533640A true JP2004533640A (ja) | 2004-11-04 |
Family
ID=8180161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002584244A Withdrawn JP2004533640A (ja) | 2001-04-17 | 2002-04-11 | 人についての情報を管理する方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7058208B2 (ja) |
EP (1) | EP1382003A1 (ja) |
JP (1) | JP2004533640A (ja) |
KR (1) | KR20030010729A (ja) |
CN (1) | CN1307589C (ja) |
WO (1) | WO2002086801A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006106711A (ja) * | 2004-09-10 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 情報処理端末 |
KR101471204B1 (ko) * | 2008-12-19 | 2014-12-10 | 주식회사 케이티 | 이미지에서의 의류 검출 장치와 그 방법 |
KR20190037183A (ko) * | 2017-04-13 | 2019-04-05 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
KR20210031888A (ko) * | 2017-09-28 | 2021-03-23 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
Families Citing this family (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7307636B2 (en) * | 2001-12-26 | 2007-12-11 | Eastman Kodak Company | Image format including affective information |
US7627143B1 (en) * | 2002-04-19 | 2009-12-01 | At&T Intellectual Property I, L.P. | Real-time remote image capture system |
US20050239511A1 (en) * | 2004-04-22 | 2005-10-27 | Motorola, Inc. | Speaker identification using a mobile communications device |
US20060013446A1 (en) * | 2004-07-16 | 2006-01-19 | Stephens Debra K | Mobile communication device with real-time biometric identification |
US7693306B2 (en) | 2005-03-08 | 2010-04-06 | Konami Gaming, Inc. | System and method for capturing images from mobile devices for use with patron tracking system |
US7353034B2 (en) | 2005-04-04 | 2008-04-01 | X One, Inc. | Location sharing and tracking using mobile phones or other wireless devices |
US20070149222A1 (en) * | 2005-12-27 | 2007-06-28 | Berislav Hodko | Methods, application server, and terminal for directive person identification and communication |
US20070239457A1 (en) * | 2006-04-10 | 2007-10-11 | Nokia Corporation | Method, apparatus, mobile terminal and computer program product for utilizing speaker recognition in content management |
US20080279454A1 (en) * | 2007-05-07 | 2008-11-13 | Lev Jeffrey A | Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition |
US8144939B2 (en) * | 2007-11-08 | 2012-03-27 | Sony Ericsson Mobile Communications Ab | Automatic identifying |
US20090193344A1 (en) * | 2008-01-24 | 2009-07-30 | Sony Corporation | Community mood representation |
US8447065B2 (en) * | 2008-09-16 | 2013-05-21 | Cyberlink Corp. | Method of facial image reproduction and related device |
WO2011127242A2 (en) * | 2010-04-07 | 2011-10-13 | Max Value Solutions INTL, LLC | Method and system for name pronunciation guide services |
US11151610B2 (en) | 2010-06-07 | 2021-10-19 | Affectiva, Inc. | Autonomous vehicle control using heart rate collection based on video imagery |
US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
US11056225B2 (en) | 2010-06-07 | 2021-07-06 | Affectiva, Inc. | Analytics for livestreaming based on image analysis within a shared digital environment |
US10592757B2 (en) | 2010-06-07 | 2020-03-17 | Affectiva, Inc. | Vehicular cognitive data collection using multiple devices |
US10143414B2 (en) | 2010-06-07 | 2018-12-04 | Affectiva, Inc. | Sporadic collection with mobile affect data |
US10897650B2 (en) | 2010-06-07 | 2021-01-19 | Affectiva, Inc. | Vehicle content recommendation using cognitive states |
US10628741B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
US10869626B2 (en) | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US10911829B2 (en) | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
US10843078B2 (en) | 2010-06-07 | 2020-11-24 | Affectiva, Inc. | Affect usage within a gaming context |
US11067405B2 (en) | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
US10799168B2 (en) | 2010-06-07 | 2020-10-13 | Affectiva, Inc. | Individual data sharing across a social network |
US10108852B2 (en) | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
US10628985B2 (en) | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
US11465640B2 (en) | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
US11318949B2 (en) | 2010-06-07 | 2022-05-03 | Affectiva, Inc. | In-vehicle drowsiness analysis using blink rate |
US11430260B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Electronic display viewing verification |
US9723992B2 (en) | 2010-06-07 | 2017-08-08 | Affectiva, Inc. | Mental state analysis using blink rate |
US11073899B2 (en) | 2010-06-07 | 2021-07-27 | Affectiva, Inc. | Multidevice multimodal emotion services monitoring |
US11935281B2 (en) | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US11232290B2 (en) | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
US10796176B2 (en) | 2010-06-07 | 2020-10-06 | Affectiva, Inc. | Personal emotional profile generation for vehicle manipulation |
US9247903B2 (en) | 2010-06-07 | 2016-02-02 | Affectiva, Inc. | Using affect within a gaming context |
US9503786B2 (en) | 2010-06-07 | 2016-11-22 | Affectiva, Inc. | Video recommendation using affect |
US11410438B2 (en) | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
US10779761B2 (en) | 2010-06-07 | 2020-09-22 | Affectiva, Inc. | Sporadic collection of affect data within a vehicle |
US9646046B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state data tagging for data collected from multiple sources |
US10922567B2 (en) | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
US11393133B2 (en) | 2010-06-07 | 2022-07-19 | Affectiva, Inc. | Emoji manipulation using machine learning |
US9204836B2 (en) | 2010-06-07 | 2015-12-08 | Affectiva, Inc. | Sporadic collection of mobile affect data |
US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US11823055B2 (en) | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
US10614289B2 (en) | 2010-06-07 | 2020-04-07 | Affectiva, Inc. | Facial tracking with classifiers |
US10474875B2 (en) | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
US10204625B2 (en) | 2010-06-07 | 2019-02-12 | Affectiva, Inc. | Audio analysis learning using video data |
US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
US10401860B2 (en) | 2010-06-07 | 2019-09-03 | Affectiva, Inc. | Image analysis for two-sided data hub |
US11292477B2 (en) | 2010-06-07 | 2022-04-05 | Affectiva, Inc. | Vehicle manipulation using cognitive state engineering |
US10482333B1 (en) | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
US10627817B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Vehicle manipulation using occupant image analysis |
US10111611B2 (en) | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
US11017250B2 (en) | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
US9959549B2 (en) | 2010-06-07 | 2018-05-01 | Affectiva, Inc. | Mental state analysis for norm generation |
US10289898B2 (en) | 2010-06-07 | 2019-05-14 | Affectiva, Inc. | Video recommendation via affect |
US9934425B2 (en) | 2010-06-07 | 2018-04-03 | Affectiva, Inc. | Collection of affect data from multiple mobile devices |
US10074024B2 (en) | 2010-06-07 | 2018-09-11 | Affectiva, Inc. | Mental state analysis using blink rate for vehicles |
US9642536B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
US10517521B2 (en) | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
US9028255B2 (en) * | 2010-10-06 | 2015-05-12 | Dominic William Massaro | Method and system for acquisition of literacy |
US9484046B2 (en) * | 2010-11-04 | 2016-11-01 | Digimarc Corporation | Smartphone-based methods and systems |
US9842299B2 (en) * | 2011-01-25 | 2017-12-12 | Telepathy Labs, Inc. | Distributed, predictive, dichotomous decision engine for an electronic personal assistant |
US10204524B2 (en) | 2011-02-22 | 2019-02-12 | Theatro Labs, Inc. | Observation platform for training, monitoring and mining structured communications |
US11636420B2 (en) | 2011-02-22 | 2023-04-25 | Theatro Labs, Inc. | Configuring, deploying, and operating applications for structured communications within observation platforms |
US11599843B2 (en) | 2011-02-22 | 2023-03-07 | Theatro Labs, Inc. | Configuring , deploying, and operating an application for structured communications for emergency response and tracking |
GB2529973B (en) | 2011-02-22 | 2016-04-20 | Theatro Labs Inc | Observation platform for using structured communications |
US10134001B2 (en) | 2011-02-22 | 2018-11-20 | Theatro Labs, Inc. | Observation platform using structured communications for gathering and reporting employee performance information |
US9542695B2 (en) | 2011-02-22 | 2017-01-10 | Theatro Labs, Inc. | Observation platform for performing structured communications |
US10069781B2 (en) | 2015-09-29 | 2018-09-04 | Theatro Labs, Inc. | Observation platform using structured communications with external devices and systems |
US11605043B2 (en) | 2011-02-22 | 2023-03-14 | Theatro Labs, Inc. | Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics |
US10699313B2 (en) | 2011-02-22 | 2020-06-30 | Theatro Labs, Inc. | Observation platform for performing structured communications |
US20130060568A1 (en) * | 2011-02-22 | 2013-03-07 | Steven Paul Russell | Observation platform for performing structured communications |
US9602625B2 (en) | 2011-02-22 | 2017-03-21 | Theatrolabs, Inc. | Mediating a communication in an observation platform |
US9407543B2 (en) | 2011-02-22 | 2016-08-02 | Theatrolabs, Inc. | Observation platform for using structured communications with cloud computing |
US10375133B2 (en) | 2011-02-22 | 2019-08-06 | Theatro Labs, Inc. | Content distribution and data aggregation for scalability of observation platforms |
BR112013021503A2 (pt) | 2011-02-27 | 2018-06-12 | Affectiva Inc | método implantado em computador para recomendações baseadas em afeto; produto de programa de computador incorporado a um meio legível por computador; sistema de computador para recomendações baseadas em afeto; e método implantado em computador para classificação com base em afeto |
CN103035247B (zh) * | 2012-12-05 | 2017-07-07 | 北京三星通信技术研究有限公司 | 基于声纹信息对音频/视频文件进行操作的方法及装置 |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
US9530067B2 (en) | 2013-11-20 | 2016-12-27 | Ulsee Inc. | Method and apparatus for storing and retrieving personal contact information |
US20150286873A1 (en) * | 2014-04-03 | 2015-10-08 | Bruce L. Davis | Smartphone-based methods and systems |
US10235990B2 (en) | 2017-01-04 | 2019-03-19 | International Business Machines Corporation | System and method for cognitive intervention on human interactions |
US10373515B2 (en) | 2017-01-04 | 2019-08-06 | International Business Machines Corporation | System and method for cognitive intervention on human interactions |
US10318639B2 (en) | 2017-02-03 | 2019-06-11 | International Business Machines Corporation | Intelligent action recommendation |
US10922566B2 (en) | 2017-05-09 | 2021-02-16 | Affectiva, Inc. | Cognitive state evaluation for vehicle navigation |
US10607612B2 (en) * | 2017-10-19 | 2020-03-31 | International Business Machines Corporation | Hierarchical intimacy for cognitive assistants |
US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1257073B (it) * | 1992-08-11 | 1996-01-05 | Ist Trentino Di Cultura | Sistema di riconoscimento, particolarmente per il riconoscimento di persone. |
US5617855A (en) * | 1994-09-01 | 1997-04-08 | Waletzky; Jeremy P. | Medical testing device and associated method |
DE19502627A1 (de) | 1995-01-19 | 1996-08-08 | Peter Wolschke | Verfahren und Vorrichtung zur Kontaktaufnahme zwischen Personen |
US6320974B1 (en) * | 1997-09-25 | 2001-11-20 | Raytheon Company | Stand-alone biometric identification system |
US6173260B1 (en) * | 1997-10-29 | 2001-01-09 | Interval Research Corporation | System and method for automatic classification of speech based upon affective content |
DE19801666A1 (de) | 1998-01-17 | 1999-07-29 | Vdls Messtechnik Gmbh | Verfahren zur Detektion |
US6038333A (en) * | 1998-03-16 | 2000-03-14 | Hewlett-Packard Company | Person identifier and management system |
US6487531B1 (en) * | 1999-07-06 | 2002-11-26 | Carol A. Tosaya | Signal injection coupling into the human vocal tract for robust audible and inaudible voice recognition |
DE29914964U1 (de) * | 1999-08-26 | 1999-11-11 | Bernhardt Wolfgang | Distanz-Stimmlagendetektor |
US6463415B2 (en) * | 1999-08-31 | 2002-10-08 | Accenture Llp | 69voice authentication system and method for regulating border crossing |
US6522333B1 (en) * | 1999-10-08 | 2003-02-18 | Electronic Arts Inc. | Remote communication through visual representations |
US6728679B1 (en) * | 2000-10-30 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Self-updating user interface/entertainment device that simulates personal interaction |
US6795808B1 (en) * | 2000-10-30 | 2004-09-21 | Koninklijke Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and charges external database with relevant data |
US6804391B1 (en) * | 2000-11-22 | 2004-10-12 | Microsoft Corporation | Pattern detection methods and systems, and face detection methods and systems |
US6611206B2 (en) * | 2001-03-15 | 2003-08-26 | Koninklijke Philips Electronics N.V. | Automatic system for monitoring independent person requiring occasional assistance |
-
2002
- 2002-04-11 JP JP2002584244A patent/JP2004533640A/ja not_active Withdrawn
- 2002-04-11 WO PCT/IB2002/001311 patent/WO2002086801A1/en not_active Application Discontinuation
- 2002-04-11 CN CNB028012356A patent/CN1307589C/zh not_active Expired - Fee Related
- 2002-04-11 KR KR1020027017147A patent/KR20030010729A/ko not_active Application Discontinuation
- 2002-04-11 EP EP02722589A patent/EP1382003A1/en not_active Withdrawn
- 2002-04-15 US US10/122,464 patent/US7058208B2/en not_active Expired - Lifetime
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006106711A (ja) * | 2004-09-10 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 情報処理端末 |
KR101471204B1 (ko) * | 2008-12-19 | 2014-12-10 | 주식회사 케이티 | 이미지에서의 의류 검출 장치와 그 방법 |
KR20200127143A (ko) * | 2017-04-13 | 2020-11-10 | 인하대학교 산학협력단 | 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템 |
KR102180331B1 (ko) * | 2017-04-13 | 2020-11-18 | 인하대학교 산학협력단 | 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
KR20190037157A (ko) * | 2017-04-13 | 2019-04-05 | 인하대학교 산학협력단 | 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
KR20190038392A (ko) * | 2017-04-13 | 2019-04-08 | 인하대학교 산학협력단 | 로봇의 발화 및 안면 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
KR102152775B1 (ko) * | 2017-04-13 | 2020-09-07 | 인하대학교 산학협력단 | 로봇의 발화 및 안면 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
KR102174188B1 (ko) * | 2017-04-13 | 2020-11-04 | 인하대학교 산학협력단 | 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템 |
KR20190037183A (ko) * | 2017-04-13 | 2019-04-05 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
KR20190037175A (ko) * | 2017-04-13 | 2019-04-05 | 인하대학교 산학협력단 | 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템 |
KR20200132796A (ko) * | 2017-04-13 | 2020-11-25 | 인하대학교 산학협력단 | 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
KR102270653B1 (ko) * | 2017-04-13 | 2021-06-30 | 인하대학교 산학협력단 | 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
KR102231067B1 (ko) * | 2017-04-13 | 2021-03-23 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
KR102251505B1 (ko) * | 2017-04-13 | 2021-05-13 | 인하대학교 산학협력단 | 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템 |
KR20210031888A (ko) * | 2017-09-28 | 2021-03-23 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
KR102364032B1 (ko) * | 2017-09-28 | 2022-02-17 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
Also Published As
Publication number | Publication date |
---|---|
CN1307589C (zh) | 2007-03-28 |
EP1382003A1 (en) | 2004-01-21 |
US7058208B2 (en) | 2006-06-06 |
US20030035567A1 (en) | 2003-02-20 |
WO2002086801A1 (en) | 2002-10-31 |
KR20030010729A (ko) | 2003-02-05 |
CN1461451A (zh) | 2003-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7058208B2 (en) | Method and apparatus of managing information about a person | |
EP2210214B1 (en) | Automatic identifying | |
US8649776B2 (en) | Systems and methods to provide personal information assistance | |
JP5731998B2 (ja) | 対話支援装置、対話支援方法および対話支援プログラム | |
WO2021169365A1 (zh) | 声纹识别的方法和装置 | |
JP4469867B2 (ja) | コミュニケーションの状況を管理する装置、方法およびプログラム | |
CN107945806A (zh) | 基于声音特征的用户识别方法及装置 | |
JP2006018551A (ja) | 情報処理装置および方法、並びにプログラム | |
TW200824408A (en) | Methods and systems for information retrieval during communication, and machine readable medium thereof | |
CN106657543A (zh) | 语音信息处理方法及装置 | |
WO2021066399A1 (ko) | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 | |
JP2002099530A (ja) | 議事録作成装置及び方法並びにこれを用いた記憶媒体 | |
CN109189978A (zh) | 基于语音消息进行音频搜索的方法、装置及存储介质 | |
CN108989551B (zh) | 位置提示方法、装置、存储介质及电子设备 | |
CN105913841A (zh) | 语音识别方法、装置及终端 | |
WO1997009683A1 (fr) | Systeme de mediatisation d'informations multimedia contenant des informations audio | |
JP2003158579A (ja) | 電話応答支援装置及び方法 | |
KR20200040625A (ko) | 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법 | |
JP2005192024A (ja) | コールセンタにおける通話音声データ管理方式およびそれに用いるオペレータ端末 | |
JP7258686B2 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
CN106453936A (zh) | 终端控制方法及装置 | |
JP6962849B2 (ja) | 会議支援装置、会議支援制御方法およびプログラム | |
TWI359603B (en) | A personal reminding apparatus and method thereof | |
US20040066953A1 (en) | Recognising people using a mobile appliance | |
US20230153061A1 (en) | Hierarchical Context Specific Actions from Ambient Speech |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050408 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070730 |