JP2004533640A - 人についての情報を管理する方法及び装置 - Google Patents

人についての情報を管理する方法及び装置 Download PDF

Info

Publication number
JP2004533640A
JP2004533640A JP2002584244A JP2002584244A JP2004533640A JP 2004533640 A JP2004533640 A JP 2004533640A JP 2002584244 A JP2002584244 A JP 2002584244A JP 2002584244 A JP2002584244 A JP 2002584244A JP 2004533640 A JP2004533640 A JP 2004533640A
Authority
JP
Japan
Prior art keywords
information
person
user
information representing
atmosphere
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002584244A
Other languages
English (en)
Inventor
イング−フイ チャング
ユアン−フ リアオ
リ−フェン イェ
ジク−クェン ホルング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004533640A publication Critical patent/JP2004533640A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/02Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Collating Specific Patterns (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

自然人についての情報を供給する方法及び電子装置(好ましくは、携帯情報端末、PDA又はパームコンピュータ)であって、前記自然人のオーディオデータを記録するマイク(606)及び/又はイメージデータを記録するカメラ(602)を有する方法及び電子装置である。前記自然人の身元を認識するために前記オーディオデータ及び/又はビジュアルデータを処理し、認識された前記身元についての記憶された情報を検索するためのメモリを備えるプロセッサ(603、607、604)が設けられる。ユーザインタフェース(605)が、ユーザに前記記憶された情報を引き渡すために用いられる。前記情報は、前記人についての名刺の情報及び/又は他の情報を有し得る。更に、前記人の感情的/個人的な状態/雰囲気を表わす情報が、記録され、検索され、前記ユーザインタフェース(605)を介して前記ユーザに供給されても良い。

Description

【技術分野】
【0001】
本発明は、自然人(physical person)についての情報を供給する装置であって、前記自然人のオーディオ及び/又はイメージデータを記録する記録器を有する装置に関する。
【0002】
更に、本発明は、自然人についての情報を供給する方法であって、前記自然人のオーディオ/イメージデータを記録するステップを有する方法に関する。
【背景技術】
【0003】
従来技術において、人々の顔の表情及び音声の表現(vocal expression)の記録を処理するための様々な技術的解決法が提案されている。この処理の結果は、とりわけアクセス制御アプリケーションのために人を同定するのに用いられている。このようなアプリケーションは、例えば、音声認識(話者認識)技術又は顔認識技術のいずれかに基づいて、ユーザを認識することに基づいている。更に、人の雰囲気(mood)又は感情的な状態(emotional state)を認識するための様々な技術が提案されている。
【0004】
ICICS 1997の情報、通信及び信号処理についての国際会議の会議の議事録(IEEE, vol.1, pp. 397-401)は、文化(cultures)間の感情の翻訳(emotion translation)のために顔及び音声の表情を記録するためにビデオとオーディオとの組み合わせを用いるコンピュータマルチメディアの方法を開示している。
【0005】
独国特許公報第DE19502627A1号は、互いと連絡(contact)をつけることを望む人々に連絡を開始する手段を供給する方法及び送信/受信装置を開示している。連絡を求める人は、喜んで個人的な連絡をつける気のある人によって受信され得る信号を送信しても良く、前記連絡を求める人は、その結果として、音響信号又は視覚信号によって通知されるかもしれない。
【0006】
独国特許公報第DE19801666A1号は、受け取られた特徴情報を検出し、この受け取られた特徴情報を予め記憶された特徴情報と突き合わせて、完全な又は部分的な一致を検出し、示す方法を開示している。
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術は、ほとんどの人々が、あまり頻繁には会わない人々を覚えるのに苦労するという問題に対して如何なる解決策も開示していない。幾つかの−典型的にはビジネスに関連する−状況において、人々は、彼らが特定の人の詳細を思い出すのに役立つよう人の名刺を持つかもしれない。しかしながら、彼らは、たとえ彼らの前に前記人の名刺を持っていたとしても、該人を思い出すことが出来ないかもしれない。
【0008】
我々があまり頻繁には会わない人々との良好な関係を得ることにおいて、我々が以前に会った人々の我々の心の中での印象を思い出すことが出来ることは、極めて重要であり得る。
【課題を解決するための手段】
【0009】
上記の問題は、冒頭の段落に記載の電子装置が、自然人の身元(identity)を認識するためにオーディオ及び/又はビジュアルデータを処理し、認識された前記身元について記憶された情報を検索するメモリを備えるプロセッサと、前記記憶された情報をユーザに供給するユーザインタフェースとを更に有する場合に解決される。
【0010】
その結果として、電子装置は、ユーザがあまり頻繁に会わない人を思い出すのを手助けすることが出来る。これは、その結果として、仕事上の関係又は人間関係の改善を得る助けとなり得る。
【0011】
それにより、人々を思い出すことがより容易になることから、誰が誰であろうかと考えるのに払われる労力が少なくなる。更に、様々な人々についての情報を混同することによりもたらされる考え違いを直すユーザの労力が削減され得る。これは、その結果として、時間のより効率的な使用をもたらし得る。
【0012】
好都合な実施例において、装置は、オーディオデータを取得するマイク、及びイメージデータを取得するカメラを有する。非常に小さい物理的な寸法を持つマイク及びカメラの両方が市販されていることから、これらは非常に小さな携帯型の器具に一体的に組み込まれ得る。
【0013】
更に、プロセッサは、人の音声のトーンを決定するためにオーディオデータを処理し、前記音声のトーンを表わす情報(representation)を記憶するよう構成され得る。これは、前記音声のトーンは、典型的には、前記人についての、とりわけ、話している人の感情的な状態又は雰囲気についての多くの情報を有するという点で都合がよい。
【0014】
更に、プロセッサは、音声のトーンを表わす情報を、雰囲気を表わす情報と関連づけるよう構成され得る。それにより、所与の音声のトーンは、予め規定された雰囲気と関連づけられ得る。
【0015】
その上、プロセッサは、人の顔の表情を決定するためにイメージデータを処理し、前記顔の表情を表わす情報を記憶するよう構成され得る。典型的には、顔の表情は、人の感情的な状態又は雰囲気と密接に関連づけられる。これは、その結果として、人の感情的な状態又は雰囲気を登録する又は認識するための良い基準(basis)を装置に供給する。
【0016】
プロセッサが、顔の表情を表わす情報を、雰囲気を表わす情報と関連づけるよう構成される場合に、顔の表情は、予め規定されたタイプの雰囲気に関連づけられ得る。
【0017】
プロセッサは、顔の表情を表わす情報及び音声のトーンを表わす情報を、雰囲気を表わす情報と組み合わせるよう構成され得る。それにより、雰囲気のより詳細な又はロバストな登録/認識が達成され得る。
【0018】
好ましい実施例において、音声のトーンを表わす情報は、発話速度(speaking rate)、ピッチ曲線(pitch contour)又は音声の大きさを表わす値を有する。
【0019】
オーディオ/イメージデータの処理は、人の特徴を示すデータの生成を含む。それにより、人は、記録データに基づいて認識され得る。
【0020】
好ましい実施例において、装置は、人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するよう構成される。それにより、ユーザは、所与の人に関する該ユーザ自身の覚え書又は他のタイプの情報を付加することが出来る。
【0021】
これは、前記情報がテキスト、ピクチャ又はイメージシーケンスを有する場合にとりわけ好都合である。
【0022】
装置が、顔の表情を表わす情報及び/又は音声のトーンを表わす情報の履歴を記憶するよう構成される場合、ユーザは人の履歴を集める(compile)ことが出来る。これは、その結果として、ユーザが前記人をより良く知るようになるのを手助けすることが出来る。
【0023】
装置が雰囲気を表わす情報の履歴を記憶するよう構成される場合、人のより個人的な知識が得られ得る。
【0024】
装置は、雰囲気を表わす情報の履歴において、以前に記憶された雰囲気を表わす情報と現在の雰囲気を表わす情報を比較し、この比較についてユーザに情報を引き渡すよう構成され得る。これは、ユーザが記録の履歴を詳細に調べるより素早く人についての情報を得る助けとなり得る。
【0025】
本発明は、方法にも関する。
【0026】
以下で、好ましい実施例と関連して、図面を参照して本発明をより完全に説明する。
【発明を実施するための最良の形態】
【0027】
図1は、人についての情報を検索する方法の第1フローチャートを示している。このフローチャートは、前記方法の最初のステップ、ステップ102につながるステップ101において開始し、ステップ102において、携帯情報端末(PDA)を携帯するユーザが人と会う。ユーザは、以前にこの人に会ったことがあるだろうかと思いながらこの人と話し始める。その結果、ユーザは、会話が続いている間に、ステップ103においてユーザのPDAにおける個人情報検索(Personal Information Retrieval)(PIR)機能をイネーブルにする。
【0028】
会話が進行している間、PDAは、オーディオデータを得るためにステップ109においてこの人の音声を記録する。オーディオデータは、この人の音声によってこの人を同定するためにPDAにおいて処理される。この人が同定され得る場合には、PDAは、この人についての情報を見つけるためにデータベースに照会する。これは、ステップ108において行われる。照会の結果が、同定された人についての情報が見つけられることを示す場合には、ユーザは、ユーザが現在話している人についての情報が見つけられることを通知される。この情報はステップ107においてユーザに供給される。その結果として、ユーザは、ステップ105において、この人についての情報でアップデートされることから、以前にこの人に会ったことがあるだろうかと思うのをやめ得る。この情報は、この人についてのユーザ自身の覚え書を有しても良い。その後、会話は、続いていても良いし、又はステップ106においてこのフローチャートが終了する前に終了しても良い。それによって、ユーザは、例えば、電子名刺にこの人の名前、(勤務先の)住所などを供給することによって、この人についての情報でアップデートされる。
【0029】
図2は、人についての情報を検索する方法の第2フローチャートを示している。このフローチャートは、前記方法の最初のステップ、ステップ202につながるステップ201において開始し、ステップ202において、ユーザは人と会う。ユーザは、確信はないが、この人に会ったことがあるに違いないと思いながらこの人と話し始める。今度も、ユーザは、ステップ203においてユーザのPDAにおける個人情報検索機能をイネーブルにする。これは、ステップ204においてユーザが、会話が進行している間この人のオーディオデータを記録していることを含む。それに応じて、オーディオデータがステップ210においてPDAにより記録される。しかしながら、イメージ/ビデオデータもまた記録され得る。
【0030】
この記録中又はその直後に、このデータは、この人の音声によってこの人を同定するためにこの人を認識するために処理される。この人のイメージ/ビデオデータが記録される場合には、この人は、この人の顔又は全体的な外観によって同定され得る。
【0031】
この人が同定され得る場合には、PDAは、ステップ208において、この人についての情報を見つけるためにデータベースDBに照会する。照会の結果が、同定された人についての情報が見つけられることを示す場合には、ユーザは、ユーザが会っている人についての情報が見つけられることを通知され、この情報はステップ207においてユーザに供給される。その結果として、ユーザは、ステップ205においてこの情報でアップデートされる。その後、会話は、ステップ211において続いていても良い。
【0032】
会話中又はその後、ユーザは、ユーザが今しがた会話中に取得したこの人についての情報を付加する、編集する又はアップデートするためにステップ212及び213においてPDAを操作することが出来る。
【0033】
この方法は、ステップ206において終了する。オーディオデータを記録することに加えて、又はオーディオデータを記録することの代わりとして、ユーザは、人のイメージ又はビデオシーケンスを記録することが出来る。後に、記録されたイメージデータは、この人を同定するために処理され得る。
【0034】
図3は、人についての情報を検索する装置の第1フローチャートを示している。この方法は、自然人についての情報を思い出す手段をユーザに供給するために、ユーザのコマンドに応じてPDAにより実行される。
【0035】
ステップ301においてユーザのコマンドを受け取ると、オーディオデータ及びイメージデータの並行記録が、各々ステップ303及び302において行なわれる。これらの記録中又はこの記録が終了される直後に、ビデオ及びイメージデータは、オーディオ及びビデオデータから、所与の人を認識するために用いられ得るフィーチャを抽出するために処理される。
【0036】
ステップ307において、フィーチャプロファイル中に配設される抽出フィーチャが、以前に記憶されたフィーチャプロファイルに適合するか否かが確認される。適合が検出される(Yesである)場合には、このプロファイルと関連する人がステップ308において同定され、以前記憶された、この人と関連する情報が検索される。その後、ステップ305において、この情報はユーザインタフェースによってユーザに供給される。
【0037】
一方、適合が検出されない(Noである)場合には、仮の無名の人(temporary anonymous person)がステップ309において作成される。即ち、フィーチャプロファイルが、ユーザ指定の名前をこのプロファイルと関連づけることなしに記憶される。ステップ310において、仮の無名の人に対する参照情報(reference)が、その後のユーザによる情報の付加のために作成される。これは、その場合に、ユーザは、人との会話が終了した際に人についての情報を入力することを許容されることから好都合である。
【0038】
図4は、人についての情報を検索する装置の第2フローチャートを示している。同様に、この方法は、自然人についての情報を思い出す手段をユーザに供給するために、ユーザのコマンドに応じてPDAにより実行される。このフローチャートにおいては、ユーザに、人の雰囲気及び/又は感情的/個人的な状態(emotional/personal status)についての情報を記憶し、検索するオプションが供給される。
【0039】
ステップ401においてユーザのコマンドを受け取ると、オーディオデータ及びイメージデータの並行記録が、各々ステップ403及びステップ402において行なわれる。これらの記録中又はこの記録が中止される直後に、ステップ404において、ビデオ及びイメージデータは、オーディオ及びビデオデータから、所与の人を認識するために用いられ得るフィーチャを抽出するために処理される。
【0040】
ステップ407において、フィーチャプロファイル中に配設される抽出フィーチャが、以前に記憶されたフィーチャプロファイルに適合するか否かが確認される。適合が検出される(Yesである)場合には、このプロファイルと関連する人がステップ408において同定され、以前記憶された、この人と関連する情報が検索される。次のステップ411において、ビデオ及びイメージデータは、オーディオ及びビデオデータから、同定された人の雰囲気又は感情的/個人的な状態を認識するために用いられ得るフィーチャを抽出するために処理される。
【0041】
その後、ステップ405において、この人についての情報及びこの人の雰囲気又は感情的/個人的な状態が、ユーザインタフェースによってユーザに供給される。
【0042】
一方、適合が検出されない(ステップ407においてNoである)場合には、仮の無名の人がステップ409において作成される。ステップ410において、ユーザは、その後の情報の付加のために仮の無名の人に対する参照情報を作成する。
【0043】
次のステップ412において、ユーザは、ユーザが人についての情報を編集する及び/又はアップデートすることを可能にするユーザインタフェースにアクセスできる。ユーザがこのようなオプションを選択する場合には、ステップ413においてエディタがオープンされる。
【0044】
同様に、ステップ414において、ユーザに、人の雰囲気又は感情的/個人的な状態についての情報を編集する及び/又はアップデートするオプションが供給される。ユーザがこの情報を変更することを選択する場合には、ステップ415においてエディタがオープンされる。
【0045】
この方法はステップ406において終了する。
【0046】
図5は、人についての情報を記憶し、検索する装置のブロック図を示している。
【0047】
参照符号501は、一般に、携帯情報端末(PDA)を示す。PDAは、基本的なオペレーティングシステム(OS)のプロセスと、本発明による方法を実施するためのプログラムを含むアプリケーションのプロセス/プログラムとの両方を実行する中央処理装置509を有する。
【0048】
イメージデータを処理するために、この処理装置は、カメラ502からのイメージデータを前処理するためのイメージプロセッサ503に動作的に接続される。
【0049】
同様に、オーディオデータを処理するために、この処理装置はまた、マイク504からのオーディオデータを前処理するためのオーディオプロセッサ505に動作的に接続される。
【0050】
ユーザがPDAと対話することを可能にするために、PDAは、対話型ディスプレイ506及びスピーカ507を備えるユーザインタフェース手段を有する。対話型ディスプレイは、イメージ及びビデオシーケンスを含むグラフィック並びにテキストを表示することによりユーザに情報を供給することが出来る。
【0051】
PDAは、対話型ディスプレイがタッチセンシティブであることでユーザからの入力を受け取ることが出来る。それにより、対話型ディスプレイ上にキーボードを出現させることが可能である。その代わりに又は付加的に、ディスプレイ上でのユーザの手書きが解釈(interpret)され得る。
【0052】
人についての情報を記憶するために、PDAは、構造化され、探索可能なようにこの情報を記憶するためのデータベース508を有する。
【0053】
据え置き型コンピュータ、インターネット上のコンピュータ、他のPDA、又は移動体電話を含む他の電気機器と通信する目的のために、PDAは入力/出力(I/O)インタフェース510を有する。I/Oインタフェースは、ワイヤレスインタフェース、例えば、所謂IrDaポート又はブルートゥースインタフェースであっても良い。
【0054】
PDAは、携帯型の装置又は移動体装置であることから、PDAは、主として充電式バッテリ511によって給電される。
【0055】
図6は、人についての情報を処理する装置の装置の第2ブロック図を示している。
【0056】
このブロック図は、4つの主要な処理手段、即ち、イメージプリプロセッサ603、オーディオプリプロセッサ607、人認識プロセッサ604及び雰囲気認識プロセッサ608を有する。更に、イメージプリプロセッサ603はカメラ602からイメージデータを取得し、オーディオプリプロセッサ607はマイク606からオーディオデータを取得する。ユーザインタフェース605を介して、ユーザに、認識された人の身元又は認識された/登録された雰囲気についての情報を登録する手段が供給される。この情報はデータベース609中に記憶される。
【0057】
好ましい実施例において、イメージプリプロセッサ603は、人々の顔を表わすイメージデータを処理するよう構成される。これは、人々の顔は、1)特定の人を同定するため、及び2)人の雰囲気を決定するために用いられ得る多くの情報を有することから、好都合である。
【0058】
オーディオプリプロセッサ607は、人々の音声及び人々の音声のトーンを表わすオーディオデータを処理するよう構成される。これは、人々の音声は、信号処理技術により抽出され得る、個々の人の特徴を示す情報を有することから好都合である。同様に、ほとんどの状況において、人の音声のトーンは該人の雰囲気を表わす。
【0059】
斯くして、プリプロセッサ603及び607は、1)特定の人を同定するため、及び2)人の雰囲気を決定するために用いられ得るフィーチャを抽出するよう構成される。
【0060】
特定の人の同定に関連するフィーチャは人認識プロセッサ604に供給され、人の雰囲気の決定に関連するフィーチャは雰囲気認識プロセッサ608に供給される。それにより、所与のイメージ及び/又はオーディオの記録が、人の身元を認識するためにも、人の雰囲気を決定するためにも用いられ得る。
【0061】
上記のプロセッサは、所与の人について様々な雰囲気又は音声のトーンの間の区別をするためのイメージ及びオーディオデータの処理において非常に効率的であるが、ユーザが登録された雰囲気情報を修正することが出来ると都合がよい。それにより、ユーザは、関係のある人(associated person)の雰囲気と音声のトーンとの間の関係を変更することが出来る。ユーザインタフェース605はこのための手段を供給する。
【0062】
更に、ユーザインタフェース605は、人についての情報を登録する、アップデートする又は編集するのに用いられ得る。
【0063】
前記ブロック図は、PDA、移動体電話、パソコン、ラップトップコンピュータ、クライアント-サーバ・コンピュータシステム、又は別のタイプの電子機器によって実施され得る。
【0064】
図7は、カメラユニット及びマイクを備える携帯情報端末(PDA)を示している。参照符号701によって一般に示されているPDAのこの実施例において、PDAは、対話型ディスプレイ703、マイク708及びボタン704を有する。PDAは、カメラユニット702に接続するためのインタフェース705を持つ。カメラユニット702は、該カメラユニットから直接的に、又はPDAから操作され得るカメラ709を有する。カメラで記録されたイメージはインタフェース705を介してPDAに転送される。
【0065】
人について記憶される情報は、名前、住所、会社名、電子メールアドレス、ウェブアドレス、地位、専門技術(expertise)などを備える名刺を含み得ることに注意されたい。更に、この情報は、この人との面談の内容についての覚え書などを含み得る。
【0066】
更に、人の音声のトーンの記憶/処理の代わりに又は加えて、人の声紋が記憶/処理され得ることに注意されたい。人の声紋は、音声データに基づいて人を同定するために音声データを処理することにより抽出され得る。人の声紋は、人に特有のものであるとみなされることができ、即ち、声紋は、とりわけ人の物理的な発声系(physical voice system) の大きさ、例えば該人の声道の長さ及び幅によって決定される特徴である。
【図面の簡単な説明】
【0067】
【図1】人についての情報を検索する方法の第1フローチャートを示す。
【図2】人についての情報を検索する方法の第2フローチャートを示す。
【図3】人についての情報を検索する装置の第1フローチャートを示す。
【図4】人についての情報を検索する装置の第2フローチャートを示す。
【図5】人についての情報を記憶し、検索する装置のブロック図を示す。
【図6】人についての情報を処理する装置の第2ブロック図を示す。
【図7】カメラユニット及びマイクを備える携帯情報端末(PDA)を示す。

Claims (12)

  1. 自然人についての情報を供給する方法であって、
    前記自然人のオーディオデータ及び/又はイメージデータを記録するステップと、
    前記自然人の身元を認識するために前記オーディオデータ及び/又はビジュアルデータを処理するステップと、
    認識された前記身元について記憶された情報を検索するステップと、
    前記記憶された情報をユーザに供給するステップとを有する方法。
  2. 前記人の音声のトーン及び/又は声紋を決定するために前記オーディオデータを処理するステップと、前記音声のトーン及び/又は声紋を表わす情報を記憶するステップとを更に有することを特徴とする請求項1に記載の方法。
  3. 音声のトーンを表わす情報を雰囲気を表わす情報と関連づけるステップを更に有することを特徴とする請求項2に記載の方法。
  4. 前記人の顔の表情を決定するために前記イメージデータを処理するステップと、前記顔の表情を表わす情報を記憶するステップとを更に有することを特徴とする請求項1に記載の方法。
  5. 顔の表情を表わす情報を雰囲気を表わす情報と関連づけるステップを更に有することを特徴とする請求項4に記載の方法。
  6. 人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するステップを更に有することを特徴とする請求項1に記載の方法。
  7. 自然人についての情報を供給する装置であって、
    前記自然人のオーディオデータ及び/又はイメージデータを記録する記録器と、
    前記自然人の身元を認識するために前記オーディオデータ及び/又はビジュアルデータを処理し、認識された前記身元について記憶された情報を検索するメモリを備えるプロセッサと、
    前記記憶された情報をユーザに供給するユーザインタフェースとを有する装置。
  8. 前記プロセッサが、音声のトーンを表わす情報を雰囲気を表わす情報と関連づけるよう構成されることを特徴とする請求項7に記載の装置。
  9. 前記プロセッサが、顔の表情を表わす情報を雰囲気を表わす情報と関連づけるよう構成されることを特徴とする請求項7に記載の装置。
  10. 前記プロセッサが、顔の表情を表わす情報及び音声のトーンを表わす情報を雰囲気を表わす情報と組み合わせるよう構成されることを特徴とする請求項7に記載の装置。
  11. 前記装置が、人についての情報を記憶し、この情報を前記人の特徴を示すデータと関連づけるオプションをユーザに供給するよう構成されることを特徴とする請求項7に記載の装置。
  12. 雰囲気を表わす情報の履歴において、現在の雰囲気を表わす情報を、以前に記憶された雰囲気を表わす情報と比較し、この比較の結果について前記ユーザに情報を供給するよう構成されることを特徴とする請求項7に記載の装置。
JP2002584244A 2001-04-17 2002-04-11 人についての情報を管理する方法及び装置 Withdrawn JP2004533640A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01201393 2001-04-17
PCT/IB2002/001311 WO2002086801A1 (en) 2001-04-17 2002-04-11 Method and apparatus of managing information about a person

Publications (1)

Publication Number Publication Date
JP2004533640A true JP2004533640A (ja) 2004-11-04

Family

ID=8180161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002584244A Withdrawn JP2004533640A (ja) 2001-04-17 2002-04-11 人についての情報を管理する方法及び装置

Country Status (6)

Country Link
US (1) US7058208B2 (ja)
EP (1) EP1382003A1 (ja)
JP (1) JP2004533640A (ja)
KR (1) KR20030010729A (ja)
CN (1) CN1307589C (ja)
WO (1) WO2002086801A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106711A (ja) * 2004-09-10 2006-04-20 Matsushita Electric Ind Co Ltd 情報処理端末
KR101471204B1 (ko) * 2008-12-19 2014-12-10 주식회사 케이티 이미지에서의 의류 검출 장치와 그 방법
KR20190037183A (ko) * 2017-04-13 2019-04-05 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템
KR20210031888A (ko) * 2017-09-28 2021-03-23 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307636B2 (en) * 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US7627143B1 (en) * 2002-04-19 2009-12-01 At&T Intellectual Property I, L.P. Real-time remote image capture system
US20050239511A1 (en) * 2004-04-22 2005-10-27 Motorola, Inc. Speaker identification using a mobile communications device
US20060013446A1 (en) * 2004-07-16 2006-01-19 Stephens Debra K Mobile communication device with real-time biometric identification
US7693306B2 (en) 2005-03-08 2010-04-06 Konami Gaming, Inc. System and method for capturing images from mobile devices for use with patron tracking system
US7353034B2 (en) 2005-04-04 2008-04-01 X One, Inc. Location sharing and tracking using mobile phones or other wireless devices
US20070149222A1 (en) * 2005-12-27 2007-06-28 Berislav Hodko Methods, application server, and terminal for directive person identification and communication
US20070239457A1 (en) * 2006-04-10 2007-10-11 Nokia Corporation Method, apparatus, mobile terminal and computer program product for utilizing speaker recognition in content management
US20080279454A1 (en) * 2007-05-07 2008-11-13 Lev Jeffrey A Slot in housing adapted to receive at least a portion of a printed paper item for optical character recognition
US8144939B2 (en) * 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
US20090193344A1 (en) * 2008-01-24 2009-07-30 Sony Corporation Community mood representation
US8447065B2 (en) * 2008-09-16 2013-05-21 Cyberlink Corp. Method of facial image reproduction and related device
WO2011127242A2 (en) * 2010-04-07 2011-10-13 Max Value Solutions INTL, LLC Method and system for name pronunciation guide services
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US10628985B2 (en) 2017-12-01 2020-04-21 Affectiva, Inc. Avatar image animation using translation vectors
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US9503786B2 (en) 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US9646046B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US9204836B2 (en) 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US9028255B2 (en) * 2010-10-06 2015-05-12 Dominic William Massaro Method and system for acquisition of literacy
US9484046B2 (en) * 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US9842299B2 (en) * 2011-01-25 2017-12-12 Telepathy Labs, Inc. Distributed, predictive, dichotomous decision engine for an electronic personal assistant
US10204524B2 (en) 2011-02-22 2019-02-12 Theatro Labs, Inc. Observation platform for training, monitoring and mining structured communications
US11636420B2 (en) 2011-02-22 2023-04-25 Theatro Labs, Inc. Configuring, deploying, and operating applications for structured communications within observation platforms
US11599843B2 (en) 2011-02-22 2023-03-07 Theatro Labs, Inc. Configuring , deploying, and operating an application for structured communications for emergency response and tracking
GB2529973B (en) 2011-02-22 2016-04-20 Theatro Labs Inc Observation platform for using structured communications
US10134001B2 (en) 2011-02-22 2018-11-20 Theatro Labs, Inc. Observation platform using structured communications for gathering and reporting employee performance information
US9542695B2 (en) 2011-02-22 2017-01-10 Theatro Labs, Inc. Observation platform for performing structured communications
US10069781B2 (en) 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
US11605043B2 (en) 2011-02-22 2023-03-14 Theatro Labs, Inc. Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics
US10699313B2 (en) 2011-02-22 2020-06-30 Theatro Labs, Inc. Observation platform for performing structured communications
US20130060568A1 (en) * 2011-02-22 2013-03-07 Steven Paul Russell Observation platform for performing structured communications
US9602625B2 (en) 2011-02-22 2017-03-21 Theatrolabs, Inc. Mediating a communication in an observation platform
US9407543B2 (en) 2011-02-22 2016-08-02 Theatrolabs, Inc. Observation platform for using structured communications with cloud computing
US10375133B2 (en) 2011-02-22 2019-08-06 Theatro Labs, Inc. Content distribution and data aggregation for scalability of observation platforms
BR112013021503A2 (pt) 2011-02-27 2018-06-12 Affectiva Inc método implantado em computador para recomendações baseadas em afeto; produto de programa de computador incorporado a um meio legível por computador; sistema de computador para recomendações baseadas em afeto; e método implantado em computador para classificação com base em afeto
CN103035247B (zh) * 2012-12-05 2017-07-07 北京三星通信技术研究有限公司 基于声纹信息对音频/视频文件进行操作的方法及装置
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9530067B2 (en) 2013-11-20 2016-12-27 Ulsee Inc. Method and apparatus for storing and retrieving personal contact information
US20150286873A1 (en) * 2014-04-03 2015-10-08 Bruce L. Davis Smartphone-based methods and systems
US10235990B2 (en) 2017-01-04 2019-03-19 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10373515B2 (en) 2017-01-04 2019-08-06 International Business Machines Corporation System and method for cognitive intervention on human interactions
US10318639B2 (en) 2017-02-03 2019-06-11 International Business Machines Corporation Intelligent action recommendation
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10607612B2 (en) * 2017-10-19 2020-03-31 International Business Machines Corporation Hierarchical intimacy for cognitive assistants
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1257073B (it) * 1992-08-11 1996-01-05 Ist Trentino Di Cultura Sistema di riconoscimento, particolarmente per il riconoscimento di persone.
US5617855A (en) * 1994-09-01 1997-04-08 Waletzky; Jeremy P. Medical testing device and associated method
DE19502627A1 (de) 1995-01-19 1996-08-08 Peter Wolschke Verfahren und Vorrichtung zur Kontaktaufnahme zwischen Personen
US6320974B1 (en) * 1997-09-25 2001-11-20 Raytheon Company Stand-alone biometric identification system
US6173260B1 (en) * 1997-10-29 2001-01-09 Interval Research Corporation System and method for automatic classification of speech based upon affective content
DE19801666A1 (de) 1998-01-17 1999-07-29 Vdls Messtechnik Gmbh Verfahren zur Detektion
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
US6487531B1 (en) * 1999-07-06 2002-11-26 Carol A. Tosaya Signal injection coupling into the human vocal tract for robust audible and inaudible voice recognition
DE29914964U1 (de) * 1999-08-26 1999-11-11 Bernhardt Wolfgang Distanz-Stimmlagendetektor
US6463415B2 (en) * 1999-08-31 2002-10-08 Accenture Llp 69voice authentication system and method for regulating border crossing
US6522333B1 (en) * 1999-10-08 2003-02-18 Electronic Arts Inc. Remote communication through visual representations
US6728679B1 (en) * 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US6804391B1 (en) * 2000-11-22 2004-10-12 Microsoft Corporation Pattern detection methods and systems, and face detection methods and systems
US6611206B2 (en) * 2001-03-15 2003-08-26 Koninklijke Philips Electronics N.V. Automatic system for monitoring independent person requiring occasional assistance

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106711A (ja) * 2004-09-10 2006-04-20 Matsushita Electric Ind Co Ltd 情報処理端末
KR101471204B1 (ko) * 2008-12-19 2014-12-10 주식회사 케이티 이미지에서의 의류 검출 장치와 그 방법
KR20200127143A (ko) * 2017-04-13 2020-11-10 인하대학교 산학협력단 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템
KR102180331B1 (ko) * 2017-04-13 2020-11-18 인하대학교 산학협력단 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
KR20190037157A (ko) * 2017-04-13 2019-04-05 인하대학교 산학협력단 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
KR20190038392A (ko) * 2017-04-13 2019-04-08 인하대학교 산학협력단 로봇의 발화 및 안면 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
KR102152775B1 (ko) * 2017-04-13 2020-09-07 인하대학교 산학협력단 로봇의 발화 및 안면 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
KR102174188B1 (ko) * 2017-04-13 2020-11-04 인하대학교 산학협력단 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템
KR20190037183A (ko) * 2017-04-13 2019-04-05 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템
KR20190037175A (ko) * 2017-04-13 2019-04-05 인하대학교 산학협력단 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템
KR20200132796A (ko) * 2017-04-13 2020-11-25 인하대학교 산학협력단 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
KR102270653B1 (ko) * 2017-04-13 2021-06-30 인하대학교 산학협력단 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템
KR102231067B1 (ko) * 2017-04-13 2021-03-23 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템
KR102251505B1 (ko) * 2017-04-13 2021-05-13 인하대학교 산학협력단 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템
KR20210031888A (ko) * 2017-09-28 2021-03-23 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템
KR102364032B1 (ko) * 2017-09-28 2022-02-17 인하대학교 산학협력단 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템

Also Published As

Publication number Publication date
CN1307589C (zh) 2007-03-28
EP1382003A1 (en) 2004-01-21
US7058208B2 (en) 2006-06-06
US20030035567A1 (en) 2003-02-20
WO2002086801A1 (en) 2002-10-31
KR20030010729A (ko) 2003-02-05
CN1461451A (zh) 2003-12-10

Similar Documents

Publication Publication Date Title
US7058208B2 (en) Method and apparatus of managing information about a person
EP2210214B1 (en) Automatic identifying
US8649776B2 (en) Systems and methods to provide personal information assistance
JP5731998B2 (ja) 対話支援装置、対話支援方法および対話支援プログラム
WO2021169365A1 (zh) 声纹识别的方法和装置
JP4469867B2 (ja) コミュニケーションの状況を管理する装置、方法およびプログラム
CN107945806A (zh) 基于声音特征的用户识别方法及装置
JP2006018551A (ja) 情報処理装置および方法、並びにプログラム
TW200824408A (en) Methods and systems for information retrieval during communication, and machine readable medium thereof
CN106657543A (zh) 语音信息处理方法及装置
WO2021066399A1 (ko) 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
JP2002099530A (ja) 議事録作成装置及び方法並びにこれを用いた記憶媒体
CN109189978A (zh) 基于语音消息进行音频搜索的方法、装置及存储介质
CN108989551B (zh) 位置提示方法、装置、存储介质及电子设备
CN105913841A (zh) 语音识别方法、装置及终端
WO1997009683A1 (fr) Systeme de mediatisation d'informations multimedia contenant des informations audio
JP2003158579A (ja) 電話応答支援装置及び方法
KR20200040625A (ko) 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
JP2005192024A (ja) コールセンタにおける通話音声データ管理方式およびそれに用いるオペレータ端末
JP7258686B2 (ja) 情報処理システム、情報処理方法、及びプログラム
CN106453936A (zh) 终端控制方法及装置
JP6962849B2 (ja) 会議支援装置、会議支援制御方法およびプログラム
TWI359603B (en) A personal reminding apparatus and method thereof
US20040066953A1 (en) Recognising people using a mobile appliance
US20230153061A1 (en) Hierarchical Context Specific Actions from Ambient Speech

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050408

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070730