JP2009540414A - メディア識別 - Google Patents

メディア識別 Download PDF

Info

Publication number
JP2009540414A
JP2009540414A JP2009513778A JP2009513778A JP2009540414A JP 2009540414 A JP2009540414 A JP 2009540414A JP 2009513778 A JP2009513778 A JP 2009513778A JP 2009513778 A JP2009513778 A JP 2009513778A JP 2009540414 A JP2009540414 A JP 2009540414A
Authority
JP
Japan
Prior art keywords
media
recognition
video
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009513778A
Other languages
English (en)
Inventor
トビアス リトザウ，
マルクス リヴェル，
Original Assignee
ソニー エリクソン モバイル コミュニケーションズ， エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エリクソン モバイル コミュニケーションズ， エービー filed Critical ソニー エリクソン モバイル コミュニケーションズ， エービー
Publication of JP2009540414A publication Critical patent/JP2009540414A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

方法が、装置においてメディアを取得し、画像／ビデオ認識及びオーディオ認識を介してメディア内のオブジェクトを識別し、このメディアの識別されたオブジェクトに基づいて識別情報を装置上に表示する。

Description

本明細書に記載の実装構成は、一般に装置に関し、特に、メディアに含まれているオブジェクトを識別する装置に関する。
人が（ビデオ、画像、オーディオのような）メディアの中である人物を見たり、聞いたりしていて、その人物が誰であるかを確定できなかったり、その人物を思い出す根拠を確定できなかったりすると苛々するものである。現在、移動通信装置のユーザは移動通信装置によって歌を識別することができる。例えば、Ｒｏｃｋｅｔ Ｍｏｂｉｌｅ社から入手可能なＳｏｎｇ ＩＤｅｎｔｉｔｙ（登録商標）などによって、ユーザは移動通信装置を用いて、数秒間歌を記録し、その歌のアーティスト、アルバム、及びタイトルを装置へ提供することによってその歌を識別できるようになっている。しかし残念ながら、このような識別システムは、人物を識別して、上記のような人物に関する情報を提供するためのビデオ、画像、及び（歌以外の）オーディオ用としては欠けている点がある。
顔認識技術は、過去数年で著しく改善し、建物及びコンピュータへのアクセスのために認証を行う有効なツールとなっている。しかし、この顔認識技術は混雑したスタジアムや空港の中で未知の人物を識別するには有効なものではない。さらに、現在の顔認識技術では、ビデオ、画像及びオーディオに含まれているすべてのオブジェクトを識別することはできない。そして、このようなオブジェクトに関する識別情報を提供することはできない。
１つの側面によれば、方法が、装置においてメディアを取得するステップと、画像／ビデオ認識及びオーディオ認識を介してメディア内のオブジェクトの識別を行うステップと、メディアの識別されたオブジェクトに基づいて識別情報を装置上に表示するステップとを含んでもよい。
さらに、本方法は装置を介してメディアを受信するステップを含んでもよい。
さらに、本方法は装置を用いてメディアをキャプチャするステップを含んでもよい。
さらに、画像／ビデオ認識が所定の精度レベルの範囲内でメディアのオブジェクトを識別できない場合、オーディオ認識を行ってもよい。
さらに、オーディオ認識が所定の精度レベルの範囲内でメディアのオブジェクトを識別できなければ、画像／ビデオ認識を行ってもよい。
さらに、本方法は、画像／ビデオ認識によってオブジェクトを識別するためにメディアのオブジェクトの顔をマークするステップを含んでもよい。
さらに、本方法は、メディアのオブジェクトを識別するために画像／ビデオ認識の結果を表示するステップを含んでもよい。
さらに、本方法はユーザが選択した画像／ビデオ認識の結果に関連する識別情報を表示するステップを含んでもよい。
さらに、本方法はメディアのオブジェクトを識別するオーディオ認識の結果を表示するステップを含んでもよい。
さらに、本方法はユーザにより選択されたオーディオ認識の結果に関連する識別情報を表示するステップを含んでもよい。
さらに、本方法はメディアのオブジェクトを識別する画像／ビデオ認識及びオーディオ認識の結果を表示するステップを含んでもよい。
さらに、本方法は、ユーザが選択した画像／ビデオ認識及びオーディオ認識の結果に関連する識別情報を表示するステップを含んでもよい。
さらに、メディアは画像ファイル、オーディオファイル、ビデオファイル又はアニメーションファイルのうちの１つのファイルを含んでもよい。
さらに、メディアのオブジェクトは人物、場所又は物体のうちの１つを含んでもよい。
さらに、識別情報は、メディアの識別されたオブジェクトに関する経歴情報と、メディアの識別されたオブジェクトへのリンクと、メディアの識別されたオブジェクトに基づく推奨とのうちの少なくとも１つを含んでもよい。
別の側面によれば、装置が、装置においてメディアを取得する手段と、顔と音声との認識を介してメディア内のオブジェクトの識別を行う手段と、メディアの識別されたオブジェクトに基づいて識別情報を装置上に表示する手段とを含んでもよい。
さらに別の側面によれば、装置は装置に関連づけられたメディア情報を取得するためのメディア情報収集部、並びに、処理ロジックを含んでもよい。上記処理ロジックは、顔と音声との認識を介してメディア内のオブジェクトの識別を行い、メディアのオブジェクトを識別する顔と音声との認識結果を表示し、ユーザが選択した顔の認識と音声の認識のうちの一方の認識結果に関連する識別情報を表示してもよい。
さらに、メディア情報収集部は、カメラ、マイク、メディア記憶装置又は通信装置のうちの少なくとも１つを含んでもよい。
さらに、顔の認識によってメディアのオブジェクトを識別する際に、処理ロジックは、メディアのオブジェクト内の顔の位置を判定するように構成してもよい。
さらに、メディアのオブジェクトを顔の認識によって識別する際に、処理ロジックは、メディアのオブジェクト内の顔の位置をユーザ入力に基づいて判定するように構成してもよい。
別の側面によれば、装置は、命令を記憶するためのメモリと、メディアを装置において取得し、メディア内のオブジェクトの識別を顔と音声との認識を介して行い、メディアの識別されたオブジェクトに基づいて識別情報を装置上に表示する命令を実行するプロセッサと、を含んでもよい。
さらに別の側面によれば、方法が、装置においてビデオを取得するステップと、ビデオを装置において再生しながら、ビデオ内のオブジェクトの識別を顔の認識又は音声の認識を介して行うステップと、メディアの識別されたオブジェクトに基づいて識別情報を装置上に表示するステップとを含んでもよい。
さらに別の側面によれば、方法が、メディアを装置において取得するステップと、メディア上の物体と、物体のデータベースとの比較に基づいてメディア内の物体の識別を行うステップと、メディアの識別された物体に基づいて識別情報を装置上に表示するステップを含んでもよい。
さらに、物体は動物、印刷メディア、植物、樹木、岩又は漫画のキャラクタのうちの少なくとも１つを含んでもよい。
別の側面によれば、方法は、装置においてメディアを取得するステップと、メディア上の場所と場所のデータベースとの比較に基づいてメディア内の場所の識別を行うステップと、メディアの識別された場所に基づいて識別情報を装置上に表示するステップとを含んでもよい。
さらに、場所は、建物、陸標、道路、又は橋のうちの少なくとも１つを含んでもよい。
さらに、本方法は、メディア上の識別された場所の表示を含む地図をメディアの識別された場所の所在位置に基づいて装置上に表示するステップをさらに含んでもよい。
さらなる側面によれば、方法が、装置上でメディアを取得するステップと、オブジェクトの音声の認識及びテキスト認識に基づいてメディア内のオブジェクトの識別を行うステップを提供するステップと、メディアの識別されたオブジェクトに基づいて識別情報を装置上に表示するステップとを含んでもよい。
本明細書の一部に組み込まれ、かつ本明細書の一部を構成する添付図面は、本発明の実施形態を例示し、以下の説明と共に本発明を記述するものである。
本発明の原理に従うコンセプト示す例示の線図である。 本発明の原理に従うシステム及び方法を実現してもよい例示の装置の線図である。 図２の例示装置の例示の構成要素の線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。 本発明の原理に従う実装構成に従う例示の処理を示すフローチャートである。 本発明の原理に従う実装構成に従う例示の処理を示すフローチャートである。 本発明の原理に従う実装構成に従う例示の処理を示すフローチャートである。 本発明の原理に従う実装構成に従う例示の処理を示すフローチャートである。
本発明の以下の詳細な説明は添付図面を参照するものである。異なる図面内の同じ参照番号は同じ要素又は類似の要素を同定するものとする。また、以下の詳細な説明は本発明を限定するものではない。
本発明の原理に従う実装構成は顔の認識と音声の認識の少なくともいずれかの結果に基づいて行うメディアの識別、並びに、顔の認識と音声の認識の少なくともいずれかの結果に関係する識別情報の表示に関する。（画像とビデオの少なくともいずれかにおいて（単複の）人物を識別する顔認識技術と、映画から得られるサウンドバイトなどのオーディオ部分において（単複の）人物を識別するための音声認識技術との少なくともいずれかの）メディア識別を用いることによって、（単複の）人物を識別してもよく、そして、（単複の）人物に関する情報を装置上に表示してもよい。例えば、装置は、記憶又は（写真撮影によるような）別のメカニズムから（画像のような）メディアを検索してよく、画像に示された顔の選択をユーザに許可してもよい。顔の認識は顔に関して行ってよく、画像に示された（単複の）人物を識別してよい。装置は顔の認識によって識別された（単複の）人物に関する識別情報を提供してもよい。
本願で用いられているように「メディア」という用語は、コンピュータで読取り可能で、かつ、機械に記憶可能な任意の作業生産物、ドキュメント、電子メディアなどを含む広い意味で解釈すべきものである。メディアは、例えば、ドキュメント、電子雑誌、オンライン百科事典、（画像ファイル、オーディオファイル、ビデオファイル、アニメーションファイル、ウェブ配信されるポッドキャストのような）電子メディアなどに含まれる情報を含んでもよい。
本願で用いられているように「ドキュメント」という用語は、コンピュータで読取り可能で、かつ、機械に記憶可能な任意の作業生産物を含む広い意味で解釈すべきものである。ドキュメントは、例えば、電子メール、ウェブサイト、ファイル、ファイルの組み合わせ、別のファイルへの埋込みリンクを含む１以上のファイル、ニュースグループの転記、前述のもののうちのいずれかなどを含んでもよい。インターネットという文脈では共有ドキュメントはウェブページである。ドキュメントにはテキスト情報が含まれている場合が多いが、（メタ情報、画像、ハイパーリンクなどのような）埋め込まれた情報と（ＪａｖａＳｃｒｉｐｔなどのような）埋め込まれた命令の少なくともいずれかが含まれている場合もある。
本願で用いられているように「識別情報」という用語は、メディアにおいて識別される任意のオブジェクトに関連する任意の情報を含むものとして広い意味で解釈すべき用語である。例えば、オブジェクトとは、（メディアから識別できる有名人、ミュージシャン、歌手、映画スター、運動選手、友人及び任意の人物のうちの少なくともいずれかのような）人物と、（建物、陸標、道路、橋及びメディアから識別できる任意の場所のうちの少なくともいずれかのような）場所と、（動物、（書籍、雑誌のような）印刷メディア、漫画のキャラクタ、（キングコングのような）映画のキャラクタ、植物、樹木、及びメディアから識別することができる任意の「物体」のうちの少なくともいずれかのような）物体とのうちの少なくともいずれかを含むものであってもよい。
本願で用いられているように「リンク」という用語は、同じコンテンツの別のコンテンツ又は別の一部から／へのコンテンツへ／から任意の参考文献を含むものとして広い意味で解釈すべき用語である。
本願で用いられているように「装置」という用語は、データ処理、ファクシミリ、及びデータ通信機能をセルラ無線電話機に結合した個人通信システム（ＰＣＳ）端末と、無線電話機、ポケットベル、インターネット／イントラネットアクセス、ウェブブラウザ、電子手帳、カレンダ、及び全地球測位システム（ＧＰＳ）受信機のうち少なくともいずれかを含むＰＤＡと、（マイクのような）音声録音機と、ドップラー受信機と全地球測位システム（ＧＰＳ）受信機の少なくともいずれかの受信機と、ラップトップと、ＧＰＳ装置と、（ビデオカメラと静止画像カメラの少なくともいずれかのような）カメラと、パーソナルコンピュータ、ホーム娯楽システム、テレビなどのようなメディアを表示できる他の任意の計算装置又は通信装置とを含むものとして広い意味で解釈すべき用語である。
図１は本発明の原理に従うコンセプトを示す例示の線図である。図１に示すように、装置のディスプレイ１００はユーザによって選択された画像又はビデオ（画像／ビデオ）１１０を含んでもよい。例えば、１つの実装例では、画像／ビデオ１１０は、ディスプレイ１００に現在表示されている映画又は音楽用ビデオであってもよい。ディスプレイ１００は、（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔マーク項目１２０を含んでもよい。この選択メカニズムによって、ユーザは、選択時に画像／ビデオ１１０の顔の一部を（カーソル１３０などで）マークすることが可能としてもよい。顔がカーソル１３０でマークされた場合、ユーザは、以下さらに詳細に記載のように、ディスプレイ１００上に示される（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔認識項目１４０を選択し、次いで、画像／ビデオ１１０の顔の認識を行ってもよい。図１にさらに示すように、ディスプレイ１００は（アイコン、リンク、ボタン、別の同様の選択メカニズムのうちの少なくともいずれかなどのような）オーディオファイル項目１５０を含んでもよい。このオーディオファイル項目１５０は、ユーザがオーディオファイルを聴いているときに表示してもよい。例えば、１つの実装例では、ユーザは（デジタル音楽、ＭＰ３、ＭＰ４のような）音楽を装置で聴いてもよい。以下さらに詳細に記載のように、ユーザは、ディスプレイ１００に示される（アイコン、リンク、ボタン、別の同様の選択メカニズムのうちの少なくともいずれかのような）声（音声）認識項目１６０を選択し、オーディオファイルの音声認識を行ってもよい。別の実装構成では、ユーザは、音声認識項目１６０を選択し、次いで、現在ディスプレイ１００に表示されている（ビデオ１１０のような）映画の中の声の音声認識を行ってもよい。さらに別の実装構成では、ユーザは、ディスプレイ１００上に現在示されている（ビデオ１１０のような）メディアにおいて顔の認識と音声の認識の双方を行ってもよい。
＜＜例示の装置アーキテクチャ＞＞
図２は本発明の原理に従う実装構成による例示装置２００を示す線図である。図２に示すように、装置２００は、ハウジング２１０、スピーカ２２０、ディスプレイ２３０、制御ボタン２４０、キーパッド２５０、マイク２６０、及びカメラ２７０を含んでもよい。ハウジング２１０はエレメントの外側から装置２００の構成要素を保護してもよい。スピーカ２２０は可聴情報を装置２００のユーザに提供してもよい。ディスプレイ２３０は視覚情報をユーザへ提供してもよい。例えば、ディスプレイ２３０は着呼又は発呼に関する情報、メディア、ゲーム、電話帳、現在時刻等を提供してもよい。本発明の原理に従う実装構成では、ディスプレイ２３０は（例えば顔の認識又は音声の認識を介して）メディアの形で識別することができる情報をユーザに提供してもよい。制御ボタン２４０は、ユーザが装置２００と相互に情報の交換を行って、１以上の処理を装置２００に実行することができるようにしてもよい。キーパッド２５０は標準的電話用キーパッドを含んでもよい。マイク２６０はユーザから可聴情報を受信してもよい。カメラ２７０は、ユーザがビデオと（写真のような）画像の少なくともいずれかをキャプチャし、これを記憶できるようにしてもよい。
図３は装置２００の例示の構成要素を示す線図である。図３に示すように、装置２００は、処理ロジック３１０、記憶部３２０、ユーザインタフェース３３０、通信インタフェース３４０、アンテナアセンブリ３５０、及びメディア情報収集部３６０を含んでもよい。処理ロジック３１０は、プロセッサ、マイクロプロセッサ、識別用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等を含んでもよい。処理ロジック３１０は、装置２００及びその構成要素の動作を制御するためのデータ構造又はソフトウェアプログラムを含んでもよい。記憶部３２０は、処理ロジック３１０によって用いてもよいデータと命令とを記憶するためのランダムアクセスメモリ（ＲＡＭ）と、リードオンリメモリ（ＲＯＭ）と、別のタイプのメモリとのうちの少なくともいずれかのメモリを含んでもよい。
ユーザインタフェース３３０は、装置２００へ情報を入力するメカニズムと、装置２００から情報を出力するメカニズムとの少なくともいずれかのメカニズムを含んでもよい。この入出力メカニズムの例は、電気信号を受信し、音声信号を出力する（スピーカ２２０のような）スピーカと、画像とビデオ信号の少なくともいずれかを受信し、電気信号を出力する（カメラ２７０のような）カメラと、音声信号を受信し、電気信号を出力する（マイク２６０のような）マイクと、データと制御コマンドとを装置２００へ入力することを可能にするための（ジョイスティックと、制御ボタン２４０と、キーパッドのキー２５０とのうちの少なくともいずれかのような）ボタンと、（カメラ２７０から得られる情報のような）視覚情報を出力する（ディスプレイ２３０のような）ディスプレイと、装置２００を振動させるバイブレータとのうちの少なくともいずれかを含むものであってもよい。
通信インタフェース３４０は、例えば、処理ロジック３１０からのベースバンド信号を無線周波数（ＲＦ）信号に変換してもよい送信機と、ＲＦ信号をベースバンド信号に変換してもよい受信機とのうちの少なくともいずれか等を含んでもよい。上記とは別に、通信インタフェース３４０は送信機と受信機双方の機能を実行するトランシーバを含んでもよい。通信インタフェース３４０はＲＦ信号の送受信用アンテナアセンブリ３５０と接続してもよい。アンテナアセンブリ３５０はＲＦ信号を無線で送受信する１以上のアンテナをしてもよい。アンテナアセンブリ３５０は、通信インタフェース３４０からＲＦ信号を受信し、このＲＦ信号を無線で送信し、ＲＦ信号を無線で受信し、該ＲＦ信号を通信インタフェース３４０へ提供してもよい。例えば、１つの実装例では、通信インタフェース３４０は、（ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）のような電話ネットワーク、イントラネット、インターネット、又はこれらのネットワークの組み合わせのような）ネットワークと通信を行ってもよい。
メディア情報収集部３６０は装置２００からメディア情報を取得してもよい。１つの実装例では、メディア情報は、装置２００に記憶された、又は（通信インタフェース３４０のような）装置２００によって受信されたメディアに対応してもよい。この場合、メディア情報収集部３６０は、（記憶部３２０のような）メディア記憶装置又は（有線通信又は無線通信のような）別のソースからメディアを受信できる（外部のメディア記憶装置との通信インタフェース３４０のような）通信装置を含んでもよい。別の実装構成では、メディア情報は、装置２００によってキャプチャされるか、検索されるメディアに対応してもよい。この場合、メディア情報収集部３６０は、オーディオ情報を録音してもよい（マイク２６０のような）マイクと、画像とビデオの少なくともいずれかを録画してもよい（カメラ２７０のような）カメラとのうちの少なくともいずれかを含むものであってもよい。このキャプチャされたメディアは（記憶部３２０のような）メディア記憶装置に記憶されたものであってもよいし、そうでなくてもよい。
以下詳細に説明するように、本発明の原理に従う装置２００は、メディア情報に基づいて（顔の認識と音声の認識の少なくともいずれかのような）メディア識別に関連する或る処理を実行してもよい。記憶部３２０のようなコンピュータ可読メディアを含むアプリケーションのソフトウェア命令を実行する処理ロジック３１０に応答して、装置２００は処理を実行してもよい。コンピュータ可読メディアは、物理的又は論理的メモリデバイスか、搬送波かの少なくともいずれかとして定義されるものであってもよい。
通信インタフェース３４０を介して、別のコンピュータ可読メディアから、又は、別の装置から記憶部３２０の中へソフトウェア命令を読み込んでもよい。記憶部３２０に含まれているソフトウェア命令は後程説明する処理を処理ロジック３１０に実行させてもよい。上記とは別に、ソフトウェア命令の代わりに、又は、ソフトウェア命令と組み合わされた形の有線回路構成を用いて、本発明の原理に従う処理を実現してもよい。したがって、本発明の原理はハードウェアの回路構成とソフトウェアとの識別の組み合わせのいずれにも限定されることはない。
＜＜例示のメディア識別方法＞＞
図４Ａ〜図６Ｂは本発明の原理に従う実装構成に従う例示のメディア識別方法を示す線図である。図４Ａ〜図６Ｂの方法は（装置２００のディスプレイ２３０のような）装置２００の中で伝えてもよい。
（画像とビデオの少なくともいずれかの顔認識）
図４Ａに示すように、（装置２００のディスプレイ２３０のような）装置のディスプレイ４００は画像／ビデオ１１０を表示してもよい。ディスプレイ４００は（アイコン、リンク、ボタン及び別の同様の選択メカニズムとの少なくともいずれかのような）顔マーク項目１２０を含んでもよい。この選択メカニズムによって、ユーザは、選択時に（例えば１つの実装例ではカーソル１３０を用いて）画像／ビデオ１１０の顔の一部をマークしてもよい。カーソル１３０で顔がマークされた場合、ユーザは、ディスプレイ４００に示される（アイコン、リンク、ボタンと他の同様の選択メカニズムとの少なくともいずれかのような）顔認識項目１４０を選択し、次いで、画像／ビデオ１１０の顔の認識を行う。１つの実装例では、顔の認識は、（例えば装置２００の処理ロジック３１０及び記憶部３２０を介して）装置に設けられている顔認識ソフトウェアによって画像／ビデオ１１０上で行ってもよい。別の実装構成では、顔の認識は、（例えば通信インタフェース３４０を介して）装置２００と通信を行う装置に設けられている顔認識ソフトウェアによって画像／ビデオ１１０上で行ってもよい。
顔認識ソフトウェアは利用可能な従来方式の任意の顔認識ソフトウェアを含むものであってもよい。例えば、顔認識ソフトウェアは認証及び識別に用いられる顔認識技術を含むものであってもよい。典型的な認証タスクは、人々が施設への入室やデータへのアクセスが許可される前に、しかるべき人物であることを判別してもよい。このような場合、顔認識ソフトウェアは最新の画像をデータベース内の画像と比較してもよい。合致率は良好なものになり得る。なぜなら、このような顔の画像は（有名人の写真撮影のように）周囲の環境を制御してキャプチャしてもよく、さらに挑戦すべき課題の多い環境下で撮影される写真に比べてより高品質の画像が生み出されるからである。
典型的識別タスクでは、デジタルカメラ又はビデオカメラのようなソースから得られる未知の人物をデータベース内の画像と照合する試みを行ってもよい。識別による照合にはさらに挑戦すべき課題が生じる場合がある。なぜなら、この目的のために取得された画像は、一般的に、（公衆のいる場所での有名人の写真撮影の場合のような）制御された条件下で被写体の協力によって作成されたものではない場合があるからである。
最新の顔認識ソフトウェアは、４つの基本的方法、すなわち、外観ベース、ルールベース、特徴ベース、テクスチャベースの方法のうちの少なくともいずれかの方法のうちの１以上を用いて行ってもよい。外観ベースの方法は、画像から顔の特徴を抽出するのではなく２以上の画像の類似度を測定してもよい。ルール依存による方法は（人間の目、鼻及び口のような）顔の構成要素を分析し、画像間における構成要素の関係を測定してもよい。特徴ベースの方法は（エッジ品質、形状及び肌の色のような）顔立ちの特徴を分析してもよい。テクスチャベースの方法は顔の様々なテクスチャパターンをチェックしてもよい。これらの方法のそれぞれに対して、顔認識ソフトウェアはデータを定義し、記憶するアルゴリズムを用いてテンプレートを生成してもよい。認証又は識別用として画像がキャプチャされると、顔認識ソフトウェアはデータを処理し、このデータをテンプレート情報と比較してもよい。
本発明の原理に従う１つの実装例では、Ｃｏｇｎｉｔｅｃ Ｓｙｓｔｅｍｓ社、Ｎｅｖｅｎ Ｖｉｓｉｏｎ社、Ｉｄｅｎｔｉｘ社、Ａｃｓｙｓ Ｂｉｏｍｅｔｒｉｃｓ’ＦＲＳ Ｄｉｓｃｏｖｅｒｙ社から入手可能なソフトウェアから得られるか、これらのソフトウェアと類似しているかの少なくともいずれかの顔認識ソフトウェアを用いて、顔の認識を行うようにしてもよい。
さらに図４に示すように、画像／ビデオ１１０の顔の認識結果４１０をディスプレイ４００上に示してもよい。結果４１０は画像／ビデオ１１０に示されている顔に一致する（単複の）人物のリストを含んでもよい。例えば、１つの実装例では、結果４１０は、「有名人Ｎｏ１」４２０及び（人物４２０が画像／ビデオ１１０と一致する可能性９８％のような）人物４２０に一致する近似度の表示を含んでもよい。結果４１０はまた、画像／ビデオ１１０を人物４２０の所定の画像と比較するための画像４３０（この画像４３０は画像／ビデオ１１０と同じであってもよいし、そうでなくてもよい）を含んでもよい。結果４１０は種々の方法で並べてもよい。例えば、１つの実装例では、図４Ａに示すように、結果４１０は、最も近い一致から、（５０％のような）所定のパーセントの範囲内で一致する人物までの一致する人物のリストを降順に提示してもよい。ユーザは、結果４１０から人物を選択して、選択された人物に関する識別情報を表示してもよい。例えば、１つの実装例では、（人物４２０のような）各人物と個々の画像４３０との少なくともいずれかは人物に関する識別情報へのリンクを提供してもよい。
ユーザが上記結果から人物を選択した（例えば人物４２０を選択した）場合、ディスプレイ４００は図４Ｂに示す例示の識別情報を提示してもよい。多岐にわたる識別情報を提供してもよい。例えば、人物が映画スターであれば、ディスプレイ４００はメニュー部分４４０及び識別情報部分４５０を提示してもよい。メニュー部分４４０は、例えば、識別情報部分の複数の部分４５０に関係する、（「経歴」、「映画界での経歴」、「ＴＶ界での経歴」、「ウェブサイト」と「リマインダー」のうちの少なくともいずれかのような）選択可能なリンクを含むものであってもよい。実装例において、図４Ｂに示す、識別情報部分４５０は、（「経歴」の見出しの下にあるような）当該人物に関する経歴情報、（「映画界での経歴」の見出しの下にあるような）当該人物に関する映画界での経歴情報、（「ＴＶ界での経歴」の見出しの下にあるような）当該人物に関するテレビ界での経歴情報、（「ウェブサイト」の見出しの下にあるような）当該人物に関するウェブサイト情報、（「リマインダー」の見出しの下にあるような）リマインダー（注目）情報のうちの少なくともいずれかの情報を含むものであってもよい。リマインダー情報は（アイコン、リンク、ボタン、他の同様の選択メカニズムのうちの少なくともいずれかのような）リマインダー項目４６０を含むものであってもよい。この選択メカニズムによって、ユーザは、選択時に、この人物が今夜テレビに出演する旨のリマインダー事項を設定してもよい。
図４Ａは、本発明の原理に従う１つの実装例において単一の人物の顔をマークする処理を示す図ではあるが、複数の人物、場所又は物体を同様に識別用としてマークしてもよい。したがって、マークされた人物、場所、又は物体のそれぞれに対して識別情報を表示してもよい。さらに、ユーザは画像又はビデオの顔をマークする必要はなく、代わりに、１つの実装例では、顔認識項目１４０の選択の際に、画像又はビデオの顔を（例えば顔認識ソフトウェアによって）画像又はビデオに自動的に配置してもよい。
図４Ｂは例示の識別情報を示すものではあるが、識別されたメディアに応じて多少の識別情報を提供してもよい。例えば、識別された人物がミュージシャンである場合、識別情報は、アルバム情報、音楽用ビデオ情報、音楽ダウンロード情報、（ミュージシャンから入手可能な別の歌、ビデオのような）推奨情報などを含んでもよい。図４Ｂはさらにメニュー部分４４０を示すものではあるが、ディスプレイ４００にはこのようなメニュー部分が含まれずに、（識別情報部分４５０のような）識別情報を提供する場合もある。
（オーディオ部分の音声認識）
図５Ａに示すように、（装置２００のディスプレイ２３０のような）装置のディスプレイ５００が（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）オーディオファイル項目１５０を表示するか、（装置２００のような）装置がオーディオファイル項目１５０に関連づけられたオーディオファイルを再生するかの少なくともいずれかを行ってもよい。ユーザは、ディスプレイ５００に提示される（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）音声認識項目１６０を選択し、次いで、オーディオファイルの音声認識を行ってもよい。１つの実装例では、（例えば装置２００の処理ロジック３１０と記憶部３２０とを介して）装置に設けられた音声認識ソフトウェアによってオーディオファイルに対する音声認識を行ってもよい。別の実装構成では、（例えば通信インタフェース３４０を介して）装置２００と通信を行う装置に設けられた音声認識ソフトウェアによってオーディオファイルに対する音声認識を行ってもよい。
音声認識ソフトウェアは利用可能な従来方式の任意の音声認識ソフトウェアを含むものであってもよい。例えば、音声認識ソフトウェアは、人の音声から人を認識することが可能な何らかのソフトウェアを含むものであってもよい。音声認識ソフトウェアは音声から得られる特徴を抽出し、これらの特徴をモデル化し、該特徴を用いてユーザの音声から人物を認識してもよい。音声認識ソフトウェアは、個人によって異なることが知られている音声のオーディオ的特徴を用いてもよい。これらのオーディオパターンは、（喉の大きさ及び形状のような）骨格及び（声のピッチと話し方のような）学習された行動パターンの双方を反映してもよい。（「声紋」のような）音声テンプレートの中へ学習されたパターンを組み込むことにより、音声認識において「行動バイオメトリック」という分類が行われるようになった。音声認識ソフトウェアは、３つのスタイルの音声入力、すなわち文脈依存型入力と、テキストプロンプト型（text-prompted）入力と、文脈非依存型入力とのうちの少なくともいずれかの入力を採用してもよい。文脈依存型入力は、パターン認識技術を用いて話し言葉を有効コードのデータベースの話し言葉に照合する処理に関係してもよい。テキストプロンプト型入力は、システムが用いられる度に新しいキーセンテンスをユーザにプロンプトで示し、そのユーザがプロンプトされた文を反復したことのある登録済みの話者であることがシステムにより判定された場合にのみ入力された発声を受け付ける処理に関係してもよい。文脈非依存型入力は、音声の前処理を行い、特徴を抽出し、パターン認識を用いて、特定の音声の特徴を、データベースに記憶されているテンプレートの音声と照合して、話者の識別を行う処理に関係してもよい。隠れマルコフモデル、パターンマッチング・アルゴリズム、ニューラル・ネットワーク、行列表現、デシジョンツリーのうちの少なくともいずれかを含む種々の技術を用いて、処理を行い、声紋を記憶してもよい。
本発明の原理に従う１つの実装例では、Ｇｏｌｄ Ｓｙｓｔｅｍｓ社、ＰＩＫＡ Ｔｅｃｈｎｏｌｏｇｉｅｓ社、ＲｉｇｈｔＮｏｗ Ｔｅｃｈｎｏｌｏｇｉｅｓ社、ＳｅａｒｃｈＣＲＭ社、ＳｐｅｅｃｈＰｈｏｎｅ ＬＬＣｇｏｌｄ社のうちの少なくともいずれかから入手可能なソフトウェアから得られる音声認識ソフトウェアか、上記各社のソフトウェアと類似している音声認識ソフトウェアかの少なくともいずれかを用いて音声の認識を行ってもよい。
図５はオーディオファイルに対して実行される音声の認識を示す図ではあるが、本発明の原理に従う１つの実装例では、（装置２００のような）装置によって表示されているビデオによって生成されるオーディオ部分に対して音声の認識を行ってもよい。例えば、ユーザが装置２００で映画を観る場合、ユーザは音声認識項目１６０を選択して、映画の中の音声に対して音声認識を行ってもよい。
さらに図５に示すように、音声の認識結果５１０をディスプレイ５００上に提示してもよい。結果５１０はオーディオファイルの音声（又はビデオ内のオーディオ部分）に一致する（単複の）人物のリストを含んでもよい。例えば、１つの実装例では、結果５１０は、「有名人Ｎｏ１」５２０及び（人物５２０の声がオーディオファイル又はビデオ内のオーディオ部分に一致する確度９８％のような）人物５２０の声に一致する近似度の表示を含んでもよい。結果５１０はまた、オーディオファイル（又はビデオ内のオーディオ部分）に一致してもよい声を持つ人物５２０の画像５３０を含んでもよい。結果５１０は種々の方法で並べてもよい。例えば、１つの実装例では、図５Ａに示すように、結果５１０は、最も近い一致から、（５０％のような）所定のパーセントの範囲内で一致する人物までの一致する人物のリストを降順に提示してもよい。ユーザは、結果５１０から人物を選択して、選択された人物に関する識別情報を表示してもよい。例えば、１つの実装例では、（人物５２０のような）各人物と個々の画像５３０との少なくともいずれかによって、人物に関する識別情報へのリンクを提供してもよい。
オーディオファイル（又はビデオ内のオーディオ部分）を種々の方法で人物と照合してもよい。例えば、１つの実装例では、音声認識ソフトウェアはオーディオファイル内の音声から得られる特徴を抽出し、これらの特徴をモデル化し、該特徴を用いてユーザの音声から（単複の）人物を認識してもよい。別の実装構成では、音声認識ソフトウェアは、オーディオファイル内の話された語（又はオーディオファイルによって再生される音楽）を比較し、次いで、これらの話された語（又は音楽）を（映画、音楽ファイルなどから得られる有名な台詞のような）このような語を含むデータベースと比較してもよい。さらに別の実装構成では、音声認識ソフトウェアは前述の技術の組み合わせを用いて、オーディオファイルを人物と照合してもよい。
ユーザが上記結果から人物を選択した（例えば人物５２０を選択した）場合、ディスプレイ５００は図５Ｂに示す例示の識別情報を提供してもよい。多岐にわたる識別情報を提供するようにしてもよい。例えば、人物が映画スターであれば、ディスプレイ５００によってメニュー部分５４０及び識別情報部分５５０を提示してもよい。メニュー部分５４０は、例えば、識別情報部分の複数の部分５５０に関係する、（「映画の台詞」、「経歴」、「映画界での経歴」、「ＴＶ界での経歴」、「ウェブサイト」と「リマインダー」のうちの少なくともいずれかのような）選択可能なリンクを含むものであってもよい。実装例において、図５Ｂに示す、識別情報部分５５０は、（「映画の台詞」の見出しの下にあるような）映画の台詞情報５６０、（「経歴」の見出しの下にあるような）台詞を言った人物に関する経歴情報、（「映画界での経歴」の見出しの下にあるような）人物に関する映画界での経歴情報、（「ＴＶ界での経歴」の見出しの下にあるような）人物に関するテレビ界での経歴情報、（「ウェブサイト」の見出しの下にあるような）当該人物に関するウェブサイト情報、（「リマインダー」の見出しの下にあるような）リマインダー情報のうちの少なくともいずれかの情報を含むものであってもよい。映画の台詞情報５６０は、例えば、映画の題名及び、音声認識ソフトウェアによって認識された映画の台詞を提供してもよい。リマインダー情報は（アイコン、リンク、ボタン、他の同様の選択メカニズムのうちの少なくともいずれかのような）リマインダー項目５７０を含むものであってもよい。この選択メカニズムによって、ユーザは、選択時に、この人物が今夜テレビに出演する旨のリマインダー事項を設定してもよい。図５Ｂはさらにメニュー部分５４０を示すものではあるが、ディスプレイ５００がこのようなメニュー部分を含まず、（識別情報部分５５０のような）識別情報を提示する場合もある。
図５Ｂは例示の識別情報を示すものではあるが、識別されたメディアに応じて多少の識別情報を提供してもよい。例えば、（人物５２０のような）人物がミュージシャンである場合、図５Ｃに示すような１つの実装例では、識別情報はそのミュージシャンに関係する情報を含んでもよい。図５Ｃに示すように、ディスプレイ５００はメニュー部分５８０と識別情報部分５９０とを提供してもよい。メニュー部分５８０は、例えば、識別情報部分の複数部分５９０とつながる（「ソング名」、「経歴」、「アルバム」、「ビデオダウンロード」、「リマインダー」のうちの少なくともいずれかのような）選択可能なリンクを含んでもよい。図５Ｃに示す実装例において、識別情報部分５９０は、（「ソング名」の見出しの下にあるような）ソング名情報、（「経歴」の見出しの下にあるような）ミュージシャンに関する経歴情報）、（「アルバム」の見出しの下にあるような）ミュージシャンに関するアルバム情報）、（「ビデオ」の見出しの下にあるような）ミュージシャンに関するビデオ情報、（「ダウンロード」の見出しの下にあるような）ミュージシャンに関連する入手可能なダウンロード可能な情報、（「リマインダー」の見出しの下にあるような）リマインダー情報のうちの少なくともいずれかを含んでもよい。リマインダー情報は（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）リマインダー項目５７０を含んでもよい。この選択メカニズムによって、ユーザは、選択時に、この人物が今夜テレビに出演する旨のリマインダー事項を設定してもよい。図５Ｃはさらにメニュー部分５８０を示すものではあるが、ディスプレイ５００にはこのようなメニュー部分が含まれずに、（識別情報部分５９０のような）識別情報を提供してもよい。
（装置によってキャプチャされる画像／ビデオ／オーディオの顔の認識と音声の認識の少なくともいずれかの認識）
１つの実装例では、図４Ａ〜図５Ｃに図示のように、（装置２００のような）装置を表示するか、装置２００に記憶されている、装置２００によってアクセス可能な別の装置に記憶されているか、装置２００へダウンロードされるかの少なくともいずれかのメディアを再生するかの少なくともいずれかを行ってもよい。例えば、１つの実装例では、装置２００はメディアを記憶部３２０に記憶し、その後、メディアの再生を行ってもよい。別の実装構成では、装置２００は別の装置と接続してもよい（コンピュータはＤＶＤプレーヤと接続し、相手方の装置に記憶されているもう一方のメディアを再生してもよい）。さらに別の実装構成では、装置２００は、（例えばインターネットから）メディアをダウンロードし、次いで、装置２００上でメディアを再生してもよい。ダウンロードされたメディアは装置２００の記憶部３２０に記憶されてもよいし、そうでなくてもよい。
別の実装構成では、図６Ａ及び６Ｂに示すように、（装置２００のような）装置はメディアをキャプチャし、メディアに関する識別情報の照合結果を表示するためにメディア上の顔と音声の少なくともいずれかの認識を行ってもよい。例えば、図６Ａに示すように、（装置２００のディスプレイ２３０のような）装置のディスプレイ６００は、写真を撮影するか、ビデオを録画するかの少なくともいずれかを行うための（カメラ２７０のような）メカニズムを提供してもよい。ディスプレイ６００は（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）カメラ項目６２０を含んでもよい。この選択メカニズムによって、ユーザが、選択時に、（例えば、装置２００のカメラ２７０を介するような）装置２００を用いて（写真のような）画像６１０をキャプチャすることが可能となるようにしてもよい。ディスプレイ６００は（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）ビデオ項目６３０を含んでもよい。この選択メカニズムによって、ユーザが、選択時に、（例えば、装置２００のカメラ２７０を介するような）装置２００を用いて（映画のような）ビデオをキャプチャすることが可能となるようにしてもよい。ディスプレイ６００はまた、装置２００によってキャプチャすることができる画像とビデオの少なくともいずれかをユーザが拡大できるようにしてもよいオプションのメカニズム６４０を含んでもよい。
図６Ａにさらに示すように、ディスプレイ６００（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔マーク項目１２０を含んでもよい。この選択メカニズムによって、ユーザが、選択時に、（例えば１つの実装例ではカーソル１３０によって）画像６１０の顔の一部をマークすることが可能となるようにしてもよい。カーソル１３０で顔をマークする場合、ユーザは、ディスプレイ６００上に提示される（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔認識項目１４０を選択し、図４Ａ及び４Ｂに関連して上述したように画像６１０の顔の認識を行ってもよい。
図６Ｂに示すように、ユーザはビデオ項目６３０を選択し、（例えば装置２００のカメラ２７０を介して）装置２００によってビデオ６５０をキャプチャしてもよい。ユーザは、（制御ボタン２４０とキーパッドのキー２５０の少なくともいずれかのような）装置２００の入力メカニズムの選択の際に、（ポーズ（一時停止）テキスト６６０によって示されるような）ビデオ６５０のポーズを行ってもよい。ビデオ６５０がポーズされた場合、ユーザは顔マーク項目１２０を選択してもよい。この顔マーク項目１２０によって、ユーザは（例えば、１つの実装例ではボックス６７０によって）ビデオ６５０の顔の一部をマークすることができるようになってもよい。ビデオ内のポーズされたフレームをマークするか、マークすべきビデオのフレームの位置を発見するために後方か前方かの少なくともいずれかの方向へユーザがビデオをサーチするかの少なくともいずれかを行ってもよい。顔がボックス６７０によってマークされた場合、ユーザは、ディスプレイ６００上に提示される（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔認識項目１４０を選択し、次いで、図４Ａ及び図４Ｂに関連して上述したようにビデオ６５０の顔の認識を行ってもよい。別の実装例では、ビデオ６５０をそのまま再生しながら（すなわち、ビデオ６５０をポーズすることなく）ビデオ６５０内の人物の顔をマークしてもよい。さらなる態様で、又は、上記とは別の態様での少なくともいずれかの態様で、ビデオ６５０をそのまま再生しながらユーザは音声認識項目１６０を選択し、図５Ａ〜５Ｃに関連して上述したようにビデオ６５０のオーディオ部分の音声認識を行ってもよい。
さらに別の実装構成では、ユーザは、ビデオ６５０をそのまま再生しながら（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔／音声の認識項目６８０を選択し、ビデオ６５０の顔の認識と、ビデオ６５０のオーディオ部分の音声認識との少なくともいずれかを実行してもよい。例えば、ビデオ６５０の顔の認識と音声認識の組み合わせは同時に実行してもよい。上記とは別に、ビデオ６５０の顔の認識を第１に実行してよいと共に、顔の認識が決定的な一致を提供しなかった場合、ビデオ６５０のオーディオ部分の音声認識を第２に実行してもよい（例えば、音声認識を行う前に所定の精度レベルを設定するようにしてもよい）。さらに別の例では、ビデオ６５０のオーディオ部分の音声認識を第１に実行し、次いで、音声認識が決定的な一致を提供しなかった場合、ビデオ６５０の顔の認識を第２に実行してもよい（例えば、顔の認識を行う前に所定の精度レベルを設定するようにしてもよい）。
図６Ａ及び図６Ｂは画像とビデオの少なくともいずれかを装置によってキャプチャする処理を示す図ではあるが、この装置はまた、（例えば装置２００のマイク２６０を介して）オーディオ部分をキャプチャしてもよい。キャプチャされたオーディオ部分は装置２００に（例えば記憶部３２０に）記憶してもよいし、しなくてもよい。図５Ａ〜図５Ｃに関連して上述したキャプチャされたオーディオ部分に対して音声認識を行ってもよい。
１つの実装例では、装置２００のユーザはメディアを装置２００に表示する方法を制御してもよい。例えば、装置２００は（例えば制御ボタン２４０とキーパッドのキー２５０との少なくともいずれかのような）ユーザがメディアの任意の部分のズームインとズームアウトを行うことを可能にする、ユーザにより制御されるメディアスケーリングメカニズムを含むものであってもよい。図４Ａ〜図６Ｂに関連して上述した方法のうちのいずれかの方法を用いてユーザ制御によるズーム機能を利用してもよい。装置２００は、（装置２００のスピーカ２２０でのオーディオ再生のような）ユーザによるメディアの開始及び停止を可能にしてもよい（制御ボタン２４０とキーパッドのキー２５０との少なくともいずれかのような）ユーザ制御によるメディア制御メカニズムをさらに含むものであってもよい。
図４Ａ〜図６Ｃに関連して上述した例示のメディア識別方法は様々なシナリオにおいて適用してもよい。以下のシナリオは、本発明の側面を実現するためのいくつかの例示の方法を提供するものである。
（人物の識別）
１つの実装例では、（有名人、ミュージシャン、歌手、映画スター、運動選手、友人、及び、メディアから識別できる任意の人物のうちの少なくともいずれかの）人物を上述の例示のメディア識別方法によって識別してもよい。例えば、映画スターは装置２００に表示されている映画に出演しているスターであってもよく、ユーザは、映画スターの名前と、その映画スターが別のどの映画に出演しているかの少なくともいずれかを知りたいと思う場合がある。ユーザは（例えば映画を介して）映画に出ている顔と音の少なくともいずれかの認識を行って、映画スターを識別し、次いで、（この映画スターが出演している別の映画のような）当該映画スターに関する別の識別情報を見つけてもよい。
別の例では、歌手又はミュージシャンが、装置２００に表示されている音楽用ビデオと、装置２００で再生されている歌との少なくともいずれかに出演していて、ユーザは歌手／ミュージシャンの名前と歌の名称の少なくともいずれかを知りたいと思う場合がある。ユーザは（例えば音楽用ビデオの中の歌手／ミュージシャンの顔に対する）顔の認識と、（例えば音楽用ビデオと歌の少なくともいずれかのオーディオ部分に対する）音声認識との少なくともいずれかの認識を行って、このような識別情報を発見してもよい。
さらに別の例では、ユーザは、映画のライブラリと、音楽用ビデオと、音楽との少なくともいずれかを装置２００上に有している場合がある。そして、ユーザが有名人を識別すると、装置２００は、有名人を含む可能性があるライブラリ内の映画と、音楽用ビデオと、音楽とのうちの少なくともいずれかへのリンクを提供してもよい。
別の例では、識別情報は（単複の）電話番号と（単複の）住所の少なくともいずれかを含む場合がある。そして、装置２００は（ユーザの友人のような）人物の画像を表示してもよい。ユーザが画像のうちの１つを選択すると、装置２００はその画像を、画像内の人物の（単複の）電話番号と（単複の）住所との少なくともいずれかと照合し、次いで、このような情報をユーザに対して表示することがきる。装置２００は画像内の人物の電話番号に自動的にダイアルするようにプログラムしてもよい。
さらに別の例では、（顔の情報と音声の情報の少なくともいずれかの情報のような）バイオメトリック情報が装置２００によって利用できる限り、上述の例示のメディア識別方法は有名人以外の人々に対しても用いてもよい。例えば、人が（犯罪者記録、パスポートなどからの）入手可能な顔の情報を有していて、装置２００がこのような情報にアクセスしてもよいならば、装置２００は、例示のメディア識別方法を用いてこのような人物を識別してもよい。このような構成装置によって、単に人物の画像をキャプチャすると共に、その画像を利用可能なバイオメトリック情報と比較することによって、犯罪者、テロリストなどを公の場所において識別したいという人々の願いを実現することを可能にしてもよい。これによって、市民による識別がサポートされ、周知の犯罪者、テロリスト、などの捕捉を可能にしてもよい。
（場所の識別）
１つの実装例では、（建物、陸標、道路、橋と任意の場所とのうちの少なくともいずれかとしてメディアから識別できる）場所を上述の例示のメディア識別方法により識別してもよい。例えば、装置２００のユーザが都市のあちこちを巡っているとき道順を見つけようとしている場合がある。ユーザは装置２００を用いて画像又は建物のビデオをキャプチャしてもよい。そして、装置２００は上述の例示のメディア識別方法によって建物を識別してもよい（例えばキャプチャした画像を装置２００によってアクセス可能なデータベース内の建物の画像と比較してもよい）。建物の識別によって都市における現在の所在位置がユーザに提供されて、ユーザは都市巡りの際に道順を見つけてもよい。実装例では、装置２００によって、識別された建物に基づいて現在の所在位置を示す地図がユーザに表示されるか、（例えば、都市におけるホテルのような）ユーザの行先の画像が提供されるかの少なくともいずれかを行ってもよい。
別の例では、ユーザはエリア内の陸標を識別しようとしている場合がある。ユーザは、装置２００を用いて陸標と思われるものの画像又はビデオを取得してよく、そして、装置２００は、上述の例示のメディア識別方法によって陸標を識別してよい（例えばキャプチャした画像を装置２００によってアクセス可能なデータベース内の陸標の画像と比較してもよい）。装置２００はまた、装置２００によって現在識別された陸標の近くに所在位置が突き止められた別の陸標への方向を提供してもよい。
さらに別の例では、ユーザは、（葉書などに記された）陸標の画像を装置２００によってキャプチャすることによって方向を取得してもよい。そして、装置２００は、上述の例示のメディア識別方法によって陸標の所在位置を識別してもよい（例えばキャプチャした画像を装置２００によってアクセス可能なデータベース内の陸標の画像と比較してもよい）。
さらに別の例では、ユーザは（単複の）道路標識の画像又はビデオをキャプチャすることによって方向を取得することができてよい。そして、装置２００は、上述の例示のメディア識別方法によって道路標識の所在位置を識別してもよい（例えばキャプチャした画像を装置２００によってアクセス可能なデータベース内の街路の名称の画像と比較してもよい）。装置２００はまた識別された街路を取り囲む街路、建物、陸標などを示す地図を提供してもよい。
場所の識別は、（装置２００に設けられているような）ＧＰＳ装置と組み合わされて機能し、装置２００の或る所在位置を提供してもよい。例えば、多数の「ファースト・ストリート」が存在する場合がある。ユーザがどの「ファースト・ストリート」の近くにいるかを判断するために、メディア識別とＧＰＳ装置との組み合わせによって、ＧＰＳ信号に基づいて「ファースト・ストリート」の（町、都市のような）場所をユーザが適切に識別できるようにしてもよい。
このような場所識別技術は、顔の認識の代わりに、「画像／ビデオ認識」を利用してもよい（例えば場所のキャプチャされた画像とビデオの少なくともいずれかを、装置２００によってアクセス可能なデータベースに含まれている画像とビデオの少なくともいずれかと比較してもよい）。しかし、本明細書で使用されているように、「顔認識」は「画像／ビデオ認識」のサブセットと見なしてもよい。
（物体の識別）
１つの実装例では、（動物、印刷メディア、漫画のキャラクタ、映画のキャラクタ、植物、樹木、及びメディアから識別することができる任意の「物体」のうちの少なくともいずれかのような）物体を上述した例示のメディア識別方法によって識別してもよい。例えば、装置２００のユーザが荒野にいて、ユーザが識別したい思う動物を見かける場合がある。ユーザは動物の画像と、ビデオと、動物の出す声のうちの少なくともいずれかを装置２００を用いてキャプチャしてもよい。そして、装置２００は上述の例示のメディア識別方法によって動物を識別してもよい（例えばキャプチャされた画像と、ビデオと、動物の出す声のうちの少なくともいずれかを、装置２００によってアクセス可能なデータベース内の動物の画像と動物の出す声の少なくともいずれかと比較してもよい）。動物の識別によって、ユーザは危険な動物に近づきすぎないようにするか、（バードウォッチャのような）動物観察者や科学の教師が荒野の未知の動物を識別するのに役立つかの少なくともいずれかを行うことができようにしてもよい。
別の例では、装置２００のユーザは、（例えば科学的目的のために、あるいは、教育的目的のために植物がツタウルシであるかどうかの判定を行うような）植物の識別を行いたいと思う場合がある。ユーザは植物の画像とビデオの少なくともいずれかを装置２００によってキャプチャしてもよい。そして、装置２００は上述の例示のメディア識別方法によってその植物を識別してもよい（例えば画像とビデオの少なくともいずれかを、装置２００によってアクセス可能なデータベース内の植物の画像と比較してもよい）。
別の例では、装置２００のユーザが漫画を観ていて、漫画のキャラクタを識別したいと思う場合がある。ユーザは（例えば漫画を介して）顔と音声の少なくともいずれかの認識を漫画に対して行って、漫画のキャラクタを識別し、次いで、漫画のキャラクタに関する（キャラクタを含む別の漫画のような）別の識別情報の所在位置を発見してもよい。
このような物体識別技術は、顔の認識の代わりに、（物体のキャプチャ済みの画像とビデオの少なくともいずれかを、装置２００によってアクセス可能なデータベースの中に含まれている画像とビデオの少なくともいずれかと比較してもよい）「画像／ビデオ認識」を利用してもよい。しかし、本明細書で使用されているように、「顔認識」は「画像／ビデオ認識」のサブセットと考えてもよい。さらに、このような物体識別技術は、音声の認識の代わりに、「オーディオ認識」を利用してもよい（例えば、物体のキャプチャされたオーディオ部分を、装置２００によってアクセス可能なデータベースの中に含まれているオーディオ部分と比較してもよい）。しかし、本明細書で使用されているように、「音声認識」は「オーディオ認識」のサブセットと考えてもよい。
（代替／追加技術）
上述の顔の認識、音声の認識、画像／ビデオ認識、オーディオ認識のうちの少なくともいずれかの認識を別の技術と組み合わせて、メディアの識別を行ってもよい。例えば、１つの実装例では、メディアの再生と表示の少なくともいずれかを行いながら、認識技術のうちのいずれかをバックグラウンドで自動的に実行してもよい。例えば、顔の認識と音声の認識の少なくともいずれかを、映画を再生しながらバックグラウンドで自動的に実行するか、（例えば映画の中の俳優、女優のような）メディアのオブジェクトを識別するかの少なくともいずれかを行ってもよい。これによって、認識技術が、（俳優の最もよい顔のショットのような）顔の認識と音声の認識の少なくともいずれかの認識にとって理想的な選択を映画の中で行うことを可能になり、識別方法の改善を図ることが可能となるようにしてもよい。
別の実装構成では、（映画、ビデオ、歌などを識別するタグのような）メディアの形で提供される（テーマ又はカテゴリのように機能するキーワードのような）タグを認識技術のうちのいずれかと共に用いてもよい。このようなタグはメディアの識別を探索する対象範囲を狭めるのに役立ててもよい。例えば、テレビの番組ガイドにこのようなタグを提供してよく、メディアの識別を探索する対象範囲を狭めるのに用いてもよい。別の例では、メディアが識別されるとすぐに、メディアに関する識別情報にタグを追加してもよい。
さらに別の実装構成では、画像／ビデオ認識を用いて（例えば、書籍、雑誌のような）印刷メディアのテキストを走査してもよい。キャプチャされた画像とビデオの少なくともいずれかの光学式文字認識（ＯＣＲ）によって印刷メディアを識別してもよい。例えば、キャプチャされたテキスト画像をＯＣＲによって認識してもよく、テキストデータベースと比較して、キャプチャされたテキストがテキストデータベースの中に現れるかどうかを調べてもよい。
＜＜例示処理＞＞
図７Ａ〜図８は本発明の原理に従う実装構成に従う例示処理を示すフローチャートである。図７Ａの処理は、一般に、記憶済みメディアの識別処理として記述してもよい。図７Ｂの処理は、一般に、顔の認識に基づく記憶済みメディアの識別処理として記述してもよい。図７Ｃの処理は、一般に、音声の認識に基づく記憶済みメディアの識別処理として記述してもよい。図８の処理は、一般に、顔の認識と音声の認識の少なくともいずれかの認識に基づく、キャプチャ済みメディアの識別処理として記述してもよい。
（記憶済みメディアの識別処理）
図７に示すように、処理７００はメディア情報を取得してもよい（ブロック７０５）。例えば、図３に関連して上述した１つの実装例では、メディア情報は装置２００に記憶された又は（例えば通信インタフェース３４０のような）装置２００によって受信されたメディアに対応してもよい。この場合、メディア情報収集部３６０は、（記憶部３２０のような）メディア記憶装置、又は、別のソースからメディアを受信する能力を備えた（通信インタフェース３４０のような）通信装置を含むものであってもよい。
図７に示すように、処理７００は画像又はビデオがメディアとして選択されたかどうかの判定を行ってもよい（ブロック７１０）。画像又はビデオが選択された場合（ブロック７１０「イエス」）、図７Ｂのブロックを実行してもよい。例えば、図１に関連して上述した１つの実装例では、装置のディスプレイ１００はユーザによって選択された画像／ビデオ１１０を含んでもよい。例えば、画像／ビデオ１１０はユーザによって選択され、現在ディスプレイ１００に表示されている映画又は音楽用ビデオであってもよい。
画像又はビデオが選択されなければ（ブロック７１０「ノー」）、処理７００はオーディオファイルがメディアとして選択されているかどうかの判定を行ってもよい（ブロック７１５）。オーディオファイルが選択されていれば（ブロック７１５「イエス」）、図７Ｃのブロックを実行してもよい。例えば、図１に関連して上述した１つの実装例では、ディスプレイ１００は（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）オーディオファイル項目１５０を含むものであってもよい。ユーザがオーディオファイルを聴くとき、このオーディオファイル項目１５０を表示してもよい。例えば、ユーザは（デジタル音楽、ＭＰ３、ＭＰ４のような）音楽を装置で聴いてもよい。オーディオファイルが選択されていなかった場合、（ブロック７１５「ノー」）、処理７００は終了してもよい。
（顔の認識に基づいて行う記憶済みメディアの識別処理）
図７Ｂに示すように、処理７００は画像又はビデオの顔をマークすべきかどうかの判定を行ってもよい（ブロック７２０）。例えば、図１及び図４に関連して上述した１つの実装例では、ディスプレイ１００は（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔マーク項目１２０を含んでもよい。この選択メカニズムによって、ユーザが、選択時に、（例えば、カーソル１３０によって）画像／ビデオ１１０の顔の一部をマークすることが可能となるようにしてもよい。顔がマークされれば（ブロック７２０「イエス」）、処理７００は選択した画像又はビデオ内の顔をマークしてもよい（ブロック７２５）。顔がマークされなければ（ブロック７２０「ノー」）、処理７００は図７Ｃのブロックを実行してもよい。
図７Ｂに示すように、処理７００は顔の認識を行うべきかどうかの判定を行ってもよい（ブロック７３０）。顔の認識を行わないのであれば（ブロック７３０「ノー」）、処理７００は図７Ｃのブロックを実行してもよい。顔の認識を行うのであれば（ブロック７３０「イエス」）、処理７００は顔認識の結果を受信し、この結果をユーザに対して表示してもよい（ブロック７３５）。例えば、図４Ａ及び４Ｂに関連して上述した１つの実装例では、カーソル１３０によって顔がマークされた場合、ユーザは、ディスプレイ４００に提示される（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）顔認識項目１４０を選択し、次いで、画像／ビデオ１１０の顔の認識を行ってもよい。１つの実装例では、顔の認識は（例えば装置２００の処理ロジック３１０及び記憶部３２０を介して）装置に設けられた顔認識ソフトウェアを用いて画像／ビデオ１１０上で行ってもよい。別の実装構成では、顔の認識は、装置２００と通信を行う装置に設けられた顔認識ソフトウェアを用いて画像／ビデオ１１０上において行ってもよい（例えば装置２００はマークされた顔を別の装置へ送信し、この別の装置は顔の認識を行い、次いで、結果を装置２００へ返信するようにしてもよい）。画像／ビデオ１１０の顔の認識結果４１０はディスプレイ４００上に提示してもよい。結果４１０は画像／ビデオ１１０に示される顔に一致する（単複の）人物のリストを含んでもよい。
処理７００はユーザが選択した顔の認識結果に基づいて識別情報を表示してもよい（ブロック７４０）。例えば、図４Ｂに関連して上述した１つの実装例では、ユーザが上記結果から人物を選択した（例えば人物４２０を選択した）場合、ディスプレイ４００は図４Ｂに示す例示の識別情報を提示してもよい。多岐にわたる識別情報を提供してもよい。例えば、人物が映画スターであれば、ディスプレイ４００はメニュー部分４４０及び識別情報部分４５０を提示してもよい。メニュー部分４４０は、例えば、識別情報部分の複数部分４５０への選択可能なリンクを含んでもよい。図４Ｂに示す実装例では、識別情報部分４５０は、人物に関する経歴情報、人物に関する映画界での経歴情報、人物に関するテレビ界での経歴情報、人物に関するウェブサイト情報、リマインダー情報のうちの少なくともいずれかの情報を含んでもよい。
（音声認識に基づく記憶済みメディアの識別処理）
オーディオファイルが選択された場合（ブロック７１５「イエス」、図７Ａ）、顔がマークされない（ブロック７２０「ノー」、図７Ｂ）か、顔の認識が行われない（ブロック７３０「ノー」、図７Ｂ）かの少なくともいずれかとなり、処理７００は図７Ｃのブロックを実行してもよい。図７Ｃに示すように、処理は音声の認識を行うべきかどうかの判定を行ってもよい（ブロック７４５）。例えば、図５Ａ及び５Ｂに関連して上述した１つの実装例では、ユーザは、ディスプレイ５００に提示される（アイコン、リンク、ボタン及び他の同様の選択メカニズムのうちの少なくともいずれかのような）音声認識項目１６０を選択し、次いで、オーディオファイル又はビデオによって生成されたオーディオ部分の音声認識を行ってもよい。１つの実装例では、音声の認識は、装置に設けられた音声認識ソフトウェアを用いて、（例えば装置２００の処理ロジック３１０及び記憶部３２０を介して）オーディオファイルに対して行ってもよい。別の実装構成では、（例えば通信インタフェース３４０を介して）装置２００と通信を行う装置に設けられた音声認識ソフトウェアを用いてオーディオファイルに対して音声認識を行ってもよい。ディスプレイ５００上に音声の認識結果５１０を提示してもよい。結果５１０はオーディオファイルの音声（又はビデオ内のオーディオ部分）に一致する（単複の）人物のリストを含んでもよい。
音声の認識が行行われない（ブロック７４５「ノー」）場合、処理７００は終了してもよい。音声の認識が行われる（ブロック７４５「イエス」）場合、処理７００は音声の認識結果を受信し、ユーザに対してこの結果を表示してもよい（ブロック７５０）。
図７Ｃにさらに示すように、処理７００は、ユーザが選択した音声の認識結果に基づいて識別情報を表示してもよい（ブロック７５５）。例えば、図５Ｂに関連して上述した１つの実装例では、ユーザが上記結果から人物を選択した（例えば人物５２０を選択した）場合、ディスプレイ５００は図５Ｂに示す例示の識別情報を提示してもよい。多岐にわたる識別情報を提供してもよい。人物が映画スターであれば、ディスプレイ５００は、メニュー部分５４０及び識別情報部分５５０を提供してもよい。メニュー部分５４０は、例えば、識別情報部分の複数の部分５５０に関係する、選択可能なリンクを含む場合もある。実装例において、図５Ｂに示す識別情報部分５５０は、映画の台詞情報５６０、台詞を言った人物に関する経歴情報、この人物に関する映画界での経歴情報、該人物に関するテレビ界での経歴情報、当該人物に関するウェブサイト情報、リマインダー情報のうちの少なくともいずれかの情報を含むものであってもよい。
（顔の認識と音声の認識の少なくともいずれかの認識に基づいて行うキャプチャ済みメディアの識別処理）
図８に示すように、処理８００はメディア情報を取得してもよい（ブロック８１０）。例えば、図３に関連して上述した１つの実装例では、メディア情報は装置２００によって検索されるか、キャプチャされるメディアに対応してもよい。この場合、メディア情報収集部３６０は、オーディオ情報を録音してもよい（マイク２６０のような）マイクと、画像とビデオの少なくともいずれかを録画してもよい（カメラ２７０のような）カメラとの少なくともいずれかを含むものであってもよい。
顔の認識と音声の認識がキャプチャされたメディアに対して行われた場合（ブロック８２０「イエス」）、処理８００はキャプチャされたメディアに対する顔と音声との認識結果を得てよく、識別情報の照合結果を表示してもよい（ブロック８３０）。例えば、図６Ｂに関連して上述した１つの実装例では、ユーザはビデオ項目６３０を選択し、次いで、（装置２００のカメラ２７０を介して）装置２００を用いてビデオ６５０をキャプチャしてもよい。ビデオ６５０がポーズされた場合、ユーザは、ユーザが（例えば１つの実装例では、ボックス６７０によって）ビデオ６５０の顔の一部をマークすることができるようにする顔マーク項目１２０を選択してもよい。顔がマークされれば、ユーザはディスプレイ６００上に示される顔認識項目１４０を選択し、ビデオ６５０の顔の認識を行わせ、図４Ａ及び４Ｂに関連して上述したように識別情報の照合結果を表示してもよい。別の実装例では、ビデオ６５０をそのまま再生しながら（すなわち、ビデオ６５０をポーズすることなく）ビデオ６５０の人物の顔をマークしてもよい。さらに、ユーザは、ビデオ６５０をそのまま再生しながら音声認識項目１６０を選択し、ビデオ６５０のオーディオ部分の音声認識を行うと共に、図５Ａ〜５Ｃに関連して上述したように識別情報の照合結果を表示してもよい。さらに別の実装構成では、ユーザは、ビデオ６５０をそのまま再生しながら顔／音声の認識項目６８０を選択し、次いで、ビデオ６５０の顔の認識と、ビデオ６５０のオーディオ部分の音声認識との少なくともいずれかの認識を行わせてもよい。ビデオ６５０の顔と音声の認識の組み合わせは、例えば、同時にあるいは順次行ってもよい。（例えば、顔の認識を第１に実行すると共に、顔の認識が決定的な一致を提供しなかった場合、音声の認識を第２に実行する。この逆の操作を行うことも可能である）。
さらに図８に示すように、キャプチャされたメディアに対して顔の認識と音声の認識を行わないのであれば（ブロック８２０「ノー」）、処理８００は、キャプチャされたメディアに対して顔の認識を行うべきかどうかの判定を行ってもよい（ブロック８４０）。キャプチャされたメディアに対して顔の認識を行うのであれば（ブロック８４０「イエス」）、処理８００はキャプチャされたメディアに対する顔の認識結果を得てもよく、識別情報の照合結果を表示してもよい（ブロック８５０）。例えば、図６Ａに関連して上述した１つの実装例では、ディスプレイ６００は（アイコン、リンク、ボタンと別の同様の選択メカニズムとの少なくともいずれかのような）顔マーク項目１２０を含んでもよい。この選択メカニズムによって、ユーザが、選択時に（例えば、１つの実装例ではカーソル１３０を用いて）画像６３０の顔の一部をマークすることが可能となってもよい。カーソル１３０で顔をマークする場合、ユーザは、ディスプレイ６００上に提示された顔認識項目１４０を選択し、図４Ａ及び４Ｂに関連して上述したように画像６１０の顔の認識を行わせると共に、識別情報の照合結果を表示してもよい。
図８に示すように、キャプチャされたメディアに対して顔の認識が行われなければ（ブロック８４０「ノー」）、処理８００はキャプチャされたメディアに対して音声の認識を行うべきかどうかの判定を行ってもよい（ブロック８６０）。キャプチャされたメディアに対して音声の認識を行うのであれば（ブロック８６０「イエス」）、処理８００はキャプチャされたメディアに関連する音声の認識結果を得てもよく、そして、識別情報の照合結果を表示してもよい（ブロック８７０）。例えば、図６Ａ及び６Ｂに関連して上述した１つの実装例では、（例えば装置２００のマイク２６０を介して）装置はオーディオ部分をキャプチャしてもよい。キャプチャされたオーディオ部分は、（記憶部３２０のような）装置２００に記憶してもよいし、装置２００に記憶しなくてもよい。音声の認識はキャプチャされたオーディオ部分に対して行ってもよく、図５Ａ〜５Ｃに関連して上述したように識別情報の照合結果を表示してもよい。
＜＜まとめ＞＞
本発明の原理に従う実装構成によって、メディアを対象とする顔の認識と音声の認識の少なくともいずれかの結果に基づいてメディアを識別してよいと共に、顔の認識と音声の認識の少なくともいずれかの結果に基づいて識別情報を表示してもよい。（画像とビデオの少なくともいずれかにおいて（単複の）人物を識別する顔認識技術と、映画から得られるサウンドバイトの形のオーディオ部分において（単複の）人物の識別を行う音声認識技術との少なくともいずれかの）メディア識別処理を用いることによって、（単複の）人物の識別を行ってよく、（単複の）人物に関する情報を装置に表示してもよい。
本発明の好適な実施形態についての上述の説明は例示と説明を提供するものであるが、上記説明は、本発明を網羅しようとしたり、開示された厳密な形態に限定しようとしたりすることを意図するものではない。上記教示を考慮して修正及び変更を行うことが可能である。あるいは本発明を実施することによって修正及び変更を行うことが可能である。
例として、図７Ａ〜図８を参照しながら一連の動作について説明したが、別の実施構成において、本発明の原理に従ってこれらの動作の順序を変更することも可能である。さらに、非依存型の動作を並行して実行することも可能である。さらに、上述した実装構成は顔及び音声のバイオメトリックの利用について説明したものではあるが、（指紋、人間の目の網膜及び虹彩、手の計測値、筆跡、歩行パターン、タイピングパターンのような）別のバイオメトリック情報を用いてメディアを識別し、照合する識別情報を提供することも可能である。さらに、図は顔と音声との認識結果を示すものではあるが、１つの実装例では、顔の認識と音声の認識の少なくともいずれかが結果を提供しない代わりに、顔の認識と音声の認識の少なくともいずれかによって得られる最も近い照合結果が得られたメディアに関する識別情報を提供してもよい。
本明細書で使用する場合、「備える／備えている（comprises/comprising）」という用語は、言及された特徴、整数、ステップ又は構成の存在を識別するために用いられるが、これら以外の特徴、整数、ステップ、構成、又はこれらのグループの存在又は追加を排除するものではない、という点を強調しておく。
当業者には自明であるように、本発明の側面は、上述したように多くの異なる形のソフトウェア、ファームウェア、ハードウェアにおいて、また、図示の実装構成において実現することが可能である。本発明の原理に従う側面を実現するために用いられる実際のソフトウェアコード又は特化された制御ハードウェアは本発明を限定するものではない。したがって、具体的なソフトウェアコードに言及することなく、上記側面の処理及び振舞いについて説明を行った。本明細書で説明した記載に基づいて上記側面の実現のためにソフトウェアを設計し、ハードウェアを制御することが可能であることは当業者であれば理解できるであろう。
本明細書での説明において用いられる要素、行為及び指示のいずれも、その旨明示されていないかぎり、本発明にとって極めて重要であるか、不可欠であると解釈すべきでない。また、本明細書で使用されているように、不定冠詞「ａ」は１つ以上の項目又は品目を含むように意図されている。１つだけの品目であることを意図する場合には、「１つの（one）」又は同様の表現が用いられる。さらに、「〜に基づいて」というフレーズは、別途明白に言明されていないかぎり、本明細書で使用されているように、「〜に少なくとも部分的に基づいて」ということを意味するように意図されたフレーズである。

Claims (28)

  1. 装置においてメディアを取得するステップと、
    画像／ビデオ認識及びオーディオ認識を介して前記メディア内のオブジェクトを識別するステップと、
    前記メディアの識別されたオブジェクトに基づいて識別情報を前記装置上に表示するステップと、
    を有することを特徴とする方法。
  2. 前記装置を介して前記メディアを受信するステップをさらに有することを特徴とする請求項１に記載の方法。
  3. 前記装置を用いて前記メディアをキャプチャするステップをさらに有することを特徴とする請求項１に記載の方法。
  4. 前記画像／ビデオ認識が所定の精度レベルの範囲内で前記メディアのオブジェクトを識別できない場合に、オーディオ認識を行うことを特徴とする請求項１に記載の方法。
  5. 前記オーディオ認識が所定の精度レベルの範囲内で前記メディアのオブジェクトを識別できない場合に、画像／ビデオ認識を行うことを特徴とする請求項１に記載の方法。
  6. 画像／ビデオ認識によって前記オブジェクトを識別するために前記メディアのオブジェクトの顔をマークするステップをさらに有することを特徴とする請求項１に記載の方法。
  7. 前記メディアのオブジェクトを識別する画像／ビデオ認識の結果を表示するステップをさらに有することを特徴とする請求項１に記載の方法。
  8. ユーザが選択した画像／ビデオ認識の結果に係る識別情報を表示するステップをさらに有することを特徴とする請求項７に記載の方法。
  9. 前記メディアのオブジェクトを識別するオーディオ認識の結果を表示するステップをさらに有することを特徴とする請求項８に記載の方法。
  10. ユーザが選択したオーディオ認識の結果に係る識別情報を表示するステップをさらに有することを特徴とする請求項９に記載の方法。
  11. 前記メディアのオブジェクトを識別する画像／ビデオ認識及びオーディオ認識の結果を表示するステップをさらに有することを特徴とする請求項１に記載の方法。
  12. ユーザが選択した画像／ビデオ認識及びオーディオ認識の結果に係る識別情報を表示するステップをさらに有することを特徴とする請求項１１に記載の方法。
  13. 前記メディアには、
    画像ファイルと、
    オーディオファイルと、
    ビデオファイルと、
    アニメーションファイルと、
    のうちのいずれか１つが含まれることを特徴とする請求項１に記載の方法。
  14. 前記メディアのオブジェクトには、
    人物と、
    場所と、
    物体と、
    のうちのいずれか１つが含まれることを特徴とする請求項１に記載の方法。
  15. 前記識別情報は、
    前記メディアの識別されたオブジェクトに関する経歴情報と、
    前記メディアの識別されたオブジェクトに関する情報へのリンクと、
    前記メディアの識別されたオブジェクトに基づく推奨と、
    のうちの少なくともいずれか１つを有することを特徴とする請求項１に記載の方法。
  16. 装置においてメディアを取得する手段と、
    顔と音声との認識を介して前記メディア内のオブジェクトを識別する手段と、
    前記メディアの識別されたオブジェクトに基づいて識別情報を前記装置において表示する手段と、
    を備えることを特徴とする装置。
  17. 装置であって、
    前記装置に関連づけられたメディア情報を取得するためのメディア情報収集手段と、
    処理ロジックであって、
    顔と音声との認識を介してメディア内のオブジェクトを識別し、
    前記メディアのオブジェクトを識別する顔と音声との認識結果を表示し、
    ユーザが選択した顔と音声との認識結果の一つに係る識別情報を表示する、
    処理ロジックと、
    を備えることを特徴とする装置。
  18. 前記メディア情報収集手段には、
    カメラと、
    マイクと、
    メディア記憶装置と、
    通信装置と、
    のうちの少なくともいずれか１つが含まれることを特徴とする請求項１７に記載の装置。
  19. 顔の認識によって前記メディアのオブジェクトを識別する場合、前記処理ロジックは、前記メディアのオブジェクト内の顔の位置を判定するように構成されることを特徴とする請求項１７に記載の装置。
  20. 前記メディアのオブジェクトを顔の認識によって識別する場合、前記処理ロジックは、前記メディアのオブジェクト内の顔の位置をユーザ入力に基づいて判定するように構成されることを特徴とする請求項１７に記載の装置。
  21. 装置であって、
    命令を記憶するためのメモリと、
    前記命令を実行するプロセッサであって、
    前記装置においてメディアを取得し、
    顔と音声との認識を介して前記メディア内のオブジェクトを識別し、
    前記メディアの識別されたオブジェクトに基づいて識別情報を前記装置上に表示する、
    プロセッサと、
    を備えることを特徴とする装置。
  22. 装置においてビデオを取得するステップと、
    前記ビデオを前記装置において再生しながら、前記ビデオ内のオブジェクトの識別を顔の認識又は音声の認識を介して行うステップと、
    前記メディアの識別されたオブジェクトに基づいて識別情報を前記装置上に表示するステップと、
    を有することを特徴とする方法。
  23. 装置においてメディアを取得するステップと、
    前記メディアの物体と物体のデータベースとの比較に基づいて、前記メディア内の物体を識別するステップと、
    前記メディアの識別された物体に基づいて識別情報を前記装置上に表示するステップと、
    を有することを特徴とする方法。
  24. 前記物体には、
    動物と、
    印刷メディアと、
    植物と、
    樹木と、
    岩と、
    漫画のキャラクタと、
    のうちの少なくともいずれか１つが含まれることを特徴とする請求項２３に記載の方法。
  25. 装置においてメディアを取得するステップと、
    前記メディアの場所と場所のデータベースとの比較に基づいて、前記メディア内の場所を識別するステップと、
    前記メディアの識別された場所に基づいて識別情報を前記装置上に表示するステップと、
    を有することを特徴とする方法。
  26. 前記場所には、
    建物と、
    陸標と、
    道路と、
    橋と、
    のうちの少なくともいずれか１つが含まれることを特徴とする請求項２５に記載の方法。
  27. 前記メディアの識別された場所の表示を含む地図を、前記メディアの識別された場所の所在位置に基づいて前記装置において表示するステップをさらに有することを特徴とする請求項２５に記載の方法。
  28. 装置においてメディアを取得するステップと、
    前記メディア内のオブジェクトの識別を前記オブジェクトの音声の認識及びテキスト認識に基づいて行うステップと、
    前記メディアの識別されたオブジェクトに基づいて識別情報を前記装置において表示するステップと、
    を有することを特徴とする方法。
JP2009513778A 2006-06-09 2006-12-08 メディア識別 Pending JP2009540414A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/423,337 2006-06-09
US11/423,337 US7787697B2 (en) 2006-06-09 2006-06-09 Identification of an object in media and of related media objects
PCT/IB2006/054723 WO2007144705A1 (en) 2006-06-09 2006-12-08 Media identification

Publications (1)

Publication Number Publication Date
JP2009540414A true JP2009540414A (ja) 2009-11-19

Family

ID=38112245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009513778A Pending JP2009540414A (ja) 2006-06-09 2006-12-08 メディア識別

Country Status (8)

Country Link
US (2) US7787697B2 (ja)
EP (1) EP2027557A1 (ja)
JP (1) JP2009540414A (ja)
KR (1) KR101010081B1 (ja)
CN (1) CN101506828A (ja)
MX (1) MX2008015554A (ja)
RU (1) RU2408067C2 (ja)
WO (1) WO2007144705A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513991A (ja) * 2015-03-23 2018-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 音声を要約するための方法、コンピュータ・プログラムおよびコンピュータ・システム
JP2021170158A (ja) * 2020-04-14 2021-10-28 清水建設株式会社 情報処理システム

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787697B2 (en) * 2006-06-09 2010-08-31 Sony Ericsson Mobile Communications Ab Identification of an object in media and of related media objects
US20080144882A1 (en) * 2006-12-19 2008-06-19 Mind Metrics, Llc System and method for determining like-mindedness
US20090222330A1 (en) * 2006-12-19 2009-09-03 Mind Metrics Llc System and method for determining like-mindedness
US20090247219A1 (en) * 2008-03-25 2009-10-01 Jian-Liang Lin Method of generating a function output from a photographed image and related mobile computing device
JP5121681B2 (ja) * 2008-04-30 2013-01-16 株式会社日立製作所 生体認証システム、認証クライアント端末、及び生体認証方法
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
JP2010081457A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 情報記録再生装置およびビデオカメラ
TWI390177B (zh) * 2008-11-24 2013-03-21 Inst Information Industry 景點推薦裝置和方法以及儲存媒體
US8457366B2 (en) 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
KR101560184B1 (ko) * 2008-12-26 2015-10-14 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법
EP4272809A3 (en) * 2009-07-17 2024-01-17 Implantica Patent Ltd. Voice control of a medical implant
US9544379B2 (en) 2009-08-03 2017-01-10 Wolfram K. Gauglitz Systems and methods for event networking and media sharing
US10574614B2 (en) 2009-08-03 2020-02-25 Picpocket Labs, Inc. Geofencing of obvious geographic locations and events
JP5356162B2 (ja) * 2009-09-07 2013-12-04 株式会社ザクティ 物体像探索装置
US9521453B2 (en) 2009-09-14 2016-12-13 Tivo Inc. Multifunction multimedia device
US8819172B2 (en) 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9183580B2 (en) 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9462318B2 (en) 2009-11-03 2016-10-04 At&T Intellectual Property I, L.P. System for media program management
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110153341A1 (en) * 2009-12-17 2011-06-23 General Electric Company Methods and systems for use of augmented reality to improve patient registration in medical practices
WO2011082332A1 (en) * 2009-12-31 2011-07-07 Digimarc Corporation Methods and arrangements employing sensor-equipped smart phones
CN102934107B (zh) 2010-02-18 2016-09-14 株式会社尼康 信息处理装置、便携式装置以及信息处理系统
US9015139B2 (en) 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US8627358B1 (en) * 2010-08-16 2014-01-07 West Corporation Location-based movie identification systems and methods
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US20120173701A1 (en) * 2010-12-30 2012-07-05 Arbitron Inc. Matching techniques for cross-platform monitoring and information
EP2492852A1 (en) * 2011-02-25 2012-08-29 Research In Motion Limited Knowledge base broadcasting
US8577965B2 (en) * 2011-02-25 2013-11-05 Blackberry Limited Knowledge base broadcasting
US20140208208A1 (en) * 2011-06-17 2014-07-24 Thomson Licesning Video navigation through object location
US20130061147A1 (en) * 2011-09-07 2013-03-07 Nokia Corporation Method and apparatus for determining directions and navigating to geo-referenced places within images and videos
CN103918247B (zh) 2011-09-23 2016-08-24 数字标记公司 基于背景环境的智能手机传感器逻辑
US9280545B2 (en) 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9143601B2 (en) 2011-11-09 2015-09-22 Microsoft Technology Licensing, Llc Event-based media grouping, playback, and sharing
US8634648B2 (en) * 2011-12-07 2014-01-21 Elwha Llc Reporting informational data indicative of a possible non-imaged portion of a skin
CN102752540B (zh) * 2011-12-30 2017-12-29 新奥特（北京）视频技术有限公司 一种基于人脸识别技术的自动编目方法
US10650442B2 (en) 2012-01-13 2020-05-12 Amro SHIHADAH Systems and methods for presentation and analysis of media content
WO2013187900A1 (en) 2012-06-14 2013-12-19 Empire Technology Developmetn Llc On-demand information network
US9836590B2 (en) * 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US9213888B2 (en) * 2012-06-27 2015-12-15 Disney Enterprises, Inc. Electronic devices in local interactions between users
US20140013193A1 (en) * 2012-06-29 2014-01-09 Joseph John Selinger Methods and systems for capturing information-enhanced images
JP6112823B2 (ja) * 2012-10-30 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム
WO2014087050A1 (en) 2012-12-04 2014-06-12 Nokia Corporation Method and apparatus for validating potential points of interest using user and device characteristics
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US9305154B2 (en) * 2013-03-15 2016-04-05 Qualcomm Incorporated Method and apparatus for requesting and providing access to information associated with an image
US9294712B2 (en) * 2013-03-20 2016-03-22 Google Inc. Interpolated video tagging
US20140294257A1 (en) * 2013-03-28 2014-10-02 Kevin Alan Tussy Methods and Systems for Obtaining Information Based on Facial Identification
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9927949B2 (en) * 2013-05-09 2018-03-27 Amazon Technologies, Inc. Recognition interfaces for computing devices
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
US20150185017A1 (en) * 2013-12-28 2015-07-02 Gregory L. Kreider Image-based geo-hunt
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US10078856B2 (en) 2016-05-09 2018-09-18 Shadecraft, Inc. Mobile computing device control of shading object, intelligent umbrella and intelligent shading charging system
US9432702B2 (en) * 2014-07-07 2016-08-30 TCL Research America Inc. System and method for video program recognition
US20160162893A1 (en) * 2014-12-05 2016-06-09 Mastercard International Incorporated Open, on-device cardholder verification method for mobile devices
WO2016098915A1 (ko) * 2014-12-16 2016-06-23 한양대학교 에리카산학협력단 스마트 디스플레이 및 이를 이용한 광고 방법
US10785323B2 (en) 2015-01-05 2020-09-22 Picpocket Labs, Inc. Use of a dynamic geofence to control media sharing and aggregation associated with a mobile target
RU2594456C1 (ru) * 2015-03-10 2016-08-20 Общество с ограниченной ответственностью "АВТЭКС" Плавательное средство с информационным дисплеем
CN104820678B (zh) * 2015-04-15 2018-10-19 小米科技有限责任公司 音频信息识别方法及装置
US9596429B2 (en) * 2015-05-08 2017-03-14 Echostar Technologies L.L.C. Apparatus, systems and methods for providing content when loud background noise is present
CN106295270B (zh) * 2015-06-25 2019-03-29 联想(北京)有限公司 一种用户识别方法及电子设备
CN105117628B (zh) * 2015-07-30 2018-02-02 广东欧珀移动通信有限公司 一种终端中文件显示的控制方法、装置及相应移动设备
US11393108B1 (en) 2016-02-26 2022-07-19 Amazon Technologies, Inc. Neighborhood alert mode for triggering multi-device recording, multi-camera locating, and multi-camera event stitching for audio/video recording and communication devices
US10748414B2 (en) 2016-02-26 2020-08-18 A9.Com, Inc. Augmenting and sharing data from audio/video recording and communication devices
JP6503148B1 (ja) 2016-02-26 2019-04-17 アマゾン テクノロジーズ インコーポレイテッド 音声／ビデオ記録通信装置からのビデオ映像のシェアリング関連出願の相互参照
US10489453B2 (en) 2016-02-26 2019-11-26 Amazon Technologies, Inc. Searching shared video footage from audio/video recording and communication devices
US10397528B2 (en) 2016-02-26 2019-08-27 Amazon Technologies, Inc. Providing status information for secondary devices with video footage from audio/video recording and communication devices
US10841542B2 (en) 2016-02-26 2020-11-17 A9.Com, Inc. Locating a person of interest using shared video footage from audio/video recording and communication devices
US9965934B2 (en) 2016-02-26 2018-05-08 Ring Inc. Sharing video footage from audio/video recording and communication devices for parcel theft deterrence
KR101827978B1 (ko) * 2016-06-17 2018-02-09 (주)잼투고 퍼포머 객체 기반의 협연 서비스 제공서버 및 제공방법
EP3516460A1 (en) 2016-09-22 2019-07-31 Shadecraft LLC Mobile computing device control of shading object
US9900645B1 (en) * 2016-11-18 2018-02-20 Panasonic Avionics Corporation Methods and systems for executing functions associated with objects on a transportation vehicle
US10094138B2 (en) 2016-12-29 2018-10-09 Shadecraft, Inc. Control of multiple intelligent umbrellas and/or robotic shading systems
US9839267B1 (en) 2016-12-29 2017-12-12 Shadecraft, Inc. Shading system with artificial intelligence application programming interface
US10488834B2 (en) * 2017-05-13 2019-11-26 Shadecraft, Inc. Intelligent umbrella or robotic shading system having telephonic communication capabilities
US20180349720A1 (en) * 2017-05-31 2018-12-06 Dawn Mitchell Sound and image identifier software system and method
US10664528B1 (en) * 2017-06-28 2020-05-26 Wells Fargo Bank, N.A. Optimizing display of disclosure based on prior interactions
US10349493B2 (en) 2017-07-07 2019-07-09 Shadecraft, Inc. Artificial intelligence (AI) computing device with one or more lighting elements
CN107748879A (zh) * 2017-11-16 2018-03-02 百度在线网络技术（北京）有限公司 用于获取人脸信息的方法及装置
US10554436B2 (en) 2017-11-19 2020-02-04 Shadecraft, Inc. Intelligent umbrella and/or robotic shading system with ultra-low energy transceivers
CN108322770B (zh) * 2017-11-22 2020-02-18 腾讯科技（深圳）有限公司 视频节目识别方法、相关装置、设备和系统
US10519688B2 (en) 2018-01-06 2019-12-31 Shadecraft, Inc. Apparatus and method for identifying operational status of umbrella, parasol or shading system utilizing lighting elements
CN108337532A (zh) * 2018-02-13 2018-07-27 腾讯科技（深圳）有限公司 演出片段的标注方法、视频播放方法、装置及系统
KR20190142192A (ko) * 2018-06-15 2019-12-26 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN108882033B (zh) * 2018-07-19 2021-12-14 上海影谱科技有限公司 一种基于视频语音的人物识别方法、装置、设备和介质
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN111145758A (zh) * 2019-12-25 2020-05-12 厦门快商通科技股份有限公司 声纹识别方法、系统、移动终端及存储介质
US11783207B2 (en) 2020-02-18 2023-10-10 International Business Machines Corporation Robotic Toxicodendron weeding
KR20240132972A (ko) * 2023-02-27 2024-09-04 삼성전자주식회사 사용자의 위치에 기반하여 미디어 콘텐트를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189724A (ja) * 2000-12-20 2002-07-05 Victor Co Of Japan Ltd 画像データ検索装置
JP2003281157A (ja) * 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
JP2004283959A (ja) * 2003-03-20 2004-10-14 Sony Corp ロボット装置、その動作制御方法、及びプログラム
JP2005078590A (ja) * 2003-09-03 2005-03-24 Nec Corp 顔照合システム
JP2005157763A (ja) * 2003-11-26 2005-06-16 Canon Inc 検索装置及び検索制御方法
JP2005215922A (ja) * 2004-01-29 2005-08-11 Zeta Bridge Corp 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
JP2006033659A (ja) * 2004-07-21 2006-02-02 Sony Corp コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666442A (en) 1993-05-23 1997-09-09 Infoglide Corporation Comparison system for identifying the degree of similarity between objects by rendering a numeric measure of closeness, the system including all available information complete with errors and inaccuracies
US6085112A (en) * 1995-05-03 2000-07-04 Siemens Aktiengesellschaft Communication device
US5682439A (en) * 1995-08-07 1997-10-28 Apple Computer, Inc. Boxed input correction system and method for pen based computer systems
US5991429A (en) * 1996-12-06 1999-11-23 Coffin; Jeffrey S. Facial recognition system for security access and identification
US6985169B1 (en) * 1998-02-09 2006-01-10 Lenovo (Singapore) Pte. Ltd. Image capture system for mobile communications
US6825875B1 (en) * 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device
US6578017B1 (en) * 1999-02-26 2003-06-10 Information Decision Technologies, Llc Method to aid object detection in images by incorporating contextual information
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
US6654683B2 (en) * 1999-09-27 2003-11-25 Jin Haiping Method and system for real-time navigation using mobile telephones
US20040095258A1 (en) * 2000-03-14 2004-05-20 Bosch Johannes Brits Detecting the presence of a vehicle with a particular vehicle registration number
US6922488B2 (en) * 2001-02-16 2005-07-26 International Business Machines Corporation Method and system for providing application launch by identifying a user via a digital camera, utilizing an edge detection algorithm
AU2002346107A1 (en) * 2001-07-12 2003-01-29 Icontrol Transactions, Inc. Secure network and networked devices using biometrics
US20030120478A1 (en) * 2001-12-21 2003-06-26 Robert Palmquist Network-based translation system
KR20030059403A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 멀티미디어 검색방법 및 장치
US6731239B2 (en) * 2002-01-18 2004-05-04 Ford Motor Company System and method for retrieving information using position coordinates
US20030161507A1 (en) * 2002-02-28 2003-08-28 Spectra Systems Corporation Method and apparatus for performing facial recognition with a hand-held imaging device
US20030164819A1 (en) * 2002-03-04 2003-09-04 Alex Waibel Portable object identification and translation system
US7587318B2 (en) * 2002-09-12 2009-09-08 Broadcom Corporation Correlating video images of lip movements with audio signals to improve speech recognition
GB0222113D0 (en) * 2002-09-24 2002-10-30 Koninkl Philips Electronics Nv Image recognition
GB0222209D0 (en) * 2002-09-25 2002-10-30 Koninkl Philips Electronics Nv Capturing a text string
US7999857B2 (en) * 2003-07-25 2011-08-16 Stresscam Operations and Systems Ltd. Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system
US20050119032A1 (en) * 2003-08-28 2005-06-02 Maija Airas Optical messaging
US8723964B2 (en) * 2003-09-12 2014-05-13 Sony Corporation Method and device for communication using an optical sensor
US7003140B2 (en) * 2003-11-13 2006-02-21 Iq Biometrix System and method of searching for image data in a storage medium
US7310605B2 (en) * 2003-11-25 2007-12-18 International Business Machines Corporation Method and apparatus to transliterate text using a portable device
EP1704710A4 (en) 2003-12-24 2007-09-19 Walker Digital Llc METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
EP1756802A2 (en) 2004-04-02 2007-02-28 Kurzweil Technologies Inc. Portable reading device with mode processing
US7499588B2 (en) * 2004-05-20 2009-03-03 Microsoft Corporation Low resolution OCR for camera acquired documents
US20060015733A1 (en) * 2004-06-24 2006-01-19 John H. Harland Company Process and system for the material reduction of counterfeit and identity-maker fraud
US20060047704A1 (en) * 2004-08-31 2006-03-02 Kumar Chitra Gopalakrishnan Method and system for providing information services relevant to visual imagery
WO2006025797A1 (en) 2004-09-01 2006-03-09 Creative Technology Ltd A search system
US7504942B2 (en) * 2006-02-06 2009-03-17 Videoiq, Inc. Local verification systems and methods for security monitoring
US7787697B2 (en) * 2006-06-09 2010-08-31 Sony Ericsson Mobile Communications Ab Identification of an object in media and of related media objects
US9015029B2 (en) * 2007-06-04 2015-04-21 Sony Corporation Camera dictionary based on object recognition
US8144939B2 (en) * 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189724A (ja) * 2000-12-20 2002-07-05 Victor Co Of Japan Ltd 画像データ検索装置
JP2003281157A (ja) * 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
JP2004283959A (ja) * 2003-03-20 2004-10-14 Sony Corp ロボット装置、その動作制御方法、及びプログラム
JP2005078590A (ja) * 2003-09-03 2005-03-24 Nec Corp 顔照合システム
JP2005157763A (ja) * 2003-11-26 2005-06-16 Canon Inc 検索装置及び検索制御方法
JP2005215922A (ja) * 2004-01-29 2005-08-11 Zeta Bridge Corp 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
JP2006033659A (ja) * 2004-07-21 2006-02-02 Sony Corp コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513991A (ja) * 2015-03-23 2018-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 音声を要約するための方法、コンピュータ・プログラムおよびコンピュータ・システム
JP2021170158A (ja) * 2020-04-14 2021-10-28 清水建設株式会社 情報処理システム
JP7409947B2 (ja) 2020-04-14 2024-01-09 清水建設株式会社 情報処理システム

Also Published As

Publication number Publication date
US20070286463A1 (en) 2007-12-13
KR101010081B1 (ko) 2011-01-24
US20100284617A1 (en) 2010-11-11
US7787697B2 (en) 2010-08-31
MX2008015554A (es) 2009-01-22
KR20090023674A (ko) 2009-03-05
WO2007144705A1 (en) 2007-12-21
RU2008152794A (ru) 2010-07-20
CN101506828A (zh) 2009-08-12
US8165409B2 (en) 2012-04-24
RU2408067C2 (ru) 2010-12-27
EP2027557A1 (en) 2009-02-25

Similar Documents

Publication Publication Date Title
KR101010081B1 (ko) 미디어 식별
US11720238B2 (en) Selecting an input mode for a virtual assistant
JP5866728B2 (ja) 画像認識システムを備えた知識情報処理サーバシステム
CN114556333A (zh) 由助理系统启用的智能摄像机
US20200126560A1 (en) Smart speaker and operation method thereof
US11317018B2 (en) Camera operable using natural language commands
JP5120777B2 (ja) 電子データ編集装置、電子データ編集方法及びプログラム
WO2006025797A1 (en) A search system
US20150254443A1 (en) Method and system for enforced biometric authentication
US10043069B1 (en) Item recognition using context data
KR20190066537A (ko) 음성인식 기반의 사진 공유 방법, 장치 및 시스템
EP4127971A1 (en) Speech-based selection of augmented reality content for detected objects
US11983461B2 (en) Speech-based selection of augmented reality content for detected objects
CN115867905A (zh) 旅行情况下基于增强现实的语音翻译
CN117099158A (zh) 用于改变声音的特性的神经网络
JP2006018551A (ja) 情報処理装置および方法、並びにプログラム
JP2008198135A (ja) 情報配信システム、情報配信装置および情報配信方法
JP5320913B2 (ja) 撮像装置およびキーワード作成プログラム
CN115376517A (zh) 一种会议场景下的说话内容的显示方法和装置
CN111971670B (zh) 在对话中生成响应
KR20190089335A (ko) 화자 분석 기술을 이용한 개인화 음성 인식 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
Vildjiounaite et al. Requirements and software framework for adaptive multimodal affect recognition
JP2008009560A (ja) 容姿判定装置、容姿判定プログラムおよびそれを記録した記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110905

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120518