JP2012123724A - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents

画像検索装置、画像検索方法及び画像検索プログラム Download PDF

Info

Publication number
JP2012123724A
JP2012123724A JP2010275761A JP2010275761A JP2012123724A JP 2012123724 A JP2012123724 A JP 2012123724A JP 2010275761 A JP2010275761 A JP 2010275761A JP 2010275761 A JP2010275761 A JP 2010275761A JP 2012123724 A JP2012123724 A JP 2012123724A
Authority
JP
Japan
Prior art keywords
image
search
input
videophone
communication partner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010275761A
Other languages
English (en)
Other versions
JP5618804B2 (ja
Inventor
Nobuyuki Sugio
信行 杉尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010275761A priority Critical patent/JP5618804B2/ja
Publication of JP2012123724A publication Critical patent/JP2012123724A/ja
Application granted granted Critical
Publication of JP5618804B2 publication Critical patent/JP5618804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮する。
【解決手段】 画像検索装置10は、検索対象の画像をテレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベース11と、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力部12と、入力された通信相手に応じた情報に対応付けられて画像データベース11に記憶された画像を検索対象として決定する検索対象決定部13と、入力された画像に類似する画像を、検索対象として決定された画像の中から検索する検索部14と、検索に応じた出力を行う出力部15とを備える。
【選択図】 図1

Description

本発明は、画像の検索を行う画像検索装置、画像検索方法及び画像検索プログラムに関する。
従来から、ユーザがカメラで撮影した画像を用いた検索を行うシステムが知られている。例えば、特許文献1には、ユーザがカメラ付きの携帯電話機を用いて求める商品を撮影し、その画像を、インターネットを通じてサーバへ送信し、当該画像を利用して製品の購入が可能な店舗を検索することが可能なシステムについて記載されている。
特開2003−122757号公報
画像を利用した検索として、入力された画像に類似する画像を検索するものがある。これを利用して、予め家族の写真等の画像を記憶させておき、記憶された画像から、テレビ電話を行っている際に表示される通信相手の画像に類似するものを検索して出力することができる。これにより、例えば、テレビ電話を行っている際に表示される通信相手の写真をテレビ電話における会話の話題にすることができ、テレビ電話の利便性を高めることができる。しかしながら、予め記憶された検索対象の画像の数が多かったり、一つ一つの画像のサイズが大きかったりすると検索に必要な時間が増大する。
本発明は、上記を鑑みてなされたものであり、テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮することを可能にする画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。
上記目的を達成するために、本発明に係る画像検索装置は、検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、入力手段によって入力された通信相手に応じた情報に対応付けられて画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、入力手段によって入力された画像に類似する画像を、検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、検索手段による検索に応じた出力を行う出力手段と、を備えることを特徴とする。
本発明に係る画像検索装置では、テレビ電話において表示される画像を用いた検索を行う際に、検索対象となる画像がテレビ電話における通信相手に応じた情報に対応付けられた画像に限定される。即ち、目的の画像である可能性が低い画像を検索対象から除外することができる。これにより、本発明に係る画像検索装置によれば、テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮することができる。
画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、検索対象決定手段は、優先度に応じて優先的に検索される画像を検索対象として決定する、ことが望ましい。この構成によれば、目的の画像である可能性に応じて段階的に検索を行うことができ、更に効率的かつ適切な検索を行うことができる。
画像データベースは、検索対象の画像に対応付けて時刻又は位置を示す情報を記憶し、入力手段は、時刻又は位置を示す情報を入力し、検索対象決定手段は、入力手段によって入力された時刻又は位置を示す情報にも対応付けられて画像データベースに記憶された画像を検索対象として決定する、ことが望ましい。この構成によれば、テレビ電話が行われた時刻や位置に応じた検索を行うことができ、より利便性の高い検索を行うことができる。
検索手段は、入力手段によって入力された画像における通信相手のユーザの顔部分を認識して、当該認識結果に基づいて当該画像の特徴を示す特徴量を決定して、当該特徴量を用いて検索することが望ましい。通常、テレビ電話で表示される画像はユーザの顔である。従って、この構成によれば、より適切な検索が可能になる。
また、画像検索装置は、テレビ電話機能を実現するテレビ電話手段を更に備え、入力手段は、テレビ電話手段のテレビ電話機能による当該テレビ電話における通信相手を示す情報と、当該テレビ電話において表示される画像とを入力し、出力手段は、検索手段によって検索された画像を、テレビ電話手段のテレビ電話機能による表示と合わせて表示される画像として出力する、こととしてもよい。
ところで、本発明は、上記のように画像検索装置の発明として記述できる他に、以下のように画像検索方法及び画像検索プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
即ち、本発明に係る画像検索方法は、検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースを備える画像検索装置による画像検索方法であって、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力ステップと、入力ステップにおいて入力された通信相手に応じた情報に対応付けられて画像データベースに記憶された画像を検索対象として決定する検索対象決定ステップと、入力ステップにおいて入力された画像に類似する画像を、検索対象決定ステップにおいて検索対象として決定された画像の中から検索する検索ステップと、検索ステップにおける検索に応じた出力を行う出力ステップと、を含むことを特徴とする。
本発明に係る画像検索プログラムは、コンピュータを、検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、入力手段によって入力された通信相手に応じた情報に対応付けられて画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、入力手段によって入力された画像に類似する画像を、検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、検索手段による検索に応じた出力を行う出力手段と、して機能させることを特徴とする。
本発明では、テレビ電話において表示される画像を用いた検索を行う際に、検索対象となる画像がテレビ電話における通信相手に応じた情報に対応付けられた画像に限定される。即ち、目的の画像である可能性が低い画像を検索対象から除外することができる。これにより、本発明によれば、テレビ電話において通信相手の画像として表示される画像を用いた検索において検索時間を短縮することができる。
本発明の実施形態に係る画像検索装置の機能構成を示す図である。 携帯電話機におけるテレビ電話の表示の一例を示す図である。 携帯電話機の電話帳データベースにより記憶される情報を示す図である。 画像検索装置の画像データベースにより記憶される情報を示す図である。 本発明の実施形態に係る画像検索装置のハードウェア構成を示す図である。 本発明の実施形態に係る画像検索装置で実行される処理(画像検索方法)を示すシーケンス図である。 本発明の実施形態に係る画像検索プログラムの構成を記録媒体と共に示す図である。
以下、図面と共に本発明に係る画像検索装置、画像検索方法及び画像検索プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1に本実施形態に係る画像検索装置10を示す。画像検索装置10は、検索対象の画像を記憶しており、画像を入力して、入力された画像に類似する画像を記憶した画像から検索して出力する装置である。画像検索装置10は、携帯電話機(情報端末)20との間で情報の送受信を行うことができ、携帯電話機20から入力された画像を用いて画像検索を行い、検索された画像を携帯電話機20に出力する。
ここで、画像検索装置10との間で情報の入出力を行う携帯電話機20について説明する。携帯電話機20は、テレビ電話機能を備えており、無線通信により通信網に接続してテレビ電話を行うことができる装置である。図2に示すように、携帯電話機20によってテレビ電話が行われている間、携帯電話機20が備えるディスプレイ等の表示装置20aに通信相手から送信された画像(映像)31が表示される。この画像は、通信相手の電話機によって撮像されたものであり、通常、撮影対象は通信相手(であるところの通話者)である。
携帯電話機20は、テレビ電話において表示される画像を画像検索装置10に送信する。当該画像の送信に応じて画像検索装置10によって画像検索が行われ、検索された画像が携帯電話機20に送信される。図2に示すように、携帯電話機20では、当該画像32が受信されて、表示装置20aに通信相手から送信された画像(映像)31と合わせて(通信相手の画像31とは別の領域に)表示装置20aに表示される。
ここで、画像検索装置10によって記憶された検索対象とされる画像は、例えば、携帯電話機20のユーザが所有する写真の画像である。従って、携帯電話機20のユーザは、通信相手に関連する写真を参照しながらテレビ電話を行うことができる。これにより、例えば、通信相手の写真をテレビ電話における会話の話題にすることができ、テレビ電話の利便性を高めることができる。
画像検索装置10は、例えば、携帯電話機20と通信網を介して情報が送受信されてもよい。あるいは、画像検索装置10は、携帯電話機20との間で近距離無線通信あるいは有線通信によって情報が送受信されてもよい。なお、画像検索装置10と携帯電話機20との間のデータのやり取りの際に、データを暗号化してセキュリティを高めてもよい。
引き続いて、携帯電話機20の機能についてより詳細について説明する。図1に示すように携帯電話機20は、電話帳データベース21と、テレビ電話部22とを備えて構成される。また、携帯電話機20は、以下に説明する機能以外にも通常の携帯電話機が有する機能も有しているが説明を省略する。
電話帳データベース21は、通信相手の電話機の電話番号や通信相手の名前等の電話帳データを記憶したデータベースである。電話帳データベース21は、具体的には、図3に示すようなテーブルに各情報を格納することによってデータを記憶する。図3に示すように電話帳No、名前、画像、グループキーワード、電話番号及びメールアドレスが対応付けられて記憶されている。電話帳Noは、電話帳データベース21の各レコードを一意に特定するための識別子である。名前は、通信相手の電話機を利用している利用者の名前である。画像は、当該利用者の画像である(例えば、着信時の表示等に用いられる)。グループキーワードは、「家族」、「仕事」等、当該利用者が、(携帯電話機20のユーザからみて)どのような属性を有するかを示す情報である。電話番号は、通信相手の電話機の電話番号である。メールアドレスは、通信相手の電話機のメールアドレスである。
電話帳データベースに記憶された情報のうち、後述するように名前及びグループキーワードが、通信相手に応じた検索用の情報として用いられる。電話帳データベース21に記憶される情報は、携帯電話機20のユーザによる携帯電話機20への入力操作等によって予め電話帳データベース21に入力されている。
テレビ電話部22は、テレビ電話機能を実現するテレビ電話手段である。テレビ電話部22は、ユーザの操作に応じてテレビ電話の発信、着信、通信(テレビ電話に係る音声及び画像の送受信)を行う。また、テレビ電話部22は、テレビ電話の通信を行っている際に電話帳データベース21から当該テレビ電話の通信相手の名前及びグループキーワード(ユーザ情報)を取得する。具体的には、名前及びグループキーワードは、例えば、テレビ電話部22が有するテレビ電話機能によって通信相手の電話機の電話番号の情報が取得されて当該電話番号をキーとして取得される。テレビ電話部22は、取得した名前及びグループキーワードと、当該テレビ電話において表示される画像(通信相手の電話機から送信された画像)とを画像検索装置10に送信する。テレビ電話部22は、当該送信に応じて画像検索装置10から送信される画像を受信して、上述したように表示する。
また、上記の検索のために時刻又は位置を示す情報も合わせて、画像検索装置10に送信することとしてもよい。送信される時刻の情報は、例えば、テレビ電話が実施されている時刻(現時点の時刻)の情報である。送信される位置の情報は、例えば、通信相手がいる位置(即ち、携帯電話機20に入力されるテレビ電話の画像の撮影位置)の情報であり、当該位置を示す緯度及び経度の情報である。この通信相手がいる位置は、例えば、通信相手の電話機が備えるGPS等の測位機能によって測位が行われて、当該電話機から測位結果の情報を受信することによって得ることができる。これらの情報がどのように検索に利用されるのかについては後述する。以上が、携帯電話機20の機能構成である。
携帯電話機20は、CPU(Central Processing Unit)、メモリ、無線通信モジュール、スピーカー、ディスプレイ、及びテレビ電話用のマイク、カメラ等のハードウェアを備えて構成される。これらの構成要素がプログラム等により動作することによって上述した機能が発揮される。
引き続いて、本実施形態に係る画像検索装置10の機能についてより詳細について説明する。図1に示すように画像検索装置10は、画像データベース11と、入力部12と、検索対象決定部13と、検索部14と、出力部15とを備えて構成される。
画像データベース11は、検索対象の画像を、テレビ電話における通信相手に応じた検索用の情報に対応付けて記憶するデータベースである。画像データベース11は、具体的には、図4に示すようなテーブルに各情報を格納することによってデータを記憶する。図4に示すように画像ID、画像、名前、撮影日時、グループキーワード、画像特徴量(RGB)が対応付けられて記憶されている。画像IDは、画像データベース11に記憶される画像を一意に特定するための識別子である。画像は、検索対象の画像(画像データ)である。
名前は、例えば、画像に写っている人物、あるいは画像に関連する人物の名前である。この名前欄の情報は、携帯電話機20の電話帳データベース21の名前の欄の情報に対応している。撮影日時は、画像が撮影された時刻を示す情報である。具体的には、撮影が行われた年月日及び時間である。グループキーワードは、上記の人物がどのような属性を有するかを示す情報である。このグループキーワードの欄の情報は、携帯電話機20の電話帳データベース21のグループキーワードの欄の情報に対応している。画像特徴量(RGB)は、画像の特徴を示す数値データである。例えば、画像中に三原色のRGBのそれぞれの色がどれだけ含まれているか示す値である。この情報は、画像の検索に用いられる。
上記の画像データベース11に記憶された情報のうち、通信相手に応じた検索用の情報は、名前及びグループキーワードである。上記のように画像データベース11は、画像に対応付けて複数の検索用の情報(項目)を記憶することとしてもよい。この場合、検索用の情報には優先度が設けられる。画像データベース11には、当該優先度の情報は記憶されていないが、後述する検索処理で優先度に応じた処理が行われる。本実施形態では、名前の優先度が高く、グループキーワードの優先度が低い。
また、上記のように画像データベース11は、検索対象の画像に対応付けて時刻を示す情報を記憶しておくこととしてもよい。あるいは、上記のように画像データベース11は、検索対象の画像に対応付けて位置を示す情報を記憶していてもよい。位置を示す情報は、当該位置を示す緯度及び経度の情報である。上記の時刻あるいは位置を示す情報は、携帯電話機20から送信される時刻あるいは位置を示す情報に対応している。
画像データベース11に記憶される画像及び情報は、画像検索装置10の管理者等による画像データベース11への画像の登録及び情報の入力操作等によって予め画像データベース11に入力されている。
入力部12は、携帯電話機20でのテレビ電話における通信相手に応じた検索用の情報と、当該テレビ電話において表示される画像とを入力する入力手段である。具体的には、入力部12は、上述したように携帯電話機20から送信されるテレビ電話の画像と通信相手に応じた名前及びグループキーワードの情報とを受信する。入力部12は、受信した名前及びグループキーワードの情報を検索対象決定部13に出力する。入力部12は、受信した画像を検索部14に出力する。
また、入力部12は、上記の情報と合わせて、携帯電話機20から時刻又は位置を示す情報を受信して入力することとしてもよい。これらの情報を入力した場合、入力部12は、その情報を検索対象決定部13に出力する。なお、時刻の情報については、必ずしも携帯電話機20から受信する必要はなく、自装置が備える計時機能から現時点の時刻を取得して入力することとしてもよい。
検索対象決定部13は、画像データベース11に記憶された画像の中から検索対象の画像を決定する検索対象決定手段である。検索対象決定部13は、入力部12から入力された通信相手に応じた検索用の情報に対応付けられた画像を検索対象として決定する。例えば、入力部12から入力された名前の情報が「お祖母ちゃん」であった場合、画像データベース11に記憶された画像のうち画像に対応付けられた名前が「お祖母ちゃん」と一致する画像(あるいは、名前に「お祖母ちゃん」を含む画像)を検索対象として決定する。画像データベース11に記憶された画像が図4に示すようなものである場合、画像IDが「ID0001」及び「ID0006」の画像が検索対象として決定される。検索対象決定部13は、検索対象として決定された画像を画像データベース11から取得して、検索部14に出力する。
入力部12から入力されたグループキーワードの情報が「家族」であった場合、画像データベース11に記憶された画像のうち画像に対応付けられたグループキーワードが「家族」と一致する画像(あるいは、グループキーワードに「家族」を含む画像)を検索対象として決定する。画像データベース11に記憶された画像が図4に示すようなものである場合、画像IDが「ID0001」、「ID0002」、「ID0003」及び「ID0006」の画像が検索対象として決定される。検索対象決定部13は、検索対象として決定された画像を画像データベース11から取得して、検索部14に出力する。
本実施形態では、検索対象決定部13には名前とグループキーワードという複数の通信相手に応じた検索用の情報がある。検索対象決定部13は、検索用の情報に応じて優先的に検索される画像を検索対象として決定する、即ち、検索対象決定部13は、段階的に検索対象の画像を決定する。
上述したように本実施形態においては検索用の情報の優先度は、名前、グループキーワードの順である。本実施形態では、検索対象決定部13は、まず、入力部12から入力された名前に対応する画像を最初に検索する検索対象の画像として決定する。上述したように本実施形態においては、テレビ電話で表示される画像に類似する画像を検索する。即ち、テレビ電話で話している相手が写っている写真等の画像を検索するものである。従って、通信相手の電話機に対応付けられた名前と一致する画像が、テレビ電話で表示される画像と類似する可能性が高いと考えられるためである。
検索部14による検索の結果、入力部12から入力された名前に対応付けられた画像の中にテレビ電話の画像と類似するものが無かった場合、続いて、検索対象決定部13は、入力部12から入力されたグループキーワードに対応する画像を検索する検索対象の画像として決定する。例えば、電話機が家族で用いられていた場合、通信相手が通信相手の電話機に対応付けられた名前の人物でなくてもその家族や職場の人間であり、「家族」や「仕事」といったグループキーワードが対応付けられた画像が、テレビ電話で表示される画像と類似する可能性が高いと考えられるためである。
検索部14による検索の結果、入力部12から入力されたキーワードに対応付けられた画像の中にテレビ電話の画像と類似するものが無かった場合、続いて、検索対象決定部13は、上記で検索画像とされなかった画像を検索対象の画像として決定する。
また、検索対象決定部13は、入力部12から時刻又は位置を示す情報が入力された場合には、当該時刻又は当該位置を示す情報にも対応付けられて画像データベース11に記憶された画像を検索対象として決定する。なお、時刻及び位置については、入力された情報と画像データベース11において画像に対応付けられている情報とは、通常、完全に一致しないことも多いので一定以内の差であれば対応するものとする。また、時刻については、通常、年月日は一致しないので時分のみが対応すればよいものとする。
検索部14は、入力部12から入力された画像に類似する画像を、検索対象決定部13によって検索対象として入力された画像の中から検索する検索手段である。具体的には、検索部14は、各画像から画像の特徴を示す画像特徴量を抽出(計算)して、画像特徴量を比較することによって、入力部12から入力された画像と類似する画像を検索する。なお、画像データベース11に格納された画像については、図4の最右欄に示すように各画像について予め画像特徴量を計算しておき、予め計算した値を用いることが望ましい。
また、検索部14は、入力部12から入力された画像における通信相手のユーザ(通話相手)の顔部分を認識して、当該認識結果に基づいて画像特徴量を決定することが望ましい。より具体的には、画像特徴量の際に顔部分の特徴が際立つような重み付けを行う。通常、テレビ電話で表示される画像はユーザの顔であるのでより、このような検索を行うことによって更に適切な検索が可能になる。なお、画像特徴量の抽出、顔部分の認識、画像特徴量間の比較の検索の具体的な処理については、既存技術を用いて行うことができる。
検索部14は、検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られた場合には、その画像を出力部15に出力する。検索部14は、類似する画像が得られなかった(無かった)場合には、次に検索対象とされる画像がある場合(類似する画像が得られなかった検索対象が、名前あるいはグループキーワードが一致する画像であった場合)、その旨を検索対象決定部13に通知する。検索部14は、検索対象の通知に応じて新たに検索対象決定部13から入力される検索対象の画像の中から検索を行う。上記のようにこの場合、検索対象の画像を変えて段階的な検索が行われる。
一方、検索部14は、次に検索対象とされる画像がない場合(類似する画像が得られなかった検索対象が、名前あるいはグループキーワードが一致する画像以外であった場合)、検索の結果、類似する画像が得られなかった旨を出力部15に通知する。
なお、上記のように一致する画像が無かった場合に検索対象決定部13に通知して新たな検索対象の画像を入力せずに、検索対象決定部13から入力される(全ての)検索対象の画像を検索の優先度に対応付けておき、その優先度に応じて上記と同様に順次検索を行うこととしてもよい。例えば、入力部12から入力された名前に対応付いている画像を優先順位1、入力部12から入力されたグループキーワードに対応付いている画像を優先順位2、入力部12から入力された名前及びグループキーワードの何れにも対応付いていない画像を優先順位3といったようにする。
出力部15は、検索部14による検索に応じた出力を行う出力手段である。具体的には、出力部15は、検索部14から入力された画像を携帯電話機20においてテレビ電話機能による表示と合わせて表示される画像として、携帯電話機20に送信する。また、検索部14から類似する画像が得られなかった旨の通知があった場合には、携帯電話機20にその旨が通知される。以上が、画像検索装置10の機能構成である。
図5に画像検索装置10のハードウェア構成を示す。図5に示すように画像検索装置10は、CPU101、主記憶装置であるRAM(Random Access Memory)102及びROM(Read Only Memory)103、通信を行うための通信モジュール104、並びにハードディスク等の補助記憶装置105等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した画像検索装置10の機能が発揮される。以上が、画像検索装置10の構成である。
引き続いて、図6のシーケンス図を用いて、本実施形態に係る画像検索装置10で実行される処理(画像検索方法)を説明する。この処理は、携帯電話機20によりテレビ電話が行われるときに実行される。
本処理では、まず、携帯電話機20において、テレビ電話部22によって通信相手の電話機との間でテレビ電話が開始される(S01、テレビ電話ステップ)。テレビ電話の開始は、携帯電話機20のユーザによる携帯電話機20に対する操作をトリガとして開始される。テレビ電話の開始によって、携帯電話機20と通信相手の電話機との間では、テレビ電話に係る音声及び画像が送受信される。携帯電話機20に入力される画像は、通信相手の電話機によって撮影されたものである。
続いて、テレビ電話部22によって、通信相手の電話機の電話番号をキーとして電話帳データベース21から通信相手の名前及びグループキーワードがユーザ情報として取得される(S02)。続いて、テレビ電話部22から画像検索装置10に、当該テレビ電話において表示される画像(通信相手の電話機から送信された画像)と取得されたユーザ情報とが送信される(S03)。上述したようにこの際に時刻及び位置の少なくとも一つが上記の情報と合わせて送信されてもよい。
画像検索装置10では、入力部12によって携帯電話機20から送信された情報が受信され入力される(S03、入力ステップ)。入力された情報のうち、画像は入力部12から検索部14に出力される。また、ユーザ情報、時刻及び位置の情報は、入力部12から検索対象決定部13に出力される。
続いて、検索対象決定部13によって、画像データベース11に記憶された画像の中から検索対象の画像が決定される(S04、検索対象決定ステップ)。上述したように入力部12から入力された通信相手に応じた検索用の情報に対応付けられた画像が検索対象として決定される。本実施形態のように検索用の情報(ユーザ情報として)優先度が高い名前と、優先度の低いグループキーワードがあった場合、まず、名前に対応付けられた画像が検索対象として決定される。また、検索対象の画像は、上述したように時刻及び位置によって更に限定されてもよい。検索対象として決定された画像は、検索対象決定部13によって、画像データベース11から取得されて検索部14に出力される。
続いて、検索部14によって、入力部12から入力された画像に類似する画像が、検索対象決定部13から入力された画像の中から検索される。具体的には、入力部12から入力された画像から画像特徴量が抽出される(S05、検索ステップ)。続いて、抽出された画像特徴量と、検索対象決定部13から入力された画像の画像特徴量とが比較されて、類似が判断されることによって検索が行われる(S06、検索ステップ)。
検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られた場合には、その画像が検索部14から出力部15に出力される。続いて、出力部15によって検索部14から入力された画像が携帯電話機20に送信される(S07、出力ステップ)。
携帯電話機20では、テレビ電話部22によって、画像検索装置10から送信された画像が受信される(S07)。受信された画像は、図2に示すように、テレビ電話画像と合わせて表示される(S08、出力ステップ)。
S06における検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られなかった場合には、その旨が検索部14から検索対象決定部13に通知される。続いて、検索対象決定部13によって、改めて画像データベース11に記憶された画像の中から検索対象の画像が決定される(S04、検索対象決定ステップ)。具体的には、グループキーワードに対応付けられた画像が検索対象として決定される。続いて、上記と同様に検索対象として決定された画像に対して検索が行われる(S06、検索ステップ)。検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られた場合には、上記と同様にその画像が出力部15から携帯電話機20に送信され、携帯電話機20で表示される(S07、S08、出力ステップ)。
一方で、S06における検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られなかった場合には、その旨が検索部14から検索対象決定部13に通知される。続いて、検索対象決定部13によって、改めて画像データベース11に記憶された画像の中から検索対象の画像が決定される(S04、検索対象決定ステップ)。具体的には、名前及びグループキーワードの何れにも対応付けられていない画像が検索対象として決定される。続いて、上記と同様に検索対象として決定された画像に対して検索が行われる(S06、検索ステップ)。検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られた場合には、上記と同様にその画像が出力部15から携帯電話機20に送信され、携帯電話機20で表示される(S07、S08、出力ステップ)。
S06における検索の結果、検索対象の画像から入力部12から入力された画像に類似する画像が得られなかった場合には、類似する画像が得られなかった旨が検索部14から出力部15に通知される。続いて、出力部15によって携帯電話機20に、類似する画像が得られなかった旨が通知され、携帯電話機20ではその旨の通知に応じた処理(例えば、ユーザへの通知等)がなされる。以上が、本実施形態に係る画像検索装置10で実行される処理(画像検索方法)である。
上述したように、本実施形態では、テレビ電話において表示される画像を用いた検索を行う際に、検索対象となる画像がテレビ電話における通信相手に応じた検索用の情報である名前やグループキーワードに対応付けられた画像に限定される。これにより、目的の画像(検索にヒットする画像である可能性の高い画像)に絞って検索を行うことができる。即ち、目的の画像(検索にヒットする画像)である可能性が低い画像を検索対象から除外することができる。これにより、本発明に係る画像検索装置によれば、テレビ電話において通信相手の画像として表示される画像を用いた検索において効率的に検索を行うことができ、その結果、検索時間を短縮することができる。これにより携帯電話機20のテレビ電話の表示画面に、迅速に検索画像を表示させることができ、ユーザの利便性を向上させることができる。
また、本実施形態のように名前及びグループキーワードといった複数の検索用の情報を用いて段階的に検索を行うこととしてもよい。この構成によれば、目的の画像である可能性に応じて段階的に検索を行うことができ、更に効率的かつ適切な検索を行うことができる。なお、本実施形態では、通信相手に応じた検索用の情報として名前及びグループキーワードを用いたが、それら以外の情報が用いられてもよい。また、本実施形態では、最終的に通信相手の名前及びグループキーワードに対応付けられていない画像に対しても検索を行っているが、例えば、画像の総数が膨大である場合等には必ずしも名前及びグループキーワードに対応付けられていない画像に対しては検索を行う必要はない。
また、本実施形態のように時刻や位置に応じて検索対象の画像を限定することとしてもよい。この構成によれば、テレビ電話が行われた時刻や位置に応じた検索を行うことができ、より利便性の高い検索を行うことができる。
なお、上述した実施形態では、通信相手に応じた検索用の情報である名前及びグループキーワードを携帯電話機20において通信相手の電話機の電話番号から特定して、画像検索装置10に送信することとしている。しかしながら、携帯電話機20から画像検索装置10に送信される情報を通信相手の電話機を特定する情報(例えば、電話番号)としてもよい。図3に示す電話帳データベースに記憶される情報を画像検索装置10でも記憶しておき、画像検索装置10において携帯電話機20から受信された通信相手の電話機を特定する情報から名前及びグループキーワードを特定することとしてもよい。
また、上述した本実施形態では、テレビ電話を行う電話機は無線通信を行う携帯電話機20としていたが必ずしも無線通信を行う必要はなく、有線で電話通信を行う固定電話機であってもよい。
また、上述した本実施形態では、テレビ電話を行う携帯電話機20と、画像データベース11を備え画像の検索を行う画像検索装置10とは、別々の装置として構成されていた。しかしながら、これらの装置が一体となっていることとしてもよい。即ち、上述した画像検索装置10が、携帯電話機20の電話帳データベース21と、テレビ電話部22とを備えていてもよい(あるいは、テレビ電話を行う電話機が、上述した画像検索装置10の機能を全て備えていてもよい)。その場合、画像検索装置10における入力部12は、装置内部において、テレビ電話部22のテレビ電話機能による当該テレビ電話における通信相手を示す情報と、当該テレビ電話において表示される画像とを入力する。また、出力部15は、検索部14によって検索された画像をテレビ電話機能による表示と合わせて表示される画像として出力する。
引き続いて、上述した一連の画像検索装置10の上述した画像検索処理をコンピュータに実行させるための画像検索プログラムを説明する。図7に示すように、画像検索プログラム41は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体40に形成されたプログラム格納領域40a内に格納される。
画像検索プログラム41は、画像検索処理を統括的に制御するメインモジュール41aと、画像データベースモジュール41bと、入力モジュール41cと、検索対象決定モジュール41dと、検索モジュール41eと、出力モジュール41fとを備えて構成される。メインモジュール41aと、画像データベースモジュール41bと、入力モジュール41cと、検索対象決定モジュール41dと、検索モジュール41eと、出力モジュール41fとを実行させることにより実現される機能は、上述した画像検索装置10の画像データベース11と、入力部12と、検索対象決定部13と、検索部14と、出力部15との機能とそれぞれ同様である。
なお、画像検索プログラム41は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。また、画像検索プログラム41の各モジュールは、1つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の画像検索装置10の画像検索処理が行われる。
10…画像検索装置、11…画像データベース、12…入力部、13…検索対象決定部、14…検索部、15…出力部、101…CPU、102…RAM、103…ROM、104…通信モジュール、105…補助記憶装置、20…携帯電話機、21…電話帳データベース、22…テレビ電話部、40…記録媒体、40a…プログラム格納領域、41…画像検索プログラム、41a…メインモジュール、41b…画像データベースモジュール、41c…入力モジュール、41d…検索対象決定モジュール、41e…検索モジュール、41f…出力モジュール。

Claims (7)

  1. 検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、
    テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、
    前記入力手段によって入力された通信相手に応じた情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、
    前記入力手段によって入力された前記画像に類似する画像を、前記検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、
    前記検索手段による検索に応じた出力を行う出力手段と、
    を備える画像検索装置。
  2. 前記画像データベースは、検索対象の画像に対応付けられた通信相手に応じた情報をそれぞれに優先度が設けられた複数の項目について記憶し、
    前記検索対象決定手段は、前記優先度に応じて優先的に検索される画像を検索対象として決定する、
    ことを特徴とする請求項1に記載の画像検索装置。
  3. 前記画像データベースは、検索対象の画像に対応付けて時刻又は位置を示す情報を記憶し、
    前記入力手段は、時刻又は位置を示す情報を入力し、
    前記検索対象決定手段は、前記入力手段によって入力された時刻又は位置を示す情報にも対応付けられて前記画像データベースに記憶された画像を検索対象として決定する、
    ことを特徴とする請求項1又は2に記載の画像検索装置。
  4. 前記検索手段は、前記入力手段によって入力された前記画像における前記通信相手のユーザの顔部分を認識して、当該認識結果に基づいて当該画像の特徴を示す特徴量を決定して、当該特徴量を用いて検索することを特徴とする請求項1〜3の何れか一項に記載の画像検索装置。
  5. テレビ電話機能を実現するテレビ電話手段を更に備え、
    前記入力手段は、前記テレビ電話手段のテレビ電話機能による当該テレビ電話における通信相手を示す情報と、当該テレビ電話において表示される画像とを入力し、
    前記出力手段は、前記検索手段によって検索された画像を、前記テレビ電話手段のテレビ電話機能による表示と合わせて表示される画像として出力する、
    ことを特徴とする請求項1〜4の何れか一項に記載された画像検索装置。
  6. 検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースを備える画像検索装置による画像検索方法であって、
    テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力ステップと、
    前記入力ステップにおいて入力された通信相手に応じた情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定する検索対象決定ステップと、
    前記入力ステップにおいて入力された前記画像に類似する画像を、前記検索対象決定ステップにおいて検索対象として決定された画像の中から検索する検索ステップと、
    前記検索ステップにおける検索に応じた出力を行う出力ステップと、
    を含む画像検索方法。
  7. コンピュータを、
    検索対象の画像を、テレビ電話における通信相手に応じた情報に対応付けて記憶する画像データベースと、
    テレビ電話における通信相手に応じた情報と、当該テレビ電話において表示される画像とを入力する入力手段と、
    前記入力手段によって入力された通信相手に応じた情報に対応付けられて前記画像データベースに記憶された画像を検索対象として決定する検索対象決定手段と、
    前記入力手段によって入力された前記画像に類似する画像を、前記検索対象決定手段によって検索対象として決定された画像の中から検索する検索手段と、
    前記検索手段による検索に応じた出力を行う出力手段と、
    して機能させる画像検索プログラム。
JP2010275761A 2010-12-10 2010-12-10 画像検索装置、画像検索方法及び画像検索プログラム Expired - Fee Related JP5618804B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010275761A JP5618804B2 (ja) 2010-12-10 2010-12-10 画像検索装置、画像検索方法及び画像検索プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010275761A JP5618804B2 (ja) 2010-12-10 2010-12-10 画像検索装置、画像検索方法及び画像検索プログラム

Publications (2)

Publication Number Publication Date
JP2012123724A true JP2012123724A (ja) 2012-06-28
JP5618804B2 JP5618804B2 (ja) 2014-11-05

Family

ID=46505074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010275761A Expired - Fee Related JP5618804B2 (ja) 2010-12-10 2010-12-10 画像検索装置、画像検索方法及び画像検索プログラム

Country Status (1)

Country Link
JP (1) JP5618804B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086895A (ja) * 2004-09-16 2006-03-30 Matsushita Electric Ind Co Ltd 通信端末とその通信方法
JP2007052733A (ja) * 2005-08-19 2007-03-01 Glory Ltd 顔画像判定装置および顔画像判定方法
JP2007312262A (ja) * 2006-05-22 2007-11-29 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
JP2009065620A (ja) * 2007-09-10 2009-03-26 Panasonic Corp テレビ電話装置及びテレビ電話装置の着信応答方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086895A (ja) * 2004-09-16 2006-03-30 Matsushita Electric Ind Co Ltd 通信端末とその通信方法
JP2007052733A (ja) * 2005-08-19 2007-03-01 Glory Ltd 顔画像判定装置および顔画像判定方法
JP2007312262A (ja) * 2006-05-22 2007-11-29 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
JP2009065620A (ja) * 2007-09-10 2009-03-26 Panasonic Corp テレビ電話装置及びテレビ電話装置の着信応答方法

Also Published As

Publication number Publication date
JP5618804B2 (ja) 2014-11-05

Similar Documents

Publication Publication Date Title
US20150026209A1 (en) Method And Terminal For Associating Information
US20100216441A1 (en) Method for photo tagging based on broadcast assisted face identification
JP2018523185A (ja) アカウント情報取得方法、端末、サーバ、およびシステム
US9609122B2 (en) Identifying information associated with an incoming telephone call
JP5152045B2 (ja) 電話装置、画像表示方法及び画像表示処理プログラム
CN105893493A (zh) 搜索方法及装置
US20080075433A1 (en) Locating digital images in a portable electronic device
US8233886B2 (en) Accessing stored data objects using contact data corresponding to a remote communications party
JP2007018166A (ja) 情報検索装置、情報検索システム、情報検索方法及び情報検索プログラム
JP2004005314A (ja) データ検索システム及び、それに関する、装置または方法または記録媒体またはプログラム
JP2001292226A (ja) 情報表示装置
US20140349623A1 (en) Method and apparatus for alerting harassing phone numbers
WO2014190704A1 (en) Method and apparatus for alerting harassing phone numbers
JP2017021672A (ja) 検索装置
KR101961984B1 (ko) 메시지 내용을 분석하기 위한 방법 및 기술 장비
CN106341513A (zh) 通话录音文件展示方法、装置及终端
JP5618804B2 (ja) 画像検索装置、画像検索方法及び画像検索プログラム
KR20120052569A (ko) 사용자 정보 기반 영상 검색 관리 방법과 이를 이용한 장치 및 시스템
JP5428911B2 (ja) 携帯端末装置、電話帳検索方法及び電話帳検索プログラム
KR101350978B1 (ko) 어플리케이션을 이용하는 인맥 관리 시스템 및 인맥 관리 방법
CN111064892A (zh) 图像自动分享方法、系统、电子装置及存储介质
JP5561809B2 (ja) 端末装置
KR20150110192A (ko) 단말기의 컨텐츠 정보 검색 방법 및 장치
KR100894016B1 (ko) 오브젝트 색상 정보를 이용한 동영상 검색 서비스 제공방법 및 시스템
JP2007318633A (ja) ネットワークシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140916

R150 Certificate of patent or registration of utility model

Ref document number: 5618804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees