JP2012141693A - 画像検索システム及び画像検索プログラム - Google Patents
画像検索システム及び画像検索プログラム Download PDFInfo
- Publication number
- JP2012141693A JP2012141693A JP2010292732A JP2010292732A JP2012141693A JP 2012141693 A JP2012141693 A JP 2012141693A JP 2010292732 A JP2010292732 A JP 2010292732A JP 2010292732 A JP2010292732 A JP 2010292732A JP 2012141693 A JP2012141693 A JP 2012141693A
- Authority
- JP
- Japan
- Prior art keywords
- search
- image information
- information
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】光相関演算と計算機による相関演算とによって、検索画像情報と相関の高い画像情報を速く正確に検索する。
【解決手段】複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置1と、複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体20と、ホログラフィック記録媒体20を含む光相関演算装置2と、複数の画像情報が記憶された記憶装置6と、を有し、情報処理装置1は、光相関演算装置2において、ホログラフィック記録媒体20に記録された複数の画像情報と検索画像情報とを光相関演算させて2次検索候補を特定し、記憶装置6に記憶された複数の画像情報の中から、2次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得する。
【選択図】図1
【解決手段】複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置1と、複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体20と、ホログラフィック記録媒体20を含む光相関演算装置2と、複数の画像情報が記憶された記憶装置6と、を有し、情報処理装置1は、光相関演算装置2において、ホログラフィック記録媒体20に記録された複数の画像情報と検索画像情報とを光相関演算させて2次検索候補を特定し、記憶装置6に記憶された複数の画像情報の中から、2次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得する。
【選択図】図1
Description
本発明は、データベースに格納された複数の画像情報から検索したい画像情報に類似する画像情報を検索する画像検索の技術に関し、特に、ホログラフィを利用した光相関演算と、計算機による相関演算とを利用して、画像情報を検索する技術に関する。
光軸の同軸上で情報光と参照光とを干渉させて体積型(厚い)ホログラムを記録するコリニア方式のホログラフィックメモリが提案されている(例えば、特許文献1参照)。ホログラムの干渉縞の間隔に比べて記録層の膜厚が大きい体積型ホログラムを利用すると、記録容量及び記録密度を大きくすることができる。コリニア方式の光情報記録再生装置では、空間光変調器によって空間的に変調された情報光と参照光とが同軸上に配置され、情報光と参照光とが記録媒体に照射される。ホログラフィック記録媒体に照射された情報光と参照光との干渉によって、記録媒体のホログラム記録層内の感光性材料に光反応が生じると、ホログラム記録層にホログラムが定着する。
コリニア方式のホログラフィックメモリでは、ディスク状のホログラフィック記録媒体を回転させながら情報を記録再生するので、既存の光ディスク技術(DVD、CD等)との親和性が高く、光学系を簡易かつ小型化することができる。また、ホログラフィックメモリでは、既存のDVD及びCDに類似したアドレス方式、サーボ技術等を利用することによって、厳密な位置合わせが実現可能である。よって、ホログラフィックメモリは次世代の記録媒体として期待されている。
さらに、体積型ホログラムを利用し、光相関演算によって顔の画像情報を検索することが提案されている(例えば、非特許文献1参照)。非特許文献1に記載された技術では、ホログラムの書き込み時(記録時)には、空間光変調器の1画素をオン状態として参照光とし、その付近に顔の画像情報を表示して情報光とし、それらの光を対物レンズによってフーリエ変換し、記録媒体中で重ね合わせて干渉させることによって、ホログラフィックメモリにホログラムを記録する。また、光相関演算時には、記録時と同じ位置に、検索したい顔の画像情報を表示し、ホログラムから再生された光を検出する。ホログラムとして記録された顔の画像情報と検索したい顔の画像情報とが同一又は類似していると、ホログラムからは記録時の参照光に相当する光(再生光)が再生される。再生光の強度は、記録された顔の画像情報と検索したい顔の画像情報との類似度が高いほど強いので、ホログラムから再生された再生光の強度を相関値として利用することができる。
また、従来から、計算機による相関演算を用い、検索したい画像情報とデータベースに記録された画像情報との相互相関係数等を演算し、画像情報を検索する検索する技術が知られている。
「全光型超高速光相関による画像検索エンジン」 Optics Japan 2005 講演予稿集 pp260−261、2005年 渡邉恵理子他
前述した非特許文献1に記載された光相関演算を用いた技術によると、光ディスク技術を利用することによって、従来の計算機による相関演算によって画像情報を検索する技術よりも、速い検索速度を実現することが可能である。しかしながら、ホログラムを用いた光相関演算は、ホログラフィック媒体、光学系、サーボ系及び条件のばらつきによって、ホログラムとして記録された画像情報と検索したい画像情報(以下、「検索画像情報」という。)との相関値が理論値と異なるという問題がある。ホログラフィック媒体、光学系、サーボ系及び条件のばらつきとは、具体的には、ホログラフィック記録媒体の感度、M/#(ダイナミックレンジ)に起因するばらつき、ホログラフィック記録媒体(ディスク)の反り、厚み、面ぶれ、偏心、反射率、経年劣化及び汚れ等に起因するばらつき、光学系の光量、感度、収差等に起因するばらつき、サーボ系の特性、位置ずれ、振動等に起因するばらつき、記録時と再生時(検索時)との温度、湿度等の条件に起因するばらつき等である。これらのばらつきは光相関演算に誤差を与えることがあるので、光相関演算によって演算された相関値(演算値)は理論値から外れることがある。
図6(A)は、ホログラフィを利用した光相関演算において、ホログラムとして記録された各画像情報(顔画像情報)と検索画像情報との相関値の関係を説明する図である。図6(A)では、横軸に相関値の理論値を示し、縦軸に実際の相関値の演算値と理論値との比を示した。例えば、ある検索画像情報を選択し、選択された検索画像情報とホログラムとして記録された各画像情報との類似度を示す相関値を光相関演算によって演算した場合、前述した各種の「ばらつき」によって、演算値は理論値から何%か外れることがある。図6(A)における丸のグラフは、理想状態における演算値を示すものであるが、実際には、例えば、±10%の誤差を含んでいる場合、各画像情報に対する相関値は、最大で四角のグラフまで、最小で三角のグラフまで変動する可能性がある。
そして、例えば、検索画像情報に一致する画像情報を検出するための閾値を低く設定した場合、光相関演算によって演算された相関値(演算値)が+10%の誤差を含むと、検索画像情報には一致しない複数の画像情報が検出されることがある。一方、閾値を高く設定した場合、相関値(演算値)が−10%の誤差を含むと、検索画像情報と一致するはずの自己相関の画像情報ですら検出されないことがある。さらに、これらの誤差がランダムに生じることで、理論値では、より相関値が高いはずの画像情報が、実際の相関値では低くなることもあるため、検索の信頼性が低下してしまう。このように、光相関を用いた画像検索では、従来の計算機による相関演算を用いた画像検索に比べて、検索速度は高速であるが、光相関の演算値が誤差を含むので、設定する閾値によっては、検索画像情報に類似する複数の画像情報が検索結果として検出される、又は、類似する画像情報が検索結果として検出されないという問題がある。
一方、従来の計算機による相関演算を用いた画像検索では、計算機の処理装置、記憶装置(ハードディスク装置、ストレージシステム等)には演算値に誤差を与える要因が少ないので、演算値は理論値とほぼ同じであり、誤差をほとんど含まない。
図6(B)は、従来の計算機による相関演算において、記憶装置に格納された各画像情報(顔画像情報)と検索画像情報との相関値を示す説明図である。図6(B)では、横軸に相関値の理論値を示し、縦軸に実際の相関値の演算値と理論値との比を示した。このように、計算機による相関演算によれば、所定の閾値によって、複数の検索結果が検出されることなく、検索画像情報と一致する画像情報を検出することができる。ただし、従来の計算機による相関演算を用いた画像検索は、光相関演算を用いた画像検索に比べて検索速度が遅いという問題がある。
例えば、1Gbpsにてデータ転送が可能な記憶装置を利用して、深さ1ビット(白黒)、640×480pixelの検索画像情報と、記憶装置に格納された深さ1ビット(白黒)、640x480pixelの各画像情報とを相関演算を行う場合、一画像の相関演算に640×480=307,200ビットのデータを転送する必要があるため、1Gbpsの転送速度からすると、データ転送とほぼ同時に相関演算を計算できたとしても、3255画像/sの検索速度が最大である。これに対し、非特許文献1によれば、光相関演算の場合、約1〜10μsの速度で演算の実現が可能であると記載されており、これは、10万〜100万画像/sの検索速度に相当するので、計算機による相関演算と比べて2〜3桁高速な相関演算が可能である。
本発明は、前述した問題に鑑みてなされたものであって、複数の画像情報から、検索画像情報と相関の高い画像情報をデータベースから速く正確に検索する画像検索システム及び画像検索プログラムを提供することを目的とする。
前述した課題を解決するため、本発明の画像検索システムは、複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、前記情報処理装置と前記記憶装置とは直接又はネットワークを介して接続され、前記情報処理装置と前記光相関演算装置とは直接又はネットワークを介して接続され、前記情報処理装置は、前記光相関演算装置において、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて2次検索候補を特定し、前記記憶装置に記憶された前記複数の画像情報の中から、前記2次検索候補に対応する画像情報について前記検索画像情報と相関演算させて検索結果を取得することを特徴とする。
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記光相関演算によって、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報との類似度を表す第1相関値を検出し、前記検出された第1相関値を第1閾値と比較して、前記第1閾値よりも大きい前記画像情報を前記2次検索候補とし、前記相関演算によって、前記記憶装置に記憶された前記複数の画像情報と前記検索画像情報との類似度を表す第2相関値を検出し、前記検出された第2相関値に基づいて、前記検索結果を取得することが好ましい。この場合、前記情報処理装置は、前記検出された第2相関値を第2閾値と比較して、前記第2閾値よりも大きい前記画像情報を前記検索結果としてもよいし、前記検出された第2相関値が最も大きい画像情報を前記検索結果としてもよい。
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記2次検索候補を一つ特定するたびに、前記第2相関値を検出してもよい。
さらに、上記画像検索システムにおいて、前記情報処理装置は、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報を参照して、前記記憶装置に記憶された前記複数の画像情報の中から前記2次検索候補に対応する画像情報を抽出してもよい。
さらに、上記画像検索システムにおいて、前記光相関演算装置は、前記検索画像情報から生成された二次元パターン情報を空間的に光変調することによって検索光を生成する空間光変調器を備え、前記生成された検索光を前記ホログラフィック記録媒体に照射することによって、前記ホログラフィック記録媒体に記録された前記複数のホログラムから再生光を再生し、前記再生された再生光の光強度に基づいて、前記2次検索候補を特定してもよい。この場合、前記情報処理装置は、前記検索画像情報を前処理し、前処理された検索画像情報から前記二次元パターン情報を生成してもよい。
また、本発明の画像検索プログラムは、複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムにおいて実行される画像検索プログラムであって、前記画像検索システムは、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、前記画像検索プログラムは、前記情報処理装置に、前記光相関演算装置を制御して前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて、前記複数の画像情報と前記検索画像情報との類似度を表す第1相関値を検出する第1手順と、前記検出された第1相関値を第1閾値と比較して、前記第1閾値よりも大きい前記画像情報を前記2次検索候補とする第2手順と、前記記憶装置に記憶された前記複数の画像情報の中から、前記2次検索候補に対応する画像情報について前記検索画像情報と相関演算させて、前記2次検索候補に対応する画像情報と前記検索画像情報との類似度を表す第2相関値を検出する第3手順と、前記検出された第2相関値に基づいて検索結果を取得する第4手順と、を実行させることを特徴とする。
さらに、上記画像検索プログラムにおいて、前記第4手順は、前記検出された第2相関値を第2閾値と比較して、前記第2閾値よりも大きい前記画像情報を検索結果とする手順を含んでいてもよいし、前記検出された第2相関値が最も大きい画像情報を前記検索結果とする手順を含んでいてもよい。
さらに、上記画像検索プログラムにおいて、前記第3手順は、前記第2手順において、前記2次検索候補を一つ特定するたびに、前記第2相関値を検出する手順を含んでいてもよい。
さらに、上記画像検索プログラムにおいて、前記第3手順は、前記2次検索候補が特定されると、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報に基づいて、前記記憶装置に記憶された前記複数の画像情報の中から前記2次検索候補に対応する画像情報を抽出する手順を含んでいてもよい。
本発明によれば、ホログラフィック記録媒体に記録された複数の画像情報と検索画像情報とを光相関演算させて複数の画像情報から2次検索候補を特定し、記憶装置に記憶された複数の画像情報の中から、2次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得するので、高速検索が可能な光相関演算によって複数の画像情報から2次検索候補を特定し、選別された2次検索候補に対応する画像情報については、検索速度は遅いが正確な計算機による相関演算によって検索するため、検索速度を向上させることができる。その他の効果については、発明を実施するための形態において述べる。
以下、本発明の実施形態について図面を参照して説明する。なお、本発明は、以下の例に限定されるものではない。
図1は、本発明の画像検索システムの構成の例を示す概略構成図である。画像検索システムは、ホログラフィを利用した光相関演算によって、複数の画像情報から検索画像情報に類似するいくつかの画像情報を2次検索候補として特定し、さらに、従来の計算機による相関演算によって、特定された2次検索候補のうち検索画像情報に一致又は類似する画像情報を検索結果に特定するシステムである。以下、ホログラフィを利用した光相関演算を「光相関演算」といい、従来の計算機による相関演算を単に「相関演算」という。さらに、光相関演算による画像検索を「第1検索」といい、相関演算による画像検索を「第2検索」という。また、本明細書において「画像情報」とは、例えば、顔画像、人物画像、指紋、虹彩、手のひら静脈等のデジタルデータが含まれるが、写真や絵だけではなく、二次元に展開されたデジタル情報、例えば二次元バーコード等も含む。画像情報の画像形式は、特に制限はなく、例えば、JPEG、PNG、GIF、BMP、TIFF形式等を使用することができる。また、画像情報は、後述する第1データベース70及び第2データベース80に格納される際に、前処理等が施されることもあるが、これらの前処理が施されたものも含む。なお、前処理が施される前の画像情報を以下「原画像情報」という。
本発明の画像検索システムは、例えば、情報処理装置1、光相関演算装置2、記憶装置6を備える。情報処理装置1と光相関演算装置2とは、直接又はネットワーク100を介して相互に接続される。また、情報処理装置1と記憶装置6とは、直接又はネットワーク100を介して相互に接続される。なお、ネットワーク100とは、例えば、LAN、WAN、IPネットワーク等である。また、ここでは、情報処理装置1は、直接又はネットワーク100を介して光相関演算装置2及び記憶装置6に接続されると説明したが、情報処理装置1が光相関演算装置2又は記憶装置6(例えば、ハードディスク装置)を備える構成であってもよい。
情報処理装置1は、少なくとも第1検索処理及び第2検索処理を実行する装置であり、さらに好ましくは、記憶装置6への複数の画像情報の記録処理、光相関演算装置2におけるホログラムの記録処理等を実行してもよい。情報処理装置1は、例えば、CPU4、メモリ10及びインターフェース5を備える。各部は内部バスで接続される。また、情報処理装置1は、インターフェース5によって、ネットワーク100に接続される。情報処理装置1は、図示しない入出力装置を備えてもよい。なお、入出力装置とは、例えば、ディスプレイ、キーボード及びマウス等である。情報処理装置1には、例えば、コンピュータ(サーバ、パーソナルコンピュータ等)を使用することができる。情報処理装置1は、ネットワーク100を介して接続された端末90に画像検索サービスを提供してもよい。
光相関演算装置2は、光学系40及びホログラフィック記録媒体20を備え、情報処理装置1の制御に基づいて、ホログラフィック記録媒体20にホログラムとして記録された複数の画像情報と検索画像情報との類似を示す相関値を演算する装置である。さらに、光相関演算装置2は、情報処理装置1の制御に基づいて、複数の画像情報を複数のホログラムとして記録してもよい。光学系40は、情報処理装置1の制御に基づいて、情報光及び参照光をホログラフィック記録媒体20に照射し、画像情報をホログラムとしてホログラフィック記録媒体20に記録する。また、検索光をホログラムに照射し、ホログラムから再生光を再生し、再生された再生光を検出することができる。再生光の光強度に基づいて、相関値が演算される(以下、光相関演算によって演算した相関値を「第1相関値」という。)。ホログラフィック記録媒体20は、ホログラムを記録する媒体であり、カード状、ディスク状のものが好ましい。ホログラフィック記録媒体20にホログラムとして記録された複数の画像情報は、第1データベース70を構成する。以下、ホログラフィック記録媒体20に記録されているホログラムを第1データベース70に格納された画像情報ということもある。光相関演算装置2(光学系40及びホログラフィック記録媒体20)の詳細な構成については、図3を用いて後述する。なお、図1においては、1台の光相関演算装置2しか図示されていないが、複数の光相関演算装置2が備えられてもよいし、1台の光相関演算装置2に複数のホログラフィック記録媒体20が備えられていてもよい。この場合、情報処理装置1は、複数のホログラフィック記録媒体20に構成された第1データベース70を並列的に検索することができる。
記憶装置6は、複数の画像情報を格納する第2データベース80を構成しており、ハードディスク装置、半導体メモリ、ストレージシステム等から構成される。さらに、記憶装置6には、後述する図2に示すアドレス情報テーブル200の全部又は一部が記憶されていてもよい。なお、アドレス情報テーブル200の全部又は一部は、ホログラフィック記録媒体20又はメモリ10に記憶されていてもよい。
端末90は、ネットワーク100に接続された端末装置であり、第1データベース70及び第2データベース80に記憶される原画像情報の入力、第1データベース70及び第2データベース80において検索される検索画像情報の入力又は検索結果の出力等を実行させることができる。端末90は、図示しない入出力装置を備えてもよい。入出力装置とは、例えば、ディスプレイ、キーボード及びマウス等である。端末90として、例えば、パーソナルコンピュータ、携帯電話、携帯情報端末(PDA)、携帯ゲーム機、家庭用ゲーム機、業務用ゲーム機、監視カメラシステム等を使用することができる。また、端末90は、情報処理装置1の処理の一部を実行してもよい。検索者は、これらの入出力装置によって、端末90を通じて情報処理装置1に実行させる処理を指示し、また、情報処理装置1が処理した結果を閲覧することができる。なお、図1では、1台の端末90が図示されているが、図示された台数以上の端末90がネットワーク100に接続されてもよい。
また、図1では、情報処理装置1と光相関演算装置2と端末90とがネットワーク100を経由して接続するシステムとして構成したが、利用の形態に応じて、例えば、情報処理装置1と光相関演算装置2とを一つの装置として構成してもよいし、情報処理装置1と端末90とを一つの装置として構成してもよい。また、端末90を含まない構成にしてもよい。
情報処理装置1が備えるCPU4は、各種処理を実行するプロセッサである。また、情報処理装置1が記憶装置6を備える場合、記憶装置6は、図示しない各種プログラム及び各種データを格納する。CPU4は、記憶装置6に格納された各種プログラムをメモリ10に格納し、メモリ10に格納された各種プログラムを実行することによって、ホログラム記録処理部11、第1検索処理部12及び第2検索処理部13の処理を実現する。
ホログラム記録処理部11は、光相関演算装置2を制御し、画像情報に基づいて形成されたホログラムをホログラフィック記録媒体20に記録する。なお、ホログラム記録処理部11の処理については、図3及び図4を用いて後述する。
第1検索処理部12は、光相関演算装置2を制御し、第1データベース70を利用した光相関演算及び第1検索処理を実行する。光相関演算において、第1検索処理部12は、ホログラフィック記録媒体20に記録されたホログラムからの再生光の強度を検出し、検索画像情報とホログラムとして記録された画像情報との類似を示す第1相関値を演算する。また、第1検索において、第1検索処理部12は、第1相関値に基づいて、検索画像情報に類似する画像情報を取得し、取得した画像情報を2次検索候補に特定する。ここで、2次検索候補とは、第2検索処理部13が実行する第2検索の対象となる画像情報である。また、第1検索処理部12は、特定された2次画像候補を第2検索処理部13に出力する。なお、第1検索処理部12が実行する光相関演算及び第1検索については、図3から図5を用いて後述する。
第2検索処理部13は、第2データベース80を利用した相関演算及び第2検索処理を実行する。相関演算において、第2検索処理部13は、2次検索候補を取得すると、例えば、アドレス情報テーブル200を参照し、2次検索候補に対応する第2データベース80のアドレス情報を特定し、第2データベース80から2次検索候補の画像情報を取得し、取得した画像情報と検索画像情報との類似度を示す相関値を演算する。以下、相関演算によって演算した相関値を「第2相関値」という。また、第2検索において、第2検索処理部13は、第2相関値に基づいて、検索画像情報に一致する画像情報又は類似する少なくとも一つ以上の画像情報を検索する。なお、第2検索処理部13が実行する相関演算及び第2検索については、図5を用いて後述する。
図2は、アドレス情報テーブル200を示す説明図である。アドレス情報テーブル200は、記憶装置6、ホログラフィック記録媒体20又はメモリ10に記憶されていることが好ましく、複数の原画像情報と、第1データベース70に記憶された複数の画像情報と、第2データベース80に記憶された複数の画像情報とをそれぞれ関連付けるものである。図2において、アドレス情報テーブル200は、画像ID201、第1データベースのアドレス情報202、第2データベースのアドレス情報203を含む。また、そのほかに、サムネイル204、キーワード205等を含んでもよい。なお、アドレス情報テーブル200は、原画像情報と、第1データベース70に記憶された複数の画像情報と、第2データベース80に記憶された複数の画像情報との対応関係を識別可能であれば足りる。例えば、原画像情報がそのまま第1データベース70又は第2データベースに記録されていれば、第1データベース70のアドレス情報202と、第2データベースのアドレス情報203との対応が特定できればよい。また、アドレス情報テーブル200は、図2に示すようなテーブル(表)の形式に限定されるものではない。
画像ID201は、原画像情報、及び当該原画像情報に対応する第1データベース70及び第2データベース80に格納された画像情報を一意に識別する識別情報である。画像ID201は、原画像情報を取得する毎に個別の情報が付与されるものであり、例えば、記録する順番に付与される連続する画像ナンバーでもよいし、各原画像情報のデータ名であってもよい。
第1データベースのアドレス情報202は、第1データベース70に格納された画像情報(言い換えると、ホログラフィック記録媒体20に記録されたホログラム)のアドレスを示す情報である。ホログラム記録処理部11は、光相関演算装置2を制御し、原画像情報に基づいてホログラムを記録すると、記録されたホログラムのアドレス情報を取得し、取得したアドレス情報をアドレス情報テーブル200の当該原画像情報の画像ID欄に記録する。これによって、画像情報の識別情報と第1データベース70に格納された画像情報のアドレス情報(言い換えると、ホログラムの記録位置)とが対応付けられる。原画像情報に基づくホログラムの記録方法については後述する。
第2データベースのアドレス情報203は、第2データベース80に格納された画像情報のアドレスを示す情報である。原画像情報に基づく画像情報を第2データベース80に格納する際に、そのアドレスをアドレス情報テーブル200の当該原画像情報の画像ID欄に記録する。これによって、画像情報の識別情報と第2データベース80に格納された画像情報のアドレス情報とが対応付けられる。これらの結果、第1データベースのアドレス情報202と第2データベースのアドレス情報203とが対応付けられる。なお、第2データベース80には、原画像情報と同じものを記録してもよいし、第1データベース70に格納された画像情報と同じもの(例えば前処理された画像情報)を記録してもよいし、あるいは原画像情報に第1データベース70に格納された画像情報とは異なる前処理を施した画像情報を記録していてもよい。
サムネイル204は、原画像情報又は第2データベース80に記録された画像情報(例えば、JPEG形式)を縮小したものである。サムネイル204は、検索結果として画像情報の画像ID、第1データベースのアドレス情報202又は第2データベースのアドレス情報203アドレス情報とともに情報処理装置1又は端末90に出力(表示)させてもよい。
キーワード205は、格納された画像情報に関連付けられた検索用のキーワードである。例えば、検索者によって検索画像情報とともにキーワードが入力された場合に、第2検索候補から当該キーワードに該当しないものを除くことにより、第2検索を効率的に行うことが可能である。
また、アドレス情報テーブル200の項目には、これらのほか、例えば、画像情報の撮影日時、撮影場所等を含んでもよい。さらに、第2検索の相関演算において使用される画像情報の特徴量(例えば、色、テクスチャー、形状等に基づく多次元ベクトル)について、第2データベース80に格納された各画像情報の特徴量を予め計算しておき、特徴量をアドレス情報テーブル200に格納することで、第2検索の速度を向上させてもよい。
図3は、光相関演算装置2の構成の例を示す概略構成図である。光相関演算装置2は、ホログラフィック記録媒体20及び光学系40を備えており、さらに情報処理装置1の一部の機能を実行する情報処理装置30を備えてもよい。情報処理装置30は、情報処理装置1の各処理部が実行する処理のうち、例えば、ホログラム記録処理部11及び第1検索処理部12の処理を実行してもよい。また、複数の光学系40と複数のホログラフィック記録媒体20とを備えた画像検索システムを構築する場合、一台の情報処理装置30がこれらを制御し、複数のホログラフィック記録媒体20を並列的に検索してもよい。また、情報処理装置30は、情報処理装置1から又はネットワーク100を介して接続された端末90から、動画情報を取得し、取得した動画情報から静止画の画像情報を抽出し、抽出さされた静止画の画像情報を検索画像に用いてもよい
以下、まず、ホログラフィック記録媒体20の構成について説明する。ホログラフィック記録媒体20は、表面保護層22と反射層23との間に感光材料を含有するホログラム記録層21を挟み込んだ反射型の記録媒体である。ホログラム記録層21は、情報光と参照光とを干渉させて形成されたホログラム24を記録する。ホログラム記録層21の厚さをホログラムの干渉縞の間隔に比べて大きく設計し、ホログラムをホログラム記録層21の厚み方向に立体的に記録することによって、画像情報を体積型のホログラム(厚いホログラムともいう)として記録することができる。
以下、まず、ホログラフィック記録媒体20の構成について説明する。ホログラフィック記録媒体20は、表面保護層22と反射層23との間に感光材料を含有するホログラム記録層21を挟み込んだ反射型の記録媒体である。ホログラム記録層21は、情報光と参照光とを干渉させて形成されたホログラム24を記録する。ホログラム記録層21の厚さをホログラムの干渉縞の間隔に比べて大きく設計し、ホログラムをホログラム記録層21の厚み方向に立体的に記録することによって、画像情報を体積型のホログラム(厚いホログラムともいう)として記録することができる。
また、ホログラフィック記録媒体20は、アドレス層を備えるのが好ましい。アドレス層は、ホログラム24の位置を特定する「アドレス情報」及び/又は位置合わせ(サーボ)をする「サーボ情報」を記録する。以下、アドレス情報とサーボ情報とを合わせて単に「アドレス情報」という。例えば、アドレス層として反射層23を利用した場合、反射層23の表面に設けられた凹凸形状のピットを形成し、このピットをアドレス情報としてもよい。表面保護層22には、例えば、ガラス基板、プラスチック基板、有機樹脂コーティング膜を利用することができる。この表面保護層22によって、温度変化等による収縮等を抑えることができる。反射層23には、アルミニウム等の金属材料を利用することができる。
なお、ホログラフィック記録媒体20は、図示しない記録媒体保持機構によって保持されている。記録媒体保持機構は、回転駆動装置を備え、ホログラフィック記録媒体20を回転可能に構成するのが好ましい。さらに、位置合わせ(サーボ)のため、ホログラフィック記録媒体20と光学系40とは、相対的に移動可能に構成されるのが好ましい。具体的には、記録媒体保持機構は、駆動装置を備え、駆動装置によって、ホログラフィック記録媒体20をX軸、Y軸又はZ軸方向に移動させる。ここで、X軸方向は、光軸に対して垂直な任意の方向である。Y軸方向は、光軸及びX軸方向に対して垂直な方向である。Z軸方向は、光軸と平行な方向である。なお、ホログラフィック記録媒体20を移動させるのではなく、光学系40を移動させることによって、位置合わせ(サーボ)してもよい。
記録速度及び検索速度を高めるためには、ホログラフィック記録媒体20を回転させながら記録及び検索することが好ましい。特に、迅速性が求められる検索時においては、ホログラフィック記録媒体20を回転させながら検索することが好ましい。画像情報(ホログラム)の記録処理は、画像情報が逐次追加される可能性はあるが、データベース(ホログラフィック記録媒体20)の情報量を上限とする有限な処理である。これに対し、画像情報の検索では、検索対象が入力された後、できるだけ早くデータベース内に検索画像情報に一致する画像情報が存在するか否かを判定しなければならない。しかも、例えば、顔認証、指紋認証等のバイオメトリクス認証を利用した管理システムでは、本人確認のために、同じ検索画像情報を何度も検索する必要があり、検索が無限に実行されることがある。
このため、検索においてはより迅速性が求められる。この場合、ホログラフィック記録媒体20の形状としては、円盤状とすることが好ましいが、その他の形状、例えば矩形のカード状として回転させる構成であってもよい。さらに、ホログラフィック記録媒体20を回転させつつ、光学系40又はホログラフィック記録媒体20を半径方向に移動させてトラッキングサーボを行うことができる。
次に、光学系40について説明する。光学系40は、例えば、ホログラム用光源41、ミラー42、空間光変調器43、偏光ビームスプリッタ44、第1リレーレンズ45、ミラー46、第2リレーレンズ47、ビームスプリッタ48、四分の一波長板49、対物レンズ50、アパーチャー51、集光レンズ52、再生光検出器53を備える。さらに、アドレス用レーザー60、ビームスプリッタ61、ミラー62及びアドレス光検出器63を備えるのが好ましい。なお、図3において、記録時の情報光及び参照光の光路並びに検索時の検索光の光路は点線で、検索時の再生光の光路は一点鎖線で、アドレス光の光路は二点鎖線で示されている。
ホログラム用光源41は、ホログラムを記録するための情報光及び参照光の光源、又は、画像情報を検索するための検索光の光源である。ホログラム用光源41には、例えば、断続的にレーザー光を出す高出力のパルスレーザーが使用される。パルスレーザーは、複数の波長で位相をそろえて同時に発振させるモード同期法及びQスイッチ法によって、瞬間的に非常に強いレーザーを出力することができる。ホログラム用光源41のパルスレーザーとしては、例えば、YAGレーザー等の固体レーザー、及びHe−Neレーザー等の気体レーザーが好ましい。ホログラム用光源41では、ホログラフィック記録媒体20のホログラム記録層21内の感光材料が感度を示す波長の光が選択される。
ここで、ホログラム用光源41として高出力のパルスレーザーを使用すると、瞬間的に照射される高出力の情報光及び参照光によってホログラムが記録される。このため、ホログラフィック記録媒体20を回転させながら複数のホログラムを記録することができる。すなわち、回転するホログラフィック記録媒体20に対し、パルス状の情報光及び参照光を照射すると、最初のパルスの情報光及び参照光は、回転するホログラフィック記録媒体20の所定の位置に瞬間的に照射され、最初のホログラムが記録される。次のパルスの情報光及び参照光は、回転によって、最初のホログラムから移動したホログラフィック記録媒体20の別の位置に瞬間的に照射され、次のホログラムが記録される。そして、ホログラフィック記録媒体20を回転させながら光学系40を回転の中心から半径方向に連続的に移動させることにより、複数のホログラムを螺旋状に配列させて記録することができ、ホログラフィック記録媒体20の全面にホログラムを比較的高速で記録することができる。なお、ホログラフィック記録媒体20を回転させながら光学系40を回転の中心から半径方向に段階的に移動させれば、複数のホログラムを同心円状に配列させて記録することができる。
なお、ホログラムを記録するための光源と画像情報を検索するための光源とをそれぞれ別に設けてもよい。ホログラムを記録するための光源は、現時点においては高出力のパルスレーザーである必要があるが、画像情報を検索するための光源は、検索光の光強度が記録時の情報光及び参照光に比べて弱くてもよいので、例えば、CWレーザー(Continuous wave laser)であってもよい。
CWレーザーは、パルスレーザーと比べると瞬間的なパワーは低いが、一定の強度の光を照射し続けることができ、また、小型、軽量かつ安価である。記録用の光源とは別に検索用の光源を設ける場合、検索用の光源には、ホログラム記録層21内に記録されたホログラムと干渉する波長の光を持つものを使用し、好ましくは記録用光源からの光の波長と同じ波長の光を持つものを選択するのがよい。なお、画像情報を記録せず、検索するだけの画像検索システムにおいては、画像情報を検索するための光源としてCWレーザーだけを設ければよい。
ここで、検索用の光源としてCWレーザーを使用すると、検索光を照射しながらホログラフィック記録媒体20を回転させることによって、円周方向に配列して記録された複数のホログラムに対し、連続的に検索光を照射することができる。このため、各ホログラムからの再生光の光強度も連続的に検出できるので、ホログラフィック記録媒体20の回転速度を速くすることができ、さらに検索速度(画像情報の転送速度)も速くすることができる。そして、ホログラフィック記録媒体20を回転させながら光学系40を回転の中心から半径方向に連続的又は段階的に移動させることにより、ホログラフィック記録媒体20の全面に記録された複数のホログラムを高速で検索することができる。一方、検索用の光源としてパルスレーザーを使用した場合には、各ホログラムが検索光の照射位置を通過するタイミングとパルスレーザーの周波数とを同期させる必要があり、回転速度の制限となり、また照射位置ずれが誤差となり、信頼性が低下する。
空間光変調器43は、複数の画素を有し、各画素毎に光の属性を変化させることによって、光を空間的に変調する。空間光変調器43には、例えば、液晶表示装置、DMD(Digital Micromirror Device)等を利用することができる。ここでは、空間光変調器43にDMDを用いている。このため、ミラー42は、ホログラム用光源41から照射された光を空間光変調器43に向けて反射させる。
なお、記録時において、空間光変調器43は、一部の表示領域43a(図4参照)に記録用の二次元パターン情報31(図4参照)を表示し、他の一部の表示領域43b(図4参照)に参照光のパターンを表示し、情報光及び参照光を生成する。また、検索時において、空間光変調器43は、前述した一部の表示領域43aに、記録用の二次元パターン情報31の代わりに、検索用の二次元パターン情報35(図4参照)を表示し、検索光を生成する。
参照光のパターンは、空間光変調器43の記録用の二次元パターン情報31を表示した表示領域の周囲に少なくとも一つ配置される。参照光のパターンとしては、一塊の数画素〜数百画素の領域をオン画素とし、参照光を強度分布のない一様な光としてもよい。また、かかる一塊の数画素〜数百画素の領域を複数設けて、全体として空間的に変調された強度分布を有する光としてもよい。さらに、広い領域において、オン画素とオフ画素からなるパターンによって空間的に変調された強度分布を有する光としてもよい。
また、記録用の二次元パターン情報31を複数の離間した領域に分割し、その離間した領域に参照光の少なくとも一部を配置してもよい。再生光のパターンの大きさを再生光検出器53の受光領域よりも小さくすれば、アパーチャー51や集光レンズ52を設けなくても、再生光が結像する位置に再生光検出器53を配置するだけで再生光の光強度を検出できる。
偏光ビームスプリッタ44は、直交する偏光方向の一方を透過し、他方を反射するものであり、図3においては、空間光変調器43から照射された情報光、参照光及び検索光を透過し、ホログラフィック記録媒体20から再生された再生光を、再生光検出器53に向けて反射させる。なお、光学系の構成に応じて、情報光、参照光及び検索光をホログラフィック記録媒体20に向けて反射させ、再生光を再生光検出器53に向けて透過させる構成であってもよい。第1リレーレンズ45及び第2リレーレンズ47は、空間光変調器43に表示された二次元パターン情報31及び参照光のパターンを対物レンズ50の焦点面(入射瞳面)に結像させる。ミラー46は、第1リレーレンズ45と第2リレーレンズ47との間の焦点位置に配置されており、情報光、参照光及び検索光を反射する。ミラー46は、光学系40の大きさを小型化するために設けられている。
ビームスプリッタ48は、アドレス用レーザー60からの光をホログラフィック記録媒体20に向けて反射させる。四分の一波長板49は、直線偏光を円偏光に変換するものであり、直線偏光を2回透過させることで偏光方向を90度回転させることができる。この四分の一波長板49によって、照射時に偏光ビームスプリッタ44を透過した参照光は、ホログラフィック記録媒体20で反射されて戻ってきた時には、偏光ビームスプリッタ44で反射されることになる。再生光は、ホログラフィック記録媒体20で反射されて戻ってきた参照光と同じものであるから、再生光も偏光ビームスプリッタ44によって反射される。対物レンズ50は、情報光及び参照光をフーリエ変換してホログラフィック記録媒体20のホログラム記録層21に照射し、情報光と参照光との干渉によって形成されたホログラム24をホログラム記録層21に記録する。また、対物レンズ50は、検索光をフーリエ変換してホログラム記録層21に記録されたホログラム24に照射する。検索光とホログラム24との干渉によって再生された再生光は、ホログラフィック記録媒体20から対物レンズ50に向かって進行し、対物レンズ50を通過する。
なお、対物レンズ50によってフーリエ変換された情報光と参照光とを記録媒体において干渉させてホログラムを記録する場合、情報光及び参照光の空間変調パターンは、対物レンズ50の入射瞳面において結像されている必要がある。また、ホログラムに対しフーリエ変換された検索光を照射する場合、検索光の空間変調パターンは、対物レンズ50の入射瞳面において結像されている必要がある。このため、第1リレーレンズ45及び第2リレーレンズ47によって、空間光変調器43に表示された二次元パターン情報31、35及び参照光のパターンを対物レンズ50の入射瞳面において結像させる。
アパーチャー51は、ホログラフィック記録媒体20で反射された検索光を遮光し、再生された再生光のみを再生光検出器53に通過させる開口を有する。アパーチャー51を第1リレーレンズ45の焦点面に配置すると、検索光の回折光によるノイズを低減することができるので好ましい。ここでは、アパーチャー51には、中心に開口が設けられているが、開口の位置は中心に限られない。再生光が通過する位置に、再生光が通過できる形状の開口が設けられてよい。例えば、再生光が複数の場合には、アパーチャー51に複数の開口を設ければよいし、再生光が空間的に変調されている場合(つまり、記録時における参照光が二次元パターン情報で空間的に変調されている場合)には、参照光のパターンと相似の形状の開口を設ければよい。
再生光検出器53は、再生光の光強度を検出する。再生光のパターンが再生光検出器53の受光領域よりも小さい場合(つまり、記録時における参照光のパターンが再生光検出器53の受光領域よりも小さい場合)、再生光検出器53として、非常に感度の高い光検出素子(例えば、光電子倍増管(photomultiplier tube:PMT))を利用することができる。また、安価で小型な半導体検出器として、例えば、ピンフォトダイオード、CMOSセンサ、CCDセンサ等を利用することができる。
再生光のパターンが空間的に変調されており強度分布を有している場合(つまり、記録時における参照光が複数の場合や二次元パターン情報で空間的に変調されている場合)には、集光レンズ52を設け、再生光を集光してもよい。また、再生光のパターンが再生光検出器の受光領域よりも大きい場合にも、集光レンズ52によって再生光を集光してもよい。再生光のパターンが再生光検出器の受光領域よりも小さい場合であっても、集光レンズ52を利用すれば信頼性を高めることができる。なお、光検出素子が二次元的に配置された光強度分布を検出できる光検出器でも、すべての光検出素子の強度を総和することで再生光の光強度を検出することができ、再生光検出器53として利用できる。
アドレス用レーザー60、ビームスプリッタ61、ミラー62及びアドレス光検出器63は、ホログラフィック記録媒体20にアドレス層が設けられた場合、このアドレス層からアドレス情報を取得し、照射位置を特定し、また、位置合わせするために使用される。アドレス用レーザー60としては、ホログラム記録層21の感光材料が感光しない波長が好ましく、赤色光等の比較的長波長の半導体レーザーを利用することが好ましい。アドレス光検出器63としては、安価で小型な半導体検出器を使用することができる。
続いて、アドレス用レーザー60によるアドレス情報を取得する動作を簡単に説明する。アドレス用レーザー60は、アドレス光を照射する。照射されたアドレス光は、ビームスプリッタ61を透過してミラー62によって反射され、さらにビームスプリッタ48によって反射され、四分の一波長板49を透過し、対物レンズ50によってホログラフィック記録媒体20のアドレス層に照射される。ホログラフィック記録媒体20のアドレス層によって反射された反射光は、対物レンズ50、49、48、62を逆方向に通過し、ビームスプリッタ61によって反射され、アドレス光検出器63に入射する。アドレス光検出器63は、入射した反射光から、ホログラフィック記録媒体20のアドレス情報を取得する。
図4(A)及び(B)は、ホログラム記録時の空間光変調器43における表示面及び動作を示す概略図である。空間光変調器43の表示面は、対物レンズ50の入射瞳面34又は入射瞳面と共役な位置に配置される。以下、図3を合わせて参照しながら、ホログラムの記録の動作について説明する。
ホログラム記録時には、ホログラム記録処理部11又は情報処理装置30(以下、単に「ホログラム記録処理部11」という。)は、画像情報を取得すると、取得した原画像情報から記録用の二次元パターン情報31を生成し、生成された記録用の二次元パターン情報31を空間光変調器43の表示面の一部の領域43aに表示する。また、ホログラム記録処理部11は、表示面の他の一部の領域43bに参照光33のパターンを表示する。
記録用の二次元パターン情報31は、原画像情報をそのまま使用してもよいし、一つ又は複数の前処理を施したものであってもよい。前処理としては、例えば、グレースケール化処理、2値画像化処理、解像度を変更する画像処理、原画像情報の一部を切り取るトリミング処理、エッジ強調処理等である。特に、エッジ強調処理は、画像情報の特徴である構図の要素を明らかにするので、有効な前処理である。さらに、画像を分割して並び変えるランダム変換処理を施してもよい。なお、前処理やランダム変換処理については、本願の出願人が出願した特開2010−60605号公報に記載されているので、詳細な説明を省略する。
前処理を実行した場合には、情報量が削減された画像情報が第1データベース70に格納されるので、第1データベース70に格納された画像情報は、原画像情報とは、厳密にいえば異なるものであるが、原画像情報の特徴を有しており、原画像情報と対応するものである。なお、第2データベース80に格納された画像情報には、原画像情報と同じものを記憶してもよいし、第1データベース70に格納された画像情報と同じものを記録してもよいし、あるいは原画像情報に他の前処理を施した画像情報を記録していてもよい。
また、空間光変調器43の領域43bは、記録用の二次元パターン情報31が表示される領域43aの周囲に少なくとも一つ配置される。例えば、領域43bは、図4(A)に示したように、領域43aの上方に配置されてもよい。図4(A)の領域43bは、領域43aに比べて極めて小さい4画素(例えば、2×2画素)の領域である。このため、参照光33は点光源のように発散する。そして、情報光32及び参照光33は、対物レンズ50によってフーリエ変換され、ホログラフィック記録媒体20の厚いホログラム記録層21において干渉し、干渉縞を形成する。ホログラム記録層21は、干渉縞を立体的に記録する。すなわち、体積ホログラムが形成される。
ただし、参照光のパターンは、これに限定されるものではない。例えば、本願発明の出願人が出願した特開2010−60605号公報の図9(A)に記載されたとおり、参照光のパターンを複数箇所に表示して、複数の参照光によって干渉縞を形成してもよい。領域43bの大きさと数は適宜変更することができる。
ここで、図3を参照すると、空間光変調器43は、二次元パターン情報31を表示し、表示された二次元パターン情報31によってホログラム用光源41からの光を空間的に変調することによって、情報光32を生成することができ、情報光生成手段として機能する。また、空間光変調器43は、参照光のパターンを表示し、表示された参照光のパターンによってホログラム用光源41からの光を空間的に変調することによって参照光33を生成することができ、参照光生成手段として機能する。なお、ホログラム用光源41から照射された光は、図示しないビーム成形光学系によって、空間光変調器43の表示面よりも大きな断面を有する略平行光に成形される。ビーム成形光学系としては、例えば、発散光を平行光に加工するコリメータレンズ、ビームの口径を大きくするビームエキスパンダー等が含まれる。略平行光は、ミラー42によって空間光変調器43に向かって反射され、空間光変調器43に表示された記録用の二次元パターン情報31及び参照光のパターンによって空間的に変調される。このように、情報光32と参照光33とを同一の空間光変調器43によって生成することによって、情報光及び参照光の位相を揃えることができ、強い干渉縞を形成することができる。ただし、情報光生成手段と参照光生成手段とを別々に設けて、それぞれ独立して情報光及び参照光を生成してもよい。
生成された情報光32及び参照光33は、偏光ビームスプリッタ44を透過し、第1リレーレンズ45及び第2リレーレンズ47によって対物レンズ50の入射瞳面34に伝達され、その途中、ミラー46によって反射され、ビームスプリッタ48を透過し、四分の一波長板49によって円偏光に変換される。そして、図4(B)に示すとおり、情報光32及び参照光33は、対物レンズ50によってフーリエ変換され、平行光となって、ホログラフィック記録媒体20のホログラム記録層21に照射される。この結果、ホログラム記録層21には、情報光32と参照光33との干渉によって形成されたホログラム24が記録される。なお、ホログラム記録処理部11は、サーボ情報に基づいて、図示しない記録媒体保持機構のサーボを制御し、情報光32及び参照光33が照射される位置を合わせている。同様にして、ホログラム記録処理部11は、他の原画像情報から生成された記録用の二次元パターン情報31についても、ホログラム記録層21の異なる位置に、一部を重畳させて順次記録し、ホログラフィック記録媒体20にホログラム24を多重記録する。ホログラム記録処理部11は、記録されたホログラム24の各アドレス情報をアドレス情報テーブル200の対応するエントリに格納することが好ましい。
図4(C)及び(D)は、画像検索時の空間光変調器43における表示面及び動作を示す概略図である。以下、図3を合わせて参照しながら、ホログラムの再生の動作について説明する。
画像検索時には、第1検索処理部12又は情報処理装置30(以下、単に「第1検索処理部12」という。)は、検索画像情報を取得すると、取得した検索画像情報から検索用の二次元パターン情報35を生成し、生成された検索用の二次元パターン情報35を空間光変調器43の表示面の一部の領域43aに表示する。なお、ホログラム記録時に、取得した画像情報に前処理が実行していた場合、第1検索処理部12は、取得した検索画像情報に対しても、同様の前処理を実行し、検索用の二次元パターン情報35を生成する。
ここで、図3を参照すると、空間光変調器43は、ホログラム用光源41からの光を用いて、検索画像情報の二次元パターン情報35を空間的に変調することによって、検索光36を生成する。ホログラム用光源41から照射された光は、図示しないビーム成形光学系によって略平行光とされる。略平行光は、ミラー42によって空間光変調器43に向かって反射され、空間光変調器43に表示された検索用の二次元パターン情報35によって空間的に変調され、検索光36が生成される。
生成された検索光36は、偏光ビームスプリッタ44を透過し、第1リレーレンズ45及び第2リレーレンズ47によって対物レンズ50の入射瞳面34に伝達され、その途中、ミラー46によって反射され、ビームスプリッタ48を透過し、四分の一波長板49によって円偏光に変換される。そして、図4(D)に示すとおり、検索光36は、入射瞳面34から射出され、対物レンズ50によってフーリエ変換され、平行光となって、ホログラフィック記録媒体20のホログラム記録層21に記録されたホログラム24に照射される。この結果、ホログラム24と検索光36とが干渉して、記録時の参照光33に相当する再生光37が再生される。なお、第1検索処理部12は、サーボ情報に基づいて、図示しない記録媒体保持機構のサーボを制御し、検索光36が照射される位置を合わせている。
再生光検出器53は、再生光37を検出する。具体的には、図3を参照すると、反射層23で反射された再生光37は、ホログラフィック記録媒体20から射出され、照射時とは反対方向に、対物レンズ50、四分の一波長板49、ビームスプリッタ48、第2リレーレンズ47、ミラー46及び第1リレーレンズ45を経て、偏光ビームスプリッタ44に入射する。再生光37は、記録時の参照光33に相当するものであるところ、参照光33は、ホログラフィック記録媒体20に照射される際に四分の一波長板49を通過して円偏光に変換されていたため、再度、再生光37として四分の一波長板49を通過すると、参照光33とは直交する偏光方向の直線偏光となる。よって、再生光37は、参照光33を透過した偏光ビームスプリッタ44によって反射され、アパーチャー51を通過し、集光レンズ52によって再生光検出器53に集光される。なお、反射層23で反射された検索光36は、ホログラフィック記録媒体20から射出され、再生光37と同様の光学系を経て偏光ビームスプリッタ44によって反射されるが、アパーチャー51によって遮光される。
再生光検出器53が検出した再生光37の光強度は、ホログラム24を記録したときの記録用の二次元パターン情報35と検索用の二次元パターン情報35との類似度によって変化する。すなわち、光強度の値が大きいほど二つの二次元パターン情報が類似していることになる。第1検索処理部12は、検出された再生光37の光強度をそのまま、又は光強度を補正して、検索画像情報とホログラム24として記録された各画像情報との類似度を表す第1相関値を演算する。なお、第1検索処理部12は、検索光を照射したホログラムについて、アドレス光に基づいてアドレス光検出器63がホログラフィック記録媒体20のアドレス層から読み出したアドレス情報を取得しておき、検出した再生光の強度又は演算された第1相関値と、そのホログラムのアドレス情報とを関連付けて記録することが好ましい。さらに、アドレス情報テーブル200を参照して、アドレス情報から画像IDを特定し、再生光の強度又は第1相関値と関連付けて画像IDを記録してもよい。
なお、図3及び図4においては、記録時において、情報光の光軸と参照光の光軸とが同軸上に配置されたコリニア方式の光情報記録再生装置を利用しているが、本発明の光相関演算装置2は、かかる構成に限定されるものではない。情報光の光軸と参照光の光軸が異なる方式であっても、本発明の第1検索を実施することは可能である。
図5は、画像検索システムの検索処理を示すフローチャートである。検索は、大きく2段階に分かれており、ステップS301からS306までの処理が光相関演算による第1検索であり、ステップS401からS406までの処理が相関演算による第2検索である。
まず、情報処理装置1は、検索画像情報を取得する(S301)。検索画像情報は、端末90を操作することによって検索者から入力されてもよいし、図示しないWebサーバ、ストレージシステム、監視カメラシステム等から入力されてもよい。情報処理装置1は、取得した検索画像情報を第1検索処理部12及び第2検索処理部13に入力する。
次に、第1検索処理部12は、検索画像情報を取得すると、取得した検索画像情報の二次元パターン情報35を生成し、光相関演算装置2の空間光変調器43に表示し、表示された表示された検索用の二次元パターン情報35を空間的に変調することによって、検索光を生成する。そして、上記図4(C)及び(D)において説明した光相関演算処理をホログラフィック記録媒体20に記録された各ホログラムに対して実行し、第1データベース70に格納された複数の画像情報についての第1相関値を取得する(S302)。検索画像情報の二次元パターン情報35は、ホログラム記録時に、各画像情報の二次元パターン情報31の生成方法と同様の方法によって生成される。例えば、記録時において原画像情報に前処理がなされていた場合には、取得した検索画像情報にも同様の前処理を実行する。第1検索処理部12は、演算された各画像情報の第1相関値とアドレス情報又は画像IDとを対応付け、対応付けられた情報をメモリ10に格納してもよいし、各第1相関値をアドレス情報テーブル200の対応する画像IDのエントリに格納してもよい。
そして、第1相関値と所定の第1閾値とを比較し、第1相関値が第1閾値を超えるか否かを判定する(S303)。なお、第1閾値は、あらかじめ実験等によって定められた値であり、必要とされる類似度に応じて複数設定されていてもよい。なお、ステップS303に先立ち、第1検索処理部12は、演算された第1相関値に基づいて、ステップS303の比較する順番を変更してもよい。例えば、第1相関値の高い順に並べ替えれば、ステップS303では、第1相関値の高い順に比較の処理が実行されるので、処理を速くすることができる。また、ステップS304では、第1相関値の高い順に2次検索候補が出力されるので、ステップS401以降の第2検索に好ましい。
ステップS303において、第1相関値が第1閾値を超えると判定された場合(S303のYes)、第1検索処理部12は、その第1相関値に対応する画像情報を2次検索候補として特定し、その画像情報のアドレス情報又は付与された画像IDを第2検索処理部13に出力する(S304)。そして、第1検索処理部12は、ステップS303の比較処理の対象となる第1相関値が残存しているか否かを判定するステップS305に進む。
一方、ステップS303において、画像情報の第1相関値が第1閾値を超えないと判定された場合(S303のNo)、その画像情報は検索画像情報と相関が低く類似していないので、第1検索処理部12は、ステップS305の処理に進む。
第1検索処理部12は、ステップS303の比較処理の対象となる第1相関値が残存しているか否かを判定する(S305)。ステップS305において、未処理の第1相関値があると判定された場合(S305のNo)、第1検索処理部12は、未処理の第1相関値を選択し、ステップS303において、第1相関値が第1閾値を超えるか否かを判定する(S303)。一方、ステップS305において、未処理の第1相関値がない判定された場合、第1検索処理部12は、第1検索を終了する(S306)。第1検索処理部12は、第1検索が終了した旨を第2検索処理部13に通知してもよい。なお、ステップS303の比較処理は、通常、検出された全ての第1相関値が対象となるが、前述したように、第1相関値を高い順に並び変えていれば、第1閾値を超えないと判定されるまでの部分が対象となる。したがって、このように第1相関値を並び変えていた場合には、ステップS305において、第1閾値を超えないと判定された時点で第1検索が終了する。換言すれば、第1相関値を高い順に並び変えた場合は、ステップS305は不要となる。
なお、図5においては、第1検索処理部12は、第1閾値を超える第1相関値をもった2次検索候補を一つ検出する毎に、その画像IDを第2検索処理部13に出力し、第2検索処理部13が第2検索を開始している。このため、第1検索の途中から第2検索を開始することが可能であり、終的な検索時間を短縮することができ好ましい。ただし、複数の2次検索候補を併せて第2検索処理部13に出力したり、第1検索が終了した後に、第1検索の結果として得られた2次検索候補の画像IDを一括して第2検索処理部13に出力することも可能である。
第2検索処理部13は、第1検索処理部12から出力された2次検索候補のアドレス情報又は画像IDを取得し、アドレス情報テーブル200を参照して、そのアドレス情報又は画像IDに対応する画像情報を第2データベース80から取得する(S401)。
次に、第2検索処理部13は、検索画像情報と取得した第2データベース80における2次検索候補の画像情報との第2相関値を演算する(S402)。相関演算として、例えば、検索画像情報と2次検索候補の画像情報との内積、ユークリッド距離又は相関係数を求めることにより、類似度を算出することができる。N×N画素の画像情報F、Gの各画素の要素について、一次元の列ベクトルf、列ベクトルgとして表現した場合、内積は数式(1)で算出でき、ユークリッド距離は数式(2)で算出でき、相関係数は数式(3)で算出できる。なお、第2相関値の算出はこれらの方式に限定されるものではない。
次に、第2検索処理部13は、取得した2次検索候補の画像情報の第2相関値と所定の第2閾値とを比較し、第2相関値が第2閾値を超えるか否かを判定する(S403)。ステップS403において用いる第2閾値は、あらかじめ実験等によって定められた値であり、必要とされる類似度に応じて複数設定されていてもよい。ステップS305において用いる第1閾値より高く設定されるのが好ましい。この場合、第1相関値と第2相関値とは規格化等によって値を共通化しておくことが好ましい。なお、第1閾値と第2閾値とを同じにしてもよい。ステップS403において、第2相関値が第2閾値を超えると判定された場合(S403のYes)、第2検索処理部13は、その2次検索候補に対応する画像情報を検索結果として特定する(S404)。その後、第2検索の対象となる2次検索候補があるか否かを判定する(S405)。
一方、ステップS403において、第2相関値が第2閾値を超えないと判定された場合(S403のNo)、検索結果として特定せずに、第2検索の対象となる2次検索候補があるか否か判定する(S405)。なお、第2相関値が第2閾値を超えなかった場合であっても、参考として2次検索候補を出力するように構成してもよい。
第2検索処理部13は、第2検索の対象となる2次検索候補があるか否かを判定する(S405)。ステップS405において、未処理の2次検索候補があると判定された場合(S405のNo)、第2検索処理部13は、未処理の2次検索候補を選択し、ステップS402において、検索画像情報との第2相関値を演算し、ステップS403において、第2相関値が第2閾値を超えるか否かを判定する(S403)。一方、ステップS405において、第2検索の対象となる2次検索候補がないと判定された場合(S405のYes)、第2検索処理部13は、第2検索を終了する(S406)。なお、ここでは、第2検索処理部13は、所定の待ち時間が経過しても第1検索処理部12から2次検索候補が出力されないことに基づいて、2次検索候補を対象とした2次検索を終了することを決定してもよいし、第1検索処理部12から第1検索の終了した通知に基づいて、2次検索候補の範囲を決定し、かかる範囲の第2検索を終了した時点で終了することを決定してもよい。
第2検索の結果得られた検索結果は、情報処理装置1又は端末90に出力(表示)させることができる。出力の形式は特に限定されるものではないが、画像ID、原画像情報、第1データベースのアドレス情報202又は第2データベースのアドレス情報203を出力したり、サムネイル204、キーワード205等を含めて出力してもよい。ステップS404において、複数の画像情報が第2閾値を超えており、検索結果が複数となった場合、第2検索処理部13は、最も高い第2相関値を持つ画像情報を検索結果として出力してもよいし、第2相関値の高い順に出力してもよい。さらに、第2検索処理部13は、検索結果として複数の画像情報又はサムネイルを端末90に出力し、検索者に対し、検索画像情報と類似する画像情報を選択させることもできる。また、第2検索の結果、第2閾値を超える画像情報が検索されなかった場合、第2検索処理部13は、第2閾値を低く設定して第2検索を繰り返してもよい。
また、図5においては、第2検索において第2相関値と第2閾値とを比較しているが、2次検索候補の第2相関値同士を比較して、検索結果を取得することも可能である。この場合、ステップS403は不要であるが、2次検索候補の第2相関値同士を比較するステップが必要となる。比較した結果、検出された第2相関値が最も大きい画像情報を検索結果として出力してもよいし、上位の複数画像情報を検索結果として出力してもよいし、第2相関値の大きい順に全ての2次検索候補を検索結果として出力してもよい。
以上説明したように、本発明の実施形態によると、第1検索において、ホログラフィック記録媒体に記録された複数の画像情報と検索画像情報とを光相関演算させて2次検索候補を特定し、次に、第2検索において、記憶装置に記憶された複数の画像情報の中から、2次検索候補に対応する画像情報について検索画像情報と相関演算させて検索結果を取得するので、検索速度及び検索精度を向上させることができる。また、第1検索において、一つの2次検索候補が特定されるたびに第2検索が開始されるので、第1検索及び第2検索の合計の処理時間を短縮することができる。
なお、本発明の画像検索システムは、上述した第1検索及び第2検索の2段階の検索を行うモードとは別に、第1データベースのみを利用した光相関演算による検索モードや、第2データベースのみを利用した相関演算による検索モードを行うことができてもよい。
1 情報処理装置
2 光相関演算装置
4 CPU
6 記憶装置
10 メモリ
11 ホログラム記録処理部
12 第1検索処理部
13 第2検索処理部
20 ホログラフィック記録媒体
30 情報処理装置
40 光学系
70 第1データベース
80 第2データベース
90 端末
100 ネットワーク
200 アドレス情報テーブル
2 光相関演算装置
4 CPU
6 記憶装置
10 メモリ
11 ホログラム記録処理部
12 第1検索処理部
13 第2検索処理部
20 ホログラフィック記録媒体
30 情報処理装置
40 光学系
70 第1データベース
80 第2データベース
90 端末
100 ネットワーク
200 アドレス情報テーブル
Claims (13)
- 複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムであって、
情報処理装置と、
前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、
前記ホログラフィック記録媒体を含む光相関演算装置と、
前記複数の画像情報が記憶された記憶装置と、を有し、
前記情報処理装置と前記記憶装置とは直接又はネットワークを介して接続され、
前記情報処理装置と前記光相関演算装置とは直接又はネットワークを介して接続され、
前記情報処理装置は、前記光相関演算装置において、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて2次検索候補を特定し、前記記憶装置に記憶された前記複数の画像情報の中から、前記2次検索候補に対応する画像情報について前記検索画像情報と相関演算させて検索結果を取得することを特徴とする画像検索システム。 - 前記情報処理装置は、
前記光相関演算によって、前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報との類似度を表す第1相関値を検出し、
前記検出された第1相関値を第1閾値と比較して、前記第1閾値よりも大きい前記画像情報を前記2次検索候補とし、
前記相関演算によって、前記記憶装置に記憶された前記複数の画像情報と前記検索画像情報との類似度を表す第2相関値を検出し、
前記検出された第2相関値に基づいて、前記検索結果を取得することを特徴とする請求項1に記載の画像検索システム。 - 前記情報処理装置は、前記検出された第2相関値を第2閾値と比較して、前記第2閾値よりも大きい前記画像情報を前記検索結果とすることを特徴とする請求項2に記載の画像検索システム。
- 前記情報処理装置は、前記検出された第2相関値が最も大きい画像情報を前記検索結果とすることを特徴とする請求項2に記載の画像検索システム。
- 前記情報処理装置は、前記2次検索候補を一つ特定するたびに、前記第2相関値を検出することを特徴とする請求項2から4のいずれかに記載の画像検索システム。
- 前記情報処理装置は、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報を参照して、前記記憶装置に記憶された前記複数の画像情報の中から前記2次検索候補に対応する画像情報を抽出することを特徴とする請求項1から5のいずれかに記載の画像検索システム。
- 前記光相関演算装置は、
前記検索画像情報から生成された二次元パターン情報を空間的に光変調することによって検索光を生成する空間光変調器を備え、
前記生成された検索光を前記ホログラフィック記録媒体に照射することによって、前記ホログラフィック記録媒体に記録された前記複数のホログラムから再生光を再生し、
前記再生された再生光の光強度に基づいて、前記2次検索候補を特定することを特徴とする請求項1から6のいずれかに記載の画像検索システム。 - 前記情報処理装置は、前記検索画像情報を前処理し、前処理された検索画像情報から前記二次元パターン情報を生成することを特徴とする請求項7に記載の画像検索システム。
- 複数の画像情報から検索画像情報に類似する画像情報を検索する画像検索システムにおいて実行される画像検索プログラムであって、
前記画像検索システムは、情報処理装置と、前記複数の画像情報に基づいて形成された複数のホログラムが記録されたホログラフィック記録媒体と、前記ホログラフィック記録媒体を含む光相関演算装置と、前記複数の画像情報が記憶された記憶装置と、を有し、
前記画像検索プログラムは、前記情報処理装置に、
前記光相関演算装置を制御して前記ホログラフィック記録媒体に記録された前記複数の画像情報と前記検索画像情報とを光相関演算させて、前記複数の画像情報と前記検索画像情報との類似度を表す第1相関値を検出する第1手順と、
前記検出された第1相関値を第1閾値と比較して、前記第1閾値よりも大きい前記画像情報を前記2次検索候補とする第2手順と、
前記記憶装置に記憶された前記複数の画像情報の中から、前記2次検索候補に対応する画像情報について前記検索画像情報と相関演算させて、前記2次検索候補に対応する画像情報と前記検索画像情報との類似度を表す第2相関値を検出する第3手順と、
前記検出された第2相関値に基づいて検索結果を取得する第4手順と、
を実行させることを特徴とする画像検索プログラム。 - 前記第4手順は、前記検出された第2相関値を第2閾値と比較して、前記第2閾値よりも大きい前記画像情報を検索結果とする手順を含むことを特徴とする請求項9に記載の画像検索プログラム。
- 前記第4手順は、前記検出された第2相関値が最も大きい画像情報を前記検索結果とする手順を含むことを特徴とする請求項9に記載の画像検索プログラム。
- 前記第3手順は、前記第2手順において、前記2次検索候補を一つ特定するたびに、前記第2相関値を検出する手順を含むことを特徴とする請求項9から11のいずれかに記載の画像検索プログラム。
- 前記第3手順は、前記2次検索候補が特定されると、前記ホログラフィック記録媒体に記録された前記複数の画像情報のアドレス情報と、前記記憶装置に記憶された前記複数の画像情報のアドレス情報とが関連付けられた情報に基づいて、前記記憶装置に記憶された前記複数の画像情報の中から前記2次検索候補に対応する画像情報を抽出する手順を含むことを特徴とする請求項9から12のいずれかに記載の画像検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010292732A JP2012141693A (ja) | 2010-12-28 | 2010-12-28 | 画像検索システム及び画像検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010292732A JP2012141693A (ja) | 2010-12-28 | 2010-12-28 | 画像検索システム及び画像検索プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012141693A true JP2012141693A (ja) | 2012-07-26 |
Family
ID=46677951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010292732A Pending JP2012141693A (ja) | 2010-12-28 | 2010-12-28 | 画像検索システム及び画像検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012141693A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000294466A (ja) * | 1999-04-06 | 2000-10-20 | Komatsu Ltd | チップマップ生成方法およびその装置 |
WO2007004520A1 (ja) * | 2005-06-30 | 2007-01-11 | Olympus Corporation | 検索システム及び検索方法 |
JP2007121147A (ja) * | 2005-10-28 | 2007-05-17 | Hitachi High-Technologies Corp | パターンマッチング装置およびそれを用いた半導体検査システム |
JP2007199749A (ja) * | 2004-08-19 | 2007-08-09 | Mitsubishi Electric Corp | 画像検索方法及び画像検索装置 |
JP2009216759A (ja) * | 2008-03-07 | 2009-09-24 | Univ Waseda | 画像情報検索システム及び画像情報記録検索システム |
JP2010224749A (ja) * | 2009-03-23 | 2010-10-07 | Daihen Corp | 作業工程管理システム |
-
2010
- 2010-12-28 JP JP2010292732A patent/JP2012141693A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000294466A (ja) * | 1999-04-06 | 2000-10-20 | Komatsu Ltd | チップマップ生成方法およびその装置 |
JP2007199749A (ja) * | 2004-08-19 | 2007-08-09 | Mitsubishi Electric Corp | 画像検索方法及び画像検索装置 |
WO2007004520A1 (ja) * | 2005-06-30 | 2007-01-11 | Olympus Corporation | 検索システム及び検索方法 |
JP2007121147A (ja) * | 2005-10-28 | 2007-05-17 | Hitachi High-Technologies Corp | パターンマッチング装置およびそれを用いた半導体検査システム |
JP2009216759A (ja) * | 2008-03-07 | 2009-09-24 | Univ Waseda | 画像情報検索システム及び画像情報記録検索システム |
JP2010224749A (ja) * | 2009-03-23 | 2010-10-07 | Daihen Corp | 作業工程管理システム |
Non-Patent Citations (1)
Title |
---|
小舘 香椎子 渡邉 恵理子: "光の特徴を用いた顔認証システムとその応用 高精度位相型マッチトフィルタソフトによるオンライン型携帯電", 月刊自動認識 第20巻 第12号, vol. 第20巻 第12号, JPN6014043960, 2 October 2007 (2007-10-02), JP, pages 40 - 45, ISSN: 0002921288 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4734530B2 (ja) | 検索方法 | |
US20150035946A1 (en) | Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation | |
EP1573661A1 (fr) | Procede d'authentification et d'identification optique d'objets et dispositif de mise en oeuvre | |
US20070180183A1 (en) | Hologram retrieval method and holographic recording and reproducing apparatus | |
JP2015505984A (ja) | ホログラム処理方法およびシステム | |
JP2010507125A (ja) | 内部円錐回折に基づく光学装置 | |
US8818754B2 (en) | Thin films and surface topography measurement using reduced library | |
WO2021225706A1 (en) | Efficient reading of birefringent data | |
JP2009216759A (ja) | 画像情報検索システム及び画像情報記録検索システム | |
JP2012141693A (ja) | 画像検索システム及び画像検索プログラム | |
JP4050650B2 (ja) | 光情報再生装置、ならびにその実現に利用可能でコンピュータ読み取り可能なプログラムを格納した記録媒体 | |
Zheng et al. | Image rotation measurement in scene matching based on holographic optical correlator | |
Watanabe et al. | Ultrahigh-speed optical correlation system using holographic disc | |
JP2005265441A (ja) | デジタルホログラフィを利用した変位分布計測方法 | |
Kanjana et al. | Secure storage and matching of latent fingerprints using phase shifting digital holography | |
WO2009110094A1 (ja) | 画像情報検索システム及び画像情報記録検索システム | |
Kim et al. | Extraction of a distance parameter in optical scanning holography using axis transformation | |
KR20170079441A (ko) | 진동 환경에서 큰 단차를 갖는 샘플의 높낮이 측정을 위한 디지털 홀로그램 기록재생장치 및 기록재생방법 | |
WO2010023932A1 (ja) | 画像情報記録方法及び画像情報照合システム | |
CN114965477B (zh) | 全自动生物信息分析取样系统及方法 | |
JP2012141379A (ja) | 画像検索システム | |
Watanabe et al. | High-speed holographic correlation system by a time-division recording method for copyright content management on the internet | |
KR20050099864A (ko) | 홀로그래픽 디지털 데이터 시스템 및 이의 재생된이미지의 비매칭 측정 방법 | |
Watanabe et al. | Ultra-high-speed compact optical correlation system using holographic disc | |
JP2012141378A (ja) | 検索システム及びそこで使用されるホログラフィック記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150225 |