JP2009260800A - 撮像装置、事典データベースシステム、主要被写体画像出力方法および主要被写体画像出力プログラム - Google Patents

Abstract

【課題】ユーザが真に意図した主要被写体を精度よく特定可能にする。
【解決手段】１枚の画像データを構成する所定の単位ごとに被写体距離を算出し、特定の距離の範囲内にある部分を主要被写体と判断してこれを切り出す。そしてその主要被写体のみを切り出した画像を、データベースを備えたサーバに出力する。この主要被写体画像は、主要被写体の画像特徴量を端的に示しており、サーバは、この画像特徴量を利用した主要被写体の検索を精度よく行うことができる。
【選択図】 図１

Description

本発明は、被写体画像領域の出力に関し、特に被写体領域に関する事典データベースへの被写体領域の出力に関する。

特許文献１では、表示部が画像を表示した回数及び／又は時間の長さに基づいて、画像に対する重要度係数を算出する。

特許文献２では、出先で興味を持った被対象物に出会ったとき、デジタルカメラ内蔵の携帯電話を用いて被対象物を撮影し、画像データをネットワークを介して情報提供装置に検索要求するまでの距離情報を併せて送出する。情報提供装置は、これらの情報に基づき、その時刻、場所の被対象物をデータベースおよび提供先リンクを検索し、検索結果を携帯電話に送出する。

特許文献３のデジタルカメラは、被写体を撮像する撮像部と、対象物を説明する複数の対象物情報を有する図鑑データより、撮像部で撮像された被写体に対応する対象物情報を検索可能な制御部と、撮像部で被写体を撮像した際のデジタルカメラの撮影条件に基づいて対象物情報を検索する検索条件を設定する検索条件設定部とを具備するとした。
特開２００３−４４５１１号公報 特開２００３−３２３４４０号公報 特開２００６−８６７８０号公報

特許文献１では、表示部が画像を表示した回数及び／又は時間の長さに基づいて、画像に対する重要度係数を算出するため、重要画像の検出に時間がかかる。

特許文献２では、画像と付属情報を送るだけでは、背景の込み入った画像では主要被写体の識別が困難で、データベースの照会が難しい。

特許文献３では、撮影画像と撮影条件を元に画像から被写体認識を行うとしているが、その被写体認識を精度よく行うための具体的方法は何ら言及されていない。

本発明の目的は、ユーザが真に意図した主要被写体を精度よく特定可能にすることにある。

本発明に係る撮像装置は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像データに変換して出力する撮像部と、撮像部から出力された画像データ内の被写体までの距離を算出する被写体距離算出部と、被写体距離算出部の算出した被写体距離に基づいて、画像データ内の主要被写体を特定し、特定された画像データのうち主要被写体に相当する部分画像である主要被写体画像を画像データから抽出する主要被写体画像データ抽出部と、主要被写体画像データ抽出部の抽出した主要被写体画像を所定の電子機器に出力する出力部と、を備える。

この発明によると、主要被写体に相当する部分画像（主要被写体画像）が画像データから抽出されて出力される。この主要被写体画像は、主要被写体の画像特徴量を端的に示しており、この画像特徴量を利用した主要被写体の特定を精度よく行うことができる。

例えば、被写体距離算出部は、画像データの高周波成分に基づいて定められた撮像レンズの焦点位置に従って被写体までの距離を算出する。

あるいは、撮像部は、少なくとも２つの撮像光学系を有しており、被写体距離算出部は、少なくとも２つの撮像光学系から取得された複数の被写体像をそれぞれ光電変換して得られた多視点画像に基づいて被写体までの距離を算出する。

好ましくは、主要被写体画像データに関する付帯情報を取得する付帯情報取得部を備え、出力部は、付帯情報出力部が取得した付帯情報を主要被写体画像と対応づけて所定の電子機器に出力する。

付帯情報は、撮影日時、撮影場所、撮影条件、主要被写体のサイズ、色、形状のうち少なくとも１つを含む。

例えば、所定の電子機器は、所望の複数の画像データの画像特徴量と画像データの被写体に関する事典データとを対応づけて蓄積する事典データベースと、出力部から出力された主要被写体画像の画像特徴量と事典データベースの画像特徴量との照合に応じて主要被写体画像の特徴量に対応する事典データを事典データベースから抽出する抽出部とを備えたサーバを含む。

本発明に係る事典データベースシステムは、上記の撮像装置と、所望の複数の画像データの画像特徴量と画像データの被写体に関する事典データとを対応づけて蓄積する事典データベースと、撮像装置の出力部から出力された主要被写体画像の画像特徴量と事典データベースの画像特徴量との照合に応じて主要被写体画像の特徴量に対応する事典データを事典データベースから抽出する抽出部とを備えたサーバと、を備える。

好ましくは、抽出部の抽出した事典データを表示する事典データ表示部を備える。

本発明に係る主要被写体画像出力方法は、撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像データに変換して出力するよう撮像回路を制御するステップと、出力された画像データ内の被写体までの距離を算出するステップと、算出した被写体距離に基づいて、画像データ内の主要被写体を特定し、特定された画像データのうち主要被写体に相当する部分画像である主要被写体画像を画像データから抽出するステップと、抽出した主要被写体画像を所定の電子機器に出力するようデータ出力回路を制御するステップと、をコンピュータに実行させる。

この主要被写体画像出力方法をコンピュータに実行させるための主要被写体画像出力プログラムも本発明に含まれる。

この発明によると、主要被写体に相当する部分画像（主要被写体画像）が画像データから抽出されて出力される。この主要被写体画像は、主要被写体の画像特徴量を端的に示しており、この画像特徴量を利用した主要被写体の検索を精度よく行うことができる。

＜第１実施形態＞
図１は本発明の好ましい実施形態に係る画像データベース照会システムの概略構成を示す。このシステムは、電子ルーペ１０およびサーバ１５を備えており、双方は各種の通信手段によって接続され、情報の送受信が可能である。双方の接続手段は常時接続でもよいし必要に応じてつながるオンデマンド通信でもよい。

サーバ１５には、様々な種類の被写体、例えばクワガタ、カブトムシなどの昆虫の種ごとに固有の画像特徴量（色、形状、サイズなど）と、その昆虫の分布地域、繁殖時期、活動する時間帯・気象状況（撮影時の昼夜の区別、天気、温度、高度）などを含む付帯情報を被写体ごとに分類して登録したデータベースが備えられている。なお、データベースは電子ルーペ１０に備えられていてもよい。

サーバ１５は、電子ルーペ１０から画像（存在すれば画像に加えて付帯情報も）を受信し、その画像から主要被写体の画像特徴量を抽出する。ただし、電子ルーペ１０側で特徴量を抽出しておき付帯情報の一部としてサーバ１５に送信してもよい。そして、抽出した画像特徴量および付帯情報とデータベースの各昆虫の画像特徴量および付帯情報の類似度に応じて、受信した画像内の主要被写体の種類を特定し、その特定した被写体の種類を示す事典検索結果情報を所定の電子機器に出力する。

典型的には、事典検索結果情報の出力先はサーバ１５と通信接続された電子ルーペ１０であるが、その他のものであってもよく、例えばディスプレイやスピーカなどの出力手段を備えたＰＤＡ２、携帯電話やパソコン（図示せず）など予め電子ルーペ１０から指定された電子機器でもよい。事典検索結果情報を受け取った電子機器は、それを映像情報に変換してディスプレイに表示したり、あるいは音声情報に変換してスピーカから拡声したりする。事典検索結果情報には、被写体の一般名称（オオクワガタなど）、学術名、棲息地、体長、被写体のサンプル画像などが含まれる。また、データベースの各画像特徴量とのマッチング率（確からしさ）も含めてよい。

また、データベースの対象とする被写体の種類は何でもよく、昆虫以外の動植物や非生物でもよい。例えば、電子ルーペ１０が防水加工されていれば、水生昆虫や魚類の画像特徴量を分類・登録してもよい。

図２は本発明の好ましい実施形態に係る電子ルーペ１０の外観を示す。電子ルーペ１０は、外観上、円形で全体的に平板状に形成された本体部１１、および本体部１１から平板形状を延長する方向に湾曲する棒状に延びた把持部１２とで構成されている。

本体部１１は、裏側に被写体像の画像データを得るための撮像回路を備え、その撮像回路で得られた被写体像を表示する表示部２０、シャッタボタン３１、メニューボタン３２、電源ボタン３３が具備されている。

表示部２０は、スルー画、記録画像、サーバ１５から受信した事典検索結果情報などを表示する。

把持部１２は、撮影者が電子ルーペ１０を持つときの持ち手である持手部３０、ストラップ穴３５を備えている。

把持部１２の端には、被写体像を表わす被写体画像データや画像データに付帯する各種の付帯情報を、サーバ１５等の外部装置に送るための出力端子３４が備えられている。この出力端子３４は後述する通信Ｉ／Ｆ３００の一部である。

図３は、電子ルーペ１０の裏面の外観図である。本体部１１の裏面には、被写体光を本体部１１の内部に設けられたレンズ群２５およびＣＣＤ１２１に導くための撮影レンズ２２、被写体を照射するＬＥＤ２３が具備されている。なお、図示の撮影レンズ２２は単眼であるが、複眼であってもよい。後述の第２実施形態では、２つの撮像光学系を採用し、距離画像を撮影するが、本実施形態では単眼の撮影レンズ２２を採用する。

ここで、本体部１１の内部の構成について説明する。

図４は、電子ルーペ１０を、図２の線Ａ−Ａを通る面で切断したときの断面図である。

電子ルーペ１０の本体部１１は、表示部２０、撮影レンズ２２、投光部２３で覆われており、内部には、レンズ群２５のレンズ位置を制御するレンズ制御部２４、被写体に焦点をあわせるフォーカスレンズ１１１および焦点距離をあわせるズームレンズ１１２を含むレンズ群２５、撮像素子であるＣＣＤ１２１を含みそのＣＣＤ１２１上にレンズ群２５からの被写体光を結像させて光電変換し画像信号を得る撮像部２６、および撮影レンズ２２から入射した被写体光を、大きさを変えずにレンズ群２５および撮像部２６方向に反射させるように取り付けられた反射鏡２７を備えた撮像ユニットが設けられている。なお第２実施形態の複眼の場合は、撮像ユニットが複数設けられることになる。

図５は、本実施形態の電子ルーペ１０の機能ブロック図である。

電子ルーペ１０には、ＣＰＵ１００、ＲＡＭ１０１、ＲＯＭ１０２、バッファメモリ１０５、レンズ駆動回路１１０、フォーカスレンズ１１１、ズームレンズ１１２、タイミングジェネレータ１２０、ＣＣＤ１２１、シャッタ駆動回路１３０、絞り兼用シャッタ１３１、画像処理回路１４０、測光回路１５０、合焦位置決定部１６０、表示回路１７０、シャッタスイッチ１８０が具備されており、これらはバスを介して互いに接続されている。さらに、画像データを記録可能な記録メディア２００、および外部の電子機器例えばサーバ１５と通信する回路である通信Ｉ／Ｆ３００がバスに接続されている。

ＣＰＵ１００は、絞り量およびシャッタ速度の算出、フォーカスレンズ１１１およびズームレンズ１１２のレンズ位置の算出、ＣＣＤ１２１の電子シャッタ制御、合焦位置決定部１６０による合焦位置探索の開始および終了の制御、通信Ｉ／Ｆ３００によるデータの送受信の制御、その他バスで接続された各部への動作の指示や制御等を行なう。ここでいう指示とは、レンズ駆動回路１１０に対するフォーカスレンズ１１１を設定するフォーカスレンズ位置およびズームレンズ１１２を設定するズームレンズ位置、タイミングジェネレータ１２０に対する電子シャッタを切る指示、シャッタ駆動回路１３０に対する絞り情報およびシャッタ速度、測光回路１５０に対する測光を行う指示をいう。これらの指示を記述したＣＰＵ１００で実行可能なプログラムは、ＲＯＭ１０２に記録されており、ＣＰＵ１００によってロードされて実行される。

また、ＣＣＤ１２１から送られたアナログ信号である画像信号は、ＡＤ変換器１０３で画像データに変換された後、画像処理回路１４０に送られ、所定の画像処理が施され、出力用の被写体画像データが作成される。画像処理回路１４０は、出力用の被写体画像データを表示回路１７０および通信Ｉ／Ｆ３００に送る。さらに、シャッタボタン３１の押下に応じて取得された被写体画像データである撮影画像データを、記録メディア２００に送る。ＣＰＵ１００は、レンズ制御部２４に相当する。

レンズ駆動回路１１０は、ＣＰＵ１００からフォーカスレンズ位置およびズームレンズ位置を指示されると、各レンズに取りつけられたモータを駆動し、指示された各レンズ位置にフォーカスレンズ１１１およびズームレンズ１１２を設定する。フォーカスレンズ１１１、およびズームレンズ１１２は、レンズ群２５に相当する。

タイミングジェネレータ１２０は、ＣＰＵ１００からの指示により電子シャッタの開閉を行ない、撮像素子であるＣＣＤ１２１で被写体光を受光するタイミングをつくる。被写体光を受光してできた画像信号は、ＣＣＤ１２１からＡＤ変換器１０３に送られる。タイミングジェネレータ１２０およびＣＣＤ１２１は、撮像部２６に相当する。撮像素子はＣＭＯＳなどでもよい。

シャッタ駆動回路１３０は、ＣＰＵ１００から受け取った絞り情報、およびシャッタ速度に従って、絞り兼用シャッタ１３１に取りつけられたモータを駆動して、絞り兼用シャッタ１３１を切る。

合焦位置決定部１６０は、ＣＣＤ１２１からＡＤ変換器１０３を介してバッファメモリ１０５に出力された未処理の生画像データ（ＲＡＷデータ）に基づいて主要被写体に対するフォーカスレンズ１１１の合焦位置を決定する（ＡＦ動作）。合焦位置の具体的な決定方法としては、例えば本出願人による特許公開２００１−１１６９８０号公報に記載されるように、フォーカスレンズ１１１を無限遠端から至近端までの動作範囲内で所定のステップずつ（例えば被写界深度の幅ずつ）移動させ、その移動毎にバッファメモリ１０５に格納されるＲＡＷデータを取得し、当該ＲＡＷデータのコントラスト成分に基づいて合焦評価値を算出し、当該合焦評価値を結んだ合焦曲線を作成する。そして、合焦曲線の変曲点（ピーク）のうち主要被写体に相当するピーク（例えば最も至近端に近い変曲点）に対応するレンズ位置を主要被写体の合焦位置と決定する。なお、どのピークが主要被写体の合焦位置に相当するかは任意に定めうるが、本願実施形態では、主要被写体は接写することが前提であるため、最も至近端に近い変曲点に対応するレンズ位置が合焦位置と決定されるものとする。ただし、どれが主要被写体であるか区別できれば、主要被写体を接写する必然性はない。よって、望遠で大きな建物などを主要被写体として撮影してもよい。

後述のように、ＣＣＤ１２１の有効画素領域内を複数の小領域に分割し、各小領域ごとの合焦評価値を算出し、当該合焦評価値を結んだ合焦曲線を作成して、各小領域ごとの合焦位置を決定する。分割する単位は、合焦精度と合焦処理の負荷のトレードオフで決められる。

画像処理回路１４０は、バッファメモリ１０５のＲＡＷデータをサンプリングし、そのＲＡＷデータにゲインの調整などを施して処理済みの画像データを生成する。生成された画像データは、ＲＡＭ１０１に送られて格納される。

画像処理回路１４０は、ＲＡＭ１０１に格納された画像データから、主要被写体の輪郭を抽出する。例えば、本出願人による特許公開２００７−３０６５０１号公報に記載されるように、当該画像データにラプラシアンフィルタの係数をかけて高い空間周波数を抽出する。そして、画像処理回路１４０は、抽出された輪郭に沿って当該画像データから主要被写体画像を切り出し、その切り出された画像（主要被写体切り出し画像）を、オリジナルの画像データとは区別してＲＡＭ１０１に保存する。この切り出しは、小領域ごとに行われる。

測光回路１５０は、ＣＰＵ１００からの動作の指示により、撮影場所の明るさを測光する。測光結果は、ＣＰＵ１００に送られる。

表示回路１７０は、ＣＰＵ１００から送られた画像データを、表示部２０に表示する。表示回路１７０は、画像データをＮＴＳＣ方式やＰＡＬ方式などの映像信号に変換するなどして、外部のモニタに出力してもよい。

シャッタスイッチ１８０は、シャッタボタン３１が押されるとスイッチが入り、ＣＰＵ１００に、シャッタが押されたことを表わすシャッタ情報を伝える。

記録メディア２００は、電子ルーペ１０に装填可能な可搬性の記録媒体である。シャッタスイッチ１８０がオンにされるか、ＣＰＵ１００がＲＯＭ１０２に記述されたプログラムに従って自動的に生成されたシャッタタイミングに応じて被写体の撮影が行われる。この撮影で得られたＲＡＷデータはＲＡＭ１０１に一旦記憶され、その後、画像処理回路１４０により処理された後、さらにＪＰＥＧなど所定の圧縮方式で圧縮される。当該圧縮された画像データは、メディア２００に記録されるか、通信Ｉ／Ｆ３００を介してサーバ１５あるいはＰＤＡ２などの電子機器に出力される。

通信Ｉ／Ｆ３００は、例えば出力端子３４を備えており、出力端子３４に接続されたＵＳＢケーブルなどを通して、主要被写体切り出し画像あるいは被写体画像データを送信する。あるいは、通信Ｉ／Ｆ３００は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈなどの各種無線通信規格に準拠したインターフェースであり、サーバ１５と無線交信してもよい。

この他、電子ルーペ１０は、高度計、ＧＰＳ受信機、温度計、湿度計、リアルタイムクロックなどの撮影環境に関する付帯情報を取得する回路を備えていてもよい。これらの回路から取得された付帯情報は、画像のメタ情報やタグ情報などに組み込まれ、主要被写体切り出し画像と対応づけられてサーバ１５に送信されることができる。

なお、主要被写体切り出し画像や付帯情報を、サーバ１５以外の機器、例えば予め指定されたＰＤＡ２や携帯電話などの電子機器に送り、それを受信側で保存しておくこともできる。

図６は、被写体（虫）に撮影レンズ２２を向けている様子を示している。図６に示すように、電子ルーペ１０には、把持部１２が備えられており、従来のデジタルカメラなどと比べて大変持ちやすく、小さな被写体を接写して撮影するのに適している。

図７は第１実施形態に係る主要被写体切り出し画像送信処理の流れを示すフローチャートである。この処理をＣＰＵ１００に実行させるためのプログラムはＲＯＭ１０２その他のコンピュータ読み取り可能な記録媒体に記録されている。

Ｓ１では、ＣＰＵ１００は、フォーカスレンズ１１１の所定ステップの移動をするようレンズ駆動回路１１０に指示する。その指示に応じてフォーカスレンズ１１１が駆動されると、ＣＣＤ１３２は、タイミングジェネレータ１２０から出力される垂直同期信号ＶＤに同期したタイミングでフレーム毎の画像信号（スルー画像信号）を順次出力する。

ＣＣＤ１２１から得られた画像信号は、ＡＤ変換器１０３にてＲＡＷデータに変換され、バッファメモリ１０５に一時蓄積された後、合焦位置決定部１６０に送られる。合焦位置決定部１６０は、フォーカスレンズ１１１の各ステップ位置での各撮像で得られる各ＲＡＷデータを、ＣＣＤ１２１の有効画素領域内で複数の小領域に分割し、各小領域ごとの合焦評価値を算出する。ＣＰＵ１００は、その合焦評価値を基に、各ステップ位置での各小領域の合焦状態の有無を判別することで、各小領域ごとのフォーカスレンズ１１１の合焦位置を特定する。

周知のように、フォーカスレンズ１１１の各ステップ位置での焦点距離から、被写体までの距離を求めることができるから（例えば特許公開２００７−３２５０５３参照）、ＣＰＵ１００は、各小領域ごとのフォーカスレンズ１１１の合焦位置での焦点距離に基づいて小領域に対応する被写体距離を算出し、各ＲＡＷデータに対応する小領域ごとの被写体距離をＲＡＭ１０１に格納する。

なお、フォーカスレンズ１１１の各ステップ位置の移動から電子シャッタを切る指示が出力されるまでの間に、ＣＰＵ１００は、所定時間ごとに測光回路１５０に測光を行う指示を送る。指示を受けた測光回路１５０は撮影場所の明るさを測光し、測光結果をＣＰＵ１００に送る。測光結果を受け取ったＣＰＵ１００は、その測光結果を基に絞り情報およびシャッタ速度を算出し、その値に基づいて絞り兼用シャッタ１３１を制御する（ＡＥ動作）。

Ｓ２では、ＣＰＵ１００は、上記特定された各小領域ごとの合焦位置に順次フォーカスレンズ１１１を移動させながら、上記ＡＥ動作で得られた絞り条件に従って絞り兼用シャッタ１３１を制御するとともに、タイミングジェネレータ１２０に電子シャッタを切る指示を出力する（フォーカスブラケット撮影）。タイミングジェネレータ１２０は、この指示に応じて、ＣＣＤ１２１の電子シャッタの開閉を行ない、撮像素子であるＣＣＤ１２１で被写体光を受光するタイミングをつくる。ＣＣＤ１２１が電子シャッタを開閉することで被写体光を受光し得られた画像信号は、ＣＣＤ１２１からＡＤ変換器１０３を介して画像処理回路１４０に送られ、ここを経由して出力用の画像データに変換される。当該画像データは、ＲＡＭ１０１に格納される。

Ｓ３では、ＣＰＵ１００は、各合焦位置の撮像に対応して得られた各画像データを、合焦位置決定部１６０がＲＡＷデータに設定した小領域と同じ区域で分割し、各画像データに小領域を作る。そして、各画像データの小領域のうち、それらに対応する被写体距離が同一または近接しているものであって、かつ互いに隣接するもの同士を統合する。

例えば、被写体距離が１メートルであるＲＡＷデータの小領域に対応する画像データの小領域同士を統合する。あるいは、被写体距離が０．９９〜１．０１メートルであるＲＡＷデータの小領域に対応する画像データの小領域同士を統合する。同じ被写体といえども、奥行きがある物体であれば、全ての被写体部分が全く同じ距離にあるわけではないから、ある程度同じような距離範囲内にある隣接小領域を統合することが好ましい。

統合する小領域は、同じステップ位置で撮像されたもの同士の場合もあるし、異なるステップ位置で撮像されたもの同士の場合もある。例えば、被写体距離が０．９９のクワガタの頭部だけにピントがあったステップ位置Ｓ１で撮影された画像データ１の小領域Δ１、被写体距離が１．０１のクワガタの背面だけにピントがあったステップ位置Ｓ２で撮影された画像データ２の小領域Δ２があり、Δ１とΔ２が隣接する位置にある小領域同士ならば、Δ１とΔ２を統合（合成）する。

特に接写では、被写界深度が浅くなるため、ピンぼけの生じる範囲が大きくなるが、上記のように同じ主要被写体でも異なる部分ごとにピントが合った複数の画像が得られた場合、ピントの合った小領域同士をつなぎ合わせることで主要被写体の全体にピントが合った画像ができあがる。

通常のフォーカスブラケット撮影では、各小領域に焦点の合った画像を複数撮影し、その中からユーザ所望の画像を選ばせるのが通常であるが、本実施形態ではそうではなく、特定の距離の範囲内にある主要被写体の構成部分にそれぞれピントの合った異なる画像データの小領域同士を張り合わせて、主要被写体の全ての部分にピントの合った画像を作り、さらにその画像から主要被写体のみを切り出すことが要点である。

なお、ＣＰＵ１００は、フォーカスレンズ１１１の各合焦位置への移動ごとに、主要被写体の被写体距離とフォーカスレンズの焦点距離と絞り径とに基づいて被写界深度を算出し、被写界深度の深さを判定する。被写界深度が深いと判定された場合はそのまま撮像を実施し、被写界深度が浅いと判定された場合には、絞り兼用シャッタ１３１を制御して絞り径を小さくして被写界深度を深くするとともに、ＣＣＤ１２１の感度を高めて画像の明るさを補正し、その後撮影する。こうすることで各撮影時の被写体のボケをなるべく防ぐ。

その統合領域のうち、主要被写体が属するものを特定する。そして、その主要被写体が属する統合領域を構成する画像データの各小領域（主要被写体所属小領域）に、主要被写体が属する旨のフラグを付与し、このフラグの付与された統合領域の座標情報を画像データと対応づけてＲＡＭ１０１に格納する。

主要被写体とそれ以外の被写体の区別は、被写体距離のみではできないため（同じような距離にあっても同じ物体を構成しているとは限らない）、その他のパラメータを判断基準とする。例えば、独立した閉領域のうち、より中心に近い方を主要被写体と区別したり、より面積の大きい方を主要被写体と区別できる。その際、画角と被写体との距離から被写体の実サイズを算出し、この実サイズを付帯情報の１つとしてサーバ１５に送信してもよい。

なお、小領域ごとの合焦評価値を算出した上で、各小領域ごとの被写体距離を算出し、主要被写体が属する小領域群を特定する技術は公知である（例えば特開平９−２４３９０４号公報）。

Ｓ４では、画像処理回路１４０は、ＲＡＭ１０１に格納された主要被写体所属小領域から、主要被写体の輪郭抽出を行う。そして、画像処理回路１４０は、抽出された輪郭に沿って当該画像から主要被写体画像を切り出し、その切り出された画像（主要被写体切り出し画像）をＲＡＭ１０１に保存する。

Ｓ５では、ＣＰＵ１００は、ＲＡＭ１０１の主要被写体切り出し画像を、サーバ１５に送信するよう通信Ｉ／Ｆ３００を制御する。主要被写体切り出し画像の送信タイミングは適宜であり、主要被写体切り出し画像が生成すれば直ちに送ってもよい。あるいは、サーバ１５と通信Ｉ／Ｆ３００との接続が確立したことに応じて送ってもよい。

サーバ１５は、電子ルーペ１０から受信した主要被写体切り出し画像から得られる画像特徴量とデータベースに登録された異なる被写体ごとの画像特徴量とをマッチングし、電子ルーペ１０で撮影した主要被写体の種類を特定する。例えば、主要被写体がノコギリクワガタであれば、サーバ１５は、その主要被写体切り出し画像から抽出される画像特徴量と昆虫事典のデータベースに登録された各昆虫の画像特徴量とをマッチングする。撮影時の位置情報、日時情報などの付帯情報があれば、各昆虫の画像特徴量と対応づけられた付帯情報ともマッチングを行う。例えば、撮影日時とデータベースの棲息時期が合わない場合、画像特徴量のマッチングは行わないようにすれば無駄な処理が省略でき効率的である。そして、主要被写体切り出し画像の画像特徴量がノコギリクワガタの画像特徴量と相当の確からしさ（例えば９５％の確率）で一致すれば、事典検索結果情報を電子ルーペ１０やＰＤＡ２などに返送する。

主要被写体切り出し情報は、電子ルーペ１０のユーザが注目している主要被写体の全体にピントが合った画像のみを含むから、サーバ１５でのデータベースマッチングの精度が高まり、より正確な事典検索結果情報を提供できる。これは例えば、主要被写体が草むらの陰に潜んでいる虫の場合、雑草や花など主要被写体とは関係ない被写体の色（緑色）や形状などが、虫の特徴量に混入してしまい、本来の虫の特徴量とのマッチングが困難になる可能性や、ピンボケにより本来の主要被写体の特徴量が抽出できずマッチングが困難になる可能性が低くなる。

＜第２実施形態＞
図８は第２実施形態に係る電子ルーペ１０のブロック図である。この電子ルーペ１０は複眼の撮像ユニット（第１ユニット・第２ユニット）を備えており、その各撮像ユニットに対応したシャッタ駆動回路１３０ａ・ｂ、絞り兼用シャッタ１３１ａ・ｂ、レンズ駆動回路１１０ａ・ｂ、フォーカスレンズ１１１ａ・ｂ、ズームレンズ１１２ａ・ｂ、タイミングジェネレータ１２０ａ・ｂ、ＣＣＤ１２１ａ・ｂ、ＡＤ変換器１０３ａ・ｂ、バッファメモリ１０５ａ・ｂ、合焦位置決定部１６０ａ・ｂを有している。

フォーカスレンズ１１１ａおよびズームレンズ１１２ａを撮像光学系に有する第１ユニットは、ＣＣＤ１２１ａにて被写体像を光電変換し、画像信号をＡＤ変換器１０３ａにてデジタル画像データに変換し、これをバッファメモリ１０５ａに記憶する。

フォーカスレンズ１１１ｂおよびズームレンズ１１２ｂを撮像光学系に有する第２ユニットは、ＣＣＤ１２１ａにて被写体像を光電変換し、画像信号をＡＤ変換器１０３ｂにてデジタル画像データに変換し、これをバッファメモリ１０５ｂに記憶する。第１および第２のユニットの撮像光学系は、所望の輻輳角（被写体を見込む角度）を持つよう本体部１１に配置されている。

バッファメモリ１０５ａ・ｂにそれぞれに記憶された画像データである第１画像データおよび第２画像データのＹＣ信号は、表示回路１７０によって読み出される。表示回路１７０は、第１・第２画像データのＹＣ信号を所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、表示部２０にて立体表示を行うための立体画像データに合成する。あるいは、表示回路１７０は、第１・２画像データを、それぞれ表示部２０にて単なる平面表示を行うための映像信号に変換することもできる。撮影モード時に表示部２０が電子ビューファインダとして使用される際には、合成された立体画像データが、表示回路１７０を介して表示部２０にスルー画として表示される。

画像処理回路１４０は、バッファメモリ１０５ａ・ｂにそれぞれに記憶された第１・２画像データに対して、各種の画像処理を施し、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。圧縮処理された各画像データは、記録メディア２００に記録される。

画像差分演算回路６３は、第１・２画像データのうち、所望の１つの基準画像と、それ以外の視点画像との差分情報を求める。その基準画像と各視点画像ごとの差分情報とを対応づけて記録しておけば、複数の視点画像をそのまま記録なくても、基準画像と各差分情報とをそれぞれ加算することで、基準画像以外の各視点画像を再現できる。

同一の被写体を複眼の撮像ユニット（第１ユニット・第２ユニット）で撮像すると、得られた複数の画像データには視差が生じる。一方のユニットで撮影した画像データの領域と、その領域に対応する他方のユニットで撮影した画像データの領域の視差に基づき、この領域の電子ルーペ１０からの距離を計算により求め、距離画像を作成することができる。なおこの距離を求める領域は、１画素を最小単位とすることができるが、それ以上のサイズでもよい。また撮像ユニットの数は３以上でもよいが、被写体距離や被写体の大きさを求めるには、２つで足りる。距離画像から被写体の実サイズの求める方式は何でもよい（例えば特許公開２００２−２９８１３８号公報）。

よって、画像データを所定のサイズの複数の小領域に分割した場合、電子ルーペ１０から各小領域の被写体部分までの距離を求めることができる。そうすると、第１実施形態のＳ３以降の処理が可能となる。ただし、本実施形態ではフォーカスブラケット撮影は行わないため、この小領域の区分は合焦位置決定部１６０がＲＡＷデータに設定した合焦評価値算出用の小領域と同じでなくてもよい。

図９は第２実施形態に係る主要被写体切り出し画像送信処理の流れを示すフローチャートである。この処理をＣＰＵ１００に実行させるためのプログラムはＲＯＭ１０２その他のコンピュータ読み取り可能な記録媒体に記録されている。

Ｓ１１では、距離画像を作成する。なお、上記と同様、撮影の際には、被写界深度が浅いと判定された場合には、絞り兼用シャッタ１３１ａ・ｂを制御して絞り径を小さくして被写界深度を深くするとともに、ＣＣＤ１２１ａ・ｂの感度を高めて画像の明るさを補正する。この場合、被写体からより近い位置に存在する撮像光学系の方が、より遠い位置に存在する撮像光学系よりも被写界深度を深くする必要があろう。

Ｓ１２では、ＣＰＵ１００は、第１・２画像データを、所定の区域に分割し、第１・２画像データに小領域を作る。そして、各画像データの小領域のうち、それらに対応する小領域ごとの被写体距離が同一または近接しているものであって、かつ互いに隣接するもの同士を統合する。次に、その統合領域のうち、主要被写体が属するものを特定する。そして、その主要被写体が属する統合領域を構成する画像データの各小領域（主要被写体所属小領域）に、主要被写体が属する旨のフラグを付与し、このフラグの付与された統合領域の座標情報を画像データと対応づけてＲＡＭ１０１に格納する。

主要被写体とそれ以外の被写体の区別は、画像中の位置や面積に応じて判断できる。例えば、より中心に近い方を主要被写体と区別したり、より面積の大きい方を主要被写体と区別できる。

Ｓ１３では、主要被写体を統合領域から切り出す。なお、距離画像からの物体識別は公知の各種方法で可能であるから（例えば特許公開２００８−６５６３４号公報）、距離画像から識別された物体のうち主要被写体を区別できれば、後はその主要被写体の輪郭に沿って距離画像から主要被写体を切り出す。

Ｓ１４では、切り出された主要被写体の画像をサーバ１５に送信する。なお、サーバ１５のデータベースには、距離画像に対応した画像特徴量を分類格納しておくとよい。例えば、主要被写体の輪郭のみならず、主要被写体の奥行きも画像特徴量に含めておく。こうすることで立体的な主要被写体の種類を特定できる。

＜その他の実施形態＞
第１実施形態では焦点距離から各小領域の距離を換算し、第２実施形態では視差から各小領域の距離を算出していた。これら以外にも、各小領域の距離を算出することは可能であり、例えばＴＯＦ（タイムオブフライト）などで各小領域の距離を算出してもよい。もっとも、画像の取得と距離の算出を同時に行うことができる点で、上記第１および第２実施形態は優れている。

また、主要被写体の切り出し元となる画像の作成の仕方も、第１実施形態のようにピントの合った小領域を張り合わせるものに限定されず、主要被写体が全体的にぼけていなければどのような技術を用いてもよい。例えば、光学的にボケた画像を撮影した後、そのボケを打ち消す画像処理を行い、その処理後画像から主要被写体部分のみを切り出してもよい。

さらに、主要被写体切り出し画像を作成する装置は、撮像回路を有した電子機器（電子ルーペ１０）に限らず、画像処理が可能なコンピュータを搭載しておれば足り、必ずしも自身が撮影した画像から主要被写体切り出し画像を作成しなくてもよい。例えば、パソコンがカメラで撮影した画像を取り込み、この画像から主要被写体切り出し画像を作成してもよい。

画像データベース照会システムの概略構成図 電子ルーペの表面の外観図 電子ルーペの裏面の外観図 電子ルーペの断面図 第１実施形態に係る電子ルーペの機能ブロック図 被写体（虫）に撮影レンズを向けている様子を示した図 第１実施形態に係る主要被写体切り出し画像送信処理の流れを示すフローチャート 第２実施形態に係る電子ルーペの機能ブロック図 第２実施形態に係る主要被写体切り出し画像送信処理の流れを示すフローチャート

符号の説明

１０：電子ルーペ、１５：サーバ、１００：ＣＰＵ、１１１：フォーカスレンズ、１１２：ズームレンズ、１２１：ＣＣＤ、１６０：合焦位置決定部、３００：通信Ｉ／Ｆ

Claims (10)

1. 撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像データに変換して出力する撮像部と、
   前記撮像部から出力された画像データ内の被写体までの距離を算出する被写体距離算出部と、
   前記被写体距離算出部の算出した被写体距離に基づいて、前記画像データ内の主要被写体を特定し、前記特定された画像データのうち主要被写体に相当する部分画像である主要被写体画像を前記画像データから抽出する主要被写体画像データ抽出部と、
   前記主要被写体画像データ抽出部の抽出した主要被写体画像を所定の電子機器に出力する出力部と、
   を備える撮像装置。
2. 前記被写体距離算出部は、前記画像データの高周波成分に基づいて定められた前記撮像レンズの焦点位置に従って前記被写体までの距離を算出する請求項１に記載の撮像装置。
3. 前記撮像部は、少なくとも２つの撮像光学系を有しており、
   前記被写体距離算出部は、前記少なくとも２つの撮像光学系から取得された複数の被写体像をそれぞれ光電変換して得られた多視点画像に基づいて被写体までの距離を算出する請求項１に記載の撮像装置。
4. 前記主要被写体画像データに関する付帯情報を取得する付帯情報取得部を備え、
   前記出力部は、前記付帯情報取得部が取得した付帯情報を前記主要被写体画像と対応づけて所定の電子機器に出力する請求項１〜３のいずれかに記載の撮像装置。
5. 前記付帯情報は、撮影日時、撮影場所、撮影条件、主要被写体のサイズ、色、形状のうち少なくとも１つを含む請求項４に記載の撮像装置。
6. 前記所定の電子機器は、所望の複数の画像データの画像特徴量と前記画像データの被写体に関する事典データとを対応づけて蓄積する事典データベースと、前記出力部から出力された主要被写体画像の画像特徴量と前記事典データベースの画像特徴量との照合に応じて前記主要被写体画像の特徴量に対応する事典データを前記事典データベースから抽出する抽出部とを備えたサーバを含む請求項１〜５のいずれかに記載の撮像装置。
7. 請求項１〜６のいずれかに記載の撮像装置と、
   所望の複数の画像データの画像特徴量と前記画像データの被写体に関する事典データとを対応づけて蓄積する事典データベースと、前記撮像装置の出力部から出力された主要被写体画像の画像特徴量と前記事典データベースの画像特徴量との照合に応じて前記主要被写体画像の特徴量に対応する事典データを前記事典データベースから抽出する抽出部とを備えたサーバと、
   を備える事典データベースシステム。
8. 前記抽出部の抽出した事典データを表示する事典データ表示部を備える請求項７に記載の事典データベースシステム。
9. 撮像レンズを介して受光した被写体像を光電変換して得られた電気信号を画像データに変換して出力するよう撮像回路を制御するステップと、
   前記撮像回路から出力された画像データ内の被写体までの距離を算出するステップと、
   前記算出した被写体距離に基づいて、前記画像データ内の主要被写体を特定し、前記特定された画像データのうち主要被写体に相当する部分画像である主要被写体画像を前記画像データから抽出するステップと、
   前記抽出した主要被写体画像を所定の電子機器に出力するようデータ出力回路を制御するステップと、
   をコンピュータに実行させる主要被写体画像出力方法。
10. 請求項９に記載の主要被写体画像出力方法をコンピュータに実行させるための主要被写体画像出力プログラム。

Images