JP2007142525A - 撮影装置、撮影モジュールおよび検索システム - Google Patents

Abstract

【課題】検索に必要な情報を人手によらずに検出し、検索の利便性を向上させる。
【解決手段】撮像装置にて花情報検索操作を行うと、ジャイロの出力に基づいて光軸の傾きが花の咲く方向として検出される。また、撮像された画像データからは花の特徴（花びらの枚数や色）が抽出される。これらの方向、枚数、色などを検索キーとして検索サーバに送ると、検索サーバがデータベースから条件に適った花情報を検索し、検索結果を撮像装置に送り返す。撮像装置では検索結果を表示する。
【選択図】図５

Description

本発明は、撮像した画像データに関する情報を検索するための便宜を図った撮影装置、撮影モジュールおよび検索システムに関する。

例えば花を撮像した際に、得られた画像データに基づいて花データベースから花の名前などの情報を検索し、検索結果を表示できるようにした電子カメラが提案されている（例えば、特許文献１参照）。このような検索機能をカメラに持たせることで、名前の知らない花を見つけたときに、その花を撮影するだけで手軽に花の名前等を知ることができる。

特開２００２−２４７４３６号公報

ところで、花の咲く方向は植物によって異なり、例えば菊などは上向きに咲くが、ひまわりは横向きに咲く。また下向きや斜め下向きに咲く花もある。このことから、花情報の検索の際に花の咲く方向を検索キーのひとつとすることで、的中率をアップさせることができる。しかし、画像データからは、画像認識技術によって花びらの枚数や色などの情報は得られても花の咲く向きまでは検知できず、必要なときはユーザが手動により入力する他はなく、不便である。

請求項１〜７の本発明に係る撮影装置は、被写体を撮像して電気的画像データに変換する撮像手段と、撮像時に撮影光軸の傾きに関する情報を検出し、検出結果を被写体情報検索の検索キーとして出力する検出手段とを具備する。
請求項２の発明では、検出手段が撮影装置本体に挿脱可能な画像記録媒体に設けられている。
請求項３の発明は、画像データを解析して被写体の特徴を抽出し、その特徴を更なる検索キーとして出力する画像認識手段を更に備える。
請求項４の発明は、撮影日付と撮影位置とを検出して撮影時の季節を判別し、その判別結果を更なる検索キーとして出力する季節判別手段を更に備える。
請求項５の発明は、被写体の高さを入力する入力手段を更に備え、入力された高さを更なる検出キーとして出力する。
請求項６の発明では、情報検索の対象となる被写体は植物であり、上記撮影光軸の傾きに関する情報は、花の咲く方向を表す情報として出力される。
請求項７の発明は、被写体に関する情報を格納するデータベースと、上記検索キーに基づいて前記データベースから情報を検索する検索手段とを更に備える。
請求項８の発明に係る撮影モジュールは、被写体を撮像して電気的画像データに変換する撮像手段と、撮像手段を構成する撮像素子と同一の基板に設けられ、撮像手段の光軸の傾きを検出する検出手段と、検出手段が検出した傾きと、撮像手段が変換した電気的画像データとを出力する出力手段とを具備する。
請求項９の発明に係る検索システムは、上述した撮影装置と、撮影装置とネットワーク接続可能な検索サーバとを備える。検索サーバは、被写体に関する情報を格納するデータベースを保有し、撮影装置から送信された検索キーに基づいてデータベースから情報を検索し、検索結果を撮影装置に送信する。

本発明によれば、撮像時に撮影光軸の傾きに関する情報を検出し、検出結果を被写体情報検索の検索キーとして出力するようにしたので、被写体の向きに関する情報を検索キーとして入力する手間が省け、検索の利便性が高まる。

−第１の実施形態−
図１〜図５により本発明の第１の実施形態を説明する。
図１は本実施形態における検索システムの構成図である。この検索システムは、カメラ付き携帯電話機（撮像装置）１００で撮影した花の画像データ、およびその他の情報を検索サーバ２００に送り、検索サーバ２００にてその花の名前などの情報を検索して携帯電話機１００に送り返すことを可能にするものである。検索サーバ２００は、花の情報を格納した図鑑データベース２０１と検索エンジン２０２とを有し、ネットワーク上に置かれる。携帯電話機１００は、通信回線網３００を介して検索サーバ２００にインターネット接続可能であり、サーバ２００との間で情報の授受が行える。

図２に示すように、携帯電話機１００は、一般的なものと同様に数字キー１１１ａやメニュー選択ボタン１１１ｂなどが配置される本体部１１０と、液晶ディスプレイ１２１が配置されるディスプレイ部１２０とから構成され、両者はヒンジ部を介して折り畳み可能である。本体部１１０にはメモリカードスロット１１２が設けられ、ここに画像記録媒体としてのメモリカードＭＣが挿脱可能である。数字キー１１１ａは、通常は電話番号の入力やメールアドレスの入力などに用いられるが、花情報検索においては植物の高さ入力に用いられる。

ディスプレイ部１２０の液晶ディスプレイ１２１は、カラー表示が可能な液晶表示装置であり、その画面に画像や種々の情報を表示させることができる。またディスプレイ部１２０には、撮像モジュール１２２および位置情報検出用のＧＰＳ（Global Positioning System）モジュール１２３も設けられる。

図３は携帯電話機１００の制御ブロック図である。上記撮像モジュール１２２は、撮影レンズ１２２ａと、撮像素子１２２ｂと、画像処理回路１２２ｃとを有する。撮影レンズ１２２ａはディスプレイ部１２０の外面から露出し、その光軸（撮影光軸）Ｌは液晶ディスプレイ１２１のディスプレイ画面とほぼ直交する。撮影の際には本体部１１０とディスプレイ部１２０を開き、液晶ディスプレイ１２１をファインダとして見ながら構図を決定する。

撮影レンズ１２２ａを透過した被写体光束は、撮像素子１２２ｂに撮像され、電気的画像信号に変換された後、画像処理回路１２２ｃで種々の処理が加えられ、画像データが生成される。画像データは、ＭＰＵ１１３およびメモリカードコネクタ１１４を介してメモリカードＭＣに記録される。

メモリカードＭＣはジャイロＧＲを内蔵しており、カード装填時にコネクタ１１４を介してＭＰＵ１１３がジャイロ出力を読み取ることができる。ジャイロＧＲは一般的なもので、コネクタ１１４に挿入されているときはＭＰＵ１１３はジャイロ出力により本体部１１０の水平方向に対する傾きを検知できる。そして、ジャイロ出力にディスプレイ部１２０と本体部１１０との開き角を加味することで、撮影光軸Ｌの水平方向に対する傾きθ（図４（ａ））を求めることができる。

ＭＰＵ１１３にはまた、上述した液晶ディスプレイ１２１、ＧＰＳモジュール１２３、数字キー１１１ａ、メニュー選択ボタン１１１ｂなどが接続されるとともに、画像データを一時記憶するフレームメモリ１１５と、時計１１６と、通信モジュール１１７と、プログラムメモリ１１８とが接続される。

次に、本実施形態における花の情報検索について説明する。
検索に必要な検索情報（検索キー）は、花の咲く方向、花びらの色、花びらの枚数、花の咲く季節、植物全体の高さである。これらの検索情報を携帯電話機１００が取得して検索サーバ２００に送ると、検索サーバ２００側の検索エンジン２０２は、携帯電話機１００から送られた検索情報に基づいて、それらの条件に適った花データを図鑑データベース２０１から検索し、検索結果を携帯電話機１００に送り返す。図鑑データベース２０１には、花の種類や名前などの生態情報と花のサンプル画像とが、花の咲く方向、花びらの色、花びらの枚数、花の咲く季節、植物全体の高さに対応づけられて格納されている。送り返される検索結果は、上記生態情報とサンプル画像である。

図５のフローチャートを参照して、携帯電話機側で行われる花情報検索関連処理の詳細を説明する。なお、ジャイロ付きメモリカードＭＣはカードスロット１１２に装填されているものとする。また携帯電話機本来の動作は従来と同様であり、図示および説明を省略する。

携帯電話機１００の電源が投入されると、ＭＰＵ１１３が図５のプログラムを起動し、ステップＳ１で検索操作がなされるのを待つ。ユーザは、検索する花の正面に撮影レンズ１２２ａを向け、この状態で例えばメニュー選択ボタン１１１ｂにより検索動作を選択する。ＭＰＵ１１３は、検索動作の選択により検索操作がなされたと判断し、ステップＳ２でジャイロＧＲの出力を読み取って花の咲く方向を求める。以下にその求め方を示す。

上述したように、ジャイロ出力から本体部１１０の水平方向に対する傾きが分かり、更に撮像を行う際の本体部１１０とディスプレイ部１２０との開き角がほぼ一定であることを加味すれば、ジャイロ出力から撮影光軸Ｌの水平に対する傾きθ（図４）が得られる。花情報検索の際には花を正面から撮影するのが基本なので、撮影光軸Ｌの傾きθは花の咲く方向とほぼ一致することになる。例えば図４（ａ）のように花が斜め下向きに咲いている場合は、撮影光軸Ｌは斜め上向きとなり、図４（ｂ）のように花が横向きに咲いている場合は、撮影光軸Ｌはほぼ水平方向を向く。図示はしていないが、花が真上に向いて咲いていれば撮影光軸Ｌはほぼ鉛直下向きとなる。検出されたθは、花の咲く方向を表す第１の検索キーとして記憶される。
なお、検索の際には花を正面から撮影すべき旨を取扱説明書などに明記しておくことが望ましい。

このように、検索キーの一つである花の咲く方向を携帯電話機１００が自動的に検出できるようにしたので、花の咲く方向を手動によって入力する手間が省ける。

次に、ステップＳ３で撮像を行い、得られた画像データをステップＳ４でフレームメモリ１１５に一時記憶する。ステップＳ５では、現在の季節を「花の咲く季節」として求める。これは、時計１１６から得られる撮影日付と、ＧＰＳモジュール１２３から得られる撮影場所（カメラの位置情報で、緯度、経度、標高を含む）とをパラメータとし、所定の季節判定アルゴリズムによって求めることができる。例えば、撮影日が４月で撮影場所が東京であれば、季節は「春」と判定される。また、撮影日が同じ４月でも東京より北の地方、あるいは東京近郊であっても標高が高い場所では、「冬」と判定される場合もある。求めた季節は第２の検索キーとして記憶される。このように、花の咲く季節を携帯電話機１００が自動的に取得するので、花の咲く季節を手動で入力する手間が省ける。

ステップＳ６では、画像認識技術を用いて画像データを解析することで、画像データ中の花を特定し、花びらの枚数および花びらの色を検出する。これらは第３，第４の検索キーとして記憶される。このように、花びらの枚数および色を携帯電話機１００が画像データから自動的に抽出するので、これらを手動で入力する手間が省ける。

ステップＳ７では、その花が咲く植物の高さを入力するようＭＰＵ１１３は液晶ディスプレイ１２１にメッセージを表示する。すなわち、植物の高さは携帯電話機１００が自動的に検出することはできないので、ユーザが実物を見ておおよその高さを入力する。例えば５０ｃｍ程度であれば、数字キー１１１ａを使って「５０」と入力すればよい。この数値は液晶ディスプレイ１２１に表示されるとともに、第５の検索キーとして記憶される。
なお、第１〜第５の検索キーの取得順序は上記に限定されない。

ＭＰＵ１１３は、ステップＳ８で高さ入力があったことを確認すると、ステップＳ９で通信モジュール１１７を制御し、上記第１〜第５の検索キー、すなわち撮影光軸Ｌの角度（花の咲く方向）θ、季節、花びらの枚数と色、植物の高さを検索サーバ２００に送信する。ステップＳ１０では、検索サーバ２００から検索結果が送信されてくるのを待つ。検索サーバ２００からの検索結果を受信すると、ステップＳ１１でその検索結果を液晶ディスプレイ１２１に表示する。その後、ステップＳ１２で検索終了操作を待ってステップＳ１に戻る。

次に、検索サーバ２００における動作を図６により説明する。
検索エンジン２０２は、ステップＳ１０１で携帯電話機１００からの検索キーを受信すると、まずステップＳ１０２で図鑑データベース２０１から、第１の検索キーである花の咲く方向に適合した花を全て抽出する。次に、この抽出された花の集合に対し、第３の検索キーである花びらの枚数で絞り込み検索を行い、適合する花を全て抽出する（ステップＳ１０３）。さらに、ステップＳ１０３で抽出された花の集合に対し、第４の検索キーである花びらの色で絞り込み検索を行い、適合する花を抽出する（ステップＳ１０４）。

さらに、ステップＳ１０４で抽出された花の集合に対し、第２の検索キーである花の咲く季節で絞り込み検索を行い、適合する花を抽出する（ステップＳ１０５）。最後に、ステップＳ１０５で抽出された花の集合に対し、第５の検索キーである植物の高さで絞り込み検索を行い、適合する花を抽出する（ステップＳ１０６）。そして、検索エンジン２０２は、最終的に抽出された花に対応する生態情報とそのサンプル画像を図鑑データベース２０１から読み出し、携帯電話機１００に送信する（ステップＳ１０７）。
なお、絞り込みの順序は上記に限定されない。

ここで、最終的に抽出される花情報は１つの花とは限らず、複数の花情報が抽出されることもある。検索サーバ２００は、その全ての生態情報とサンプル画像とを携帯電話機１００に送る。携帯電話機１００側でサンプル画像を順に表示すると、携帯電話機１００を操作する者は実物と見比べながら最終的に１つに絞り込むことができ、目的とする花の名前などの情報が分かる。また受信した情報に正解がなかった場合は、画像データに不備があると考えられるので（例えば、ピントが合っていない、あるいは構図がよくない）、その点を注意して操作者は撮影と検索をやり直せばよい。

−第２の実施形態−
以上ではジャイロＧＲをメモリカードＭＣに設けたが、携帯電話機１００内に固定的に設けてもよい。図７はその一例を示し、図３と同様の構成要素には同一の符号を付してある。 ジャイロＧＲは、撮像モジュール１２２内において、撮像素子１２２ｂや画像処理回路１２２ｃを実装する撮像基板１２２ｄに実装されている。ジャイロＧＲの出力が表す角度を撮影光軸Ｌの水平方向に対する角度に変換する変換式をメモリ内に格納しておけば、この変換式を実行することにより正確な光軸の傾きを検出できる。
また、撮像基板１２２ｄにはコネクタ（不図示）が設けられている。

この構造では、ジャイロＧＲは撮影光軸Ｌの傾きを検出する（先の実施形態では本体部１１０の傾きを検出している）ことになるので、ディスプレイ部１２０の本体部１１０に対する開き角を加味することなく撮影光軸Ｌの傾きを検出でき、花の咲く方向を正確に検知できる。例えばディスプレイ部１２０を完全に開き切って撮像を行った場合と、閉じ加減で撮像を行った場合とで検出結果に差が生ずることはない。特にジャイロＧＲを撮像素子１２２ｂと同一の基板１２２ｃに実装することで、構成部品の撓みなどによるジャイロ出力が表す角度と撮影光軸Ｌとの角度ずれを最小限に抑えることができ、精度の高い傾き検出が可能である。

−第３の実施形態−
撮像装置は携帯電話機に限定されず、撮像機能を持つ機器であれば何でもよい。図８，図９は一般的な電子カメラ５００を用いた例を示している。電子カメラ５００の上面にはレリーズボタン５０１が設けられ、背面には液晶ディスプレイ５０２とメニュー選択ボタン５０３とが設けられる。また、上述したジャイロ付きメモリカードＭＣが装填可能なカードスロットが設けられ、メモリカードコネクタ５０５を介して画像データ等がメモリカードＭＣに記録される。撮像系および制御系の構成は、花情報検索に関わる部分は先の携帯電話機と実質的に同様である。ただし、カメラには数字キーがないので、植物の高さの入力は後述のように選択形式で行う。

花情報検索モードを設定してレリーズボタン５０１を操作すると、図５と同様の手順で光軸の傾き（花の咲く方向）の検出、撮像、季節演算、花びらの枚数・色の抽出が順に行われ、次いで図９のような選択画面が液晶ディスプレイ５０２に表示される。これは植物の高さ入力メニューを示し、複数の高さに関する選択肢が表示される。ユーザは、ボタン５０３などの操作によりいずれかの選択肢にカーソルＣＳを合わせ、次いで決定の操作を行うと、その高さが第５の検索キーとして記憶される。例えば５０ｃｍ程度の植物であれば、「３０ｃｍ〜６０ｃｍ」を選択すればよい。
ここまでで第１〜第５の選択キーが揃ったので、上述と同様の手順により検索サーバ２００に検索キーを送信し、検索結果を受信して液晶ディスプレイ５０２に表示する。

なお、植物の高さの選択肢の内容は図９に限定されない。また本実施形態の高さ入力方法を携帯電話機で用いてもよい。さらに電子カメラ５００において、第２の実施形態のようにジャイロＧＲを撮像モジュール内に設けてもよい。

以上の第１〜第３の実施形態では検索サーバをネットワーク上に置いたが、撮像装置（携帯電話機またはカメラなど）がデータベースおよび検索エンジンを内蔵していてもよい。これによれば、撮像装置にネットワーク通信手段を設ける必要はなく、検索サーバも不要となる。全検索処理が撮像装置内で完結するので、検索開始から結果表示までの時間を短縮できる。また検索対象は花（植物）に限定されない。

本発明の一実施形態における花情報検索システムの構成図。 検索システムを構成する携帯電話機の外観図。 上記携帯電話機の制御ブロック図。 花の咲く方向の検出方法を説明する図。 携帯電話機における検索関連処理の内容を示すフローチャート。 検索サーバにおける検索処理の内容を示すフローチャート。 傾き検出用のジャイロを撮像モジュール内に設けた例を示す図。 花情報検索機能を持つ電子カメラの背面図。 上記電子カメラにおける植物の高さ入力用の画面例を示す図。

符号の説明

１００ 携帯電話機
１２２ 撮像モジュール
１２２ａ 撮影レンズ
１２２ｂ 撮像素子
１２２ｄ 撮像基板
１１３ 時計
１２３ ＧＰＳモジュール
２００ 検索サーバ
５００ 電子カメラ
ＧＲ ジャイロ
Ｌ 撮影光軸
ＭＣ メモリカード
θ 撮影光軸の傾き

Claims (9)

1. 被写体を撮像して電気的画像データに変換する撮像手段と、
   撮像時に撮影光軸の傾きに関する情報を検出し、その検出結果を被写体情報検索の検索キーとして出力する検出手段とを具備することを特徴とする撮影装置。
2. 前記検出手段は、撮影装置本体に挿脱可能な画像記録媒体に設けられていることを特徴とする請求項１に記載の撮影装置。
3. 前記画像データを解析して被写体の特徴を抽出し、該特徴を更なる検索キーとして出力する画像認識手段を更に備えることを特徴とする請求項１に記載の撮影装置。
4. 撮影日付と撮影位置とを検出して撮影時の季節を判別し、その判別結果を更なる検索キーとして出力する季節判別手段を更に備えることを特徴とする請求項１に記載の撮影装置。
5. 被写体の高さを入力する入力手段を更に備え、入力された高さを更なる検出キーとして出力することを特徴とする請求項１に記載の撮影装置。
6. 前記情報検索の対象となる被写体は植物であり、前記撮影光軸の傾きに関する情報は、花の咲く方向を表す情報として出力されることを特徴とする請求項１に記載の撮影装置。
7. 被写体に関する情報を格納するデータベースと、
   前記検索キーに基づいて前記データベースから情報を検索する検索手段とを更に備えることを特徴とする請求項１に記載の撮影装置。
8. 被写体を撮像して電気的画像データに変換する撮像手段と、
   前記撮像手段を構成する撮像素子と同一の基板に設けられ、前記撮像手段の光軸の傾きを検出する検出手段と、
   前記検出手段が検出した傾きと、前記撮像手段が変換した電気的画像データとを出力する出力手段とを具備することを特徴とする撮影モジュール。
9. 請求項１〜６のいずれかに記載の撮影装置と、
   該撮影装置とネットワーク接続可能な検索サーバとを備え、
   該検索サーバは、被写体に関する情報を格納するデータベースを保有し、前記撮影装置から送信された検索キーに基づいて前記データベースから情報を検索し、検索結果を前記撮影装置に送信することを特徴とする検索システム。

Images