JP2006178828A - 被写体情報検索システム - Google Patents

Abstract

【課題】 オペレータが、デジタルカメラ機能を有する携帯情報端末を用いた撮影の現場において、高速に、しかも高い検索精度を持って被写体情報を入手することができる被写体情報検索システムを実現する。
【解決手段】 シャッター釦２１の半押し状態で、環境情報および過去の検索ヒット履歴情報５２に基づいてテキスト形式のメタデータである撮影前検索情報を生成し、被写体情報検索サーバー７０において、この撮影前検索情報を用いて被写体情報１０１から候補被写体情報５１を高速で取得し、携帯情報端末１０は、候補被写体情報５１を用いて撮影された被写体の被写体情報を確定することとしているので、携帯情報端末１０は、候補被写体情報５１を早期に取得することができ、しかも撮影現場で候補被写体情報５１から被写体情報の確定を行うので、高い検索精度を持って被写体情報の取得を行うことを実現させる。
【選択図】 図１

Description

この発明は、被写体を撮影するデジタルカメラ部を有する携帯情報端末および前記携帯情報端末に被写体情報を提供する被写体情報検索サーバーを有する被写体情報検索システムに関する。

近年、携帯電話にデジタルカメラが装着される一方で、デジタルカメラも情報端末的な機能が搭載された携帯情報端末となりつつある。そして、オペレータは、デジタルカメラ機能を有する携帯情報端末を用いて被写体の撮影を行う際に、従来のように被写体の画像情報に加え、情報端末的な機能を用いて、この被写体に関連した様々な被写体情報も同時に取得することができつつある。

ここで、オペレータは、取得した被写体の画像情報を、無線あるいは有線の通信回線を介して、被写体情報のデータベースをなす被写体情報検索サーバーに送信する。そして、被写体情報検索サーバーは、この画像情報から生成されるテキスト形式のメタデータである検索情報に基づいて、被写体情報の検索を行い、撮影が行われた被写体に関連する被写体情報を取得する。

その後、被写体情報検索サーバーは、取得された被写体情報を携帯情報端末に送信する。オペレータは、この被写体情報を、例えば表示機能の付いた携帯情報端末を用いて、撮影した被写体の画像情報と共に参照し、利便性の高い様々の付加的情報を取得する（例えば、特許文献１参照）。
特開２００４―２３４４６５号公報、（第１頁、図１）

しかしながら、上記背景技術によれば、携帯情報端末が、被写体情報検索サーバーから、撮影する被写体の被写体情報を取得するまでに多くの時間を要すると共に、取得された被写体情報は、検索精度の高いものとはならない。

すなわち、被写体情報検索サーバーは、画像情報を取得してから検索情報の生成および検索を行うが、この生成および検索には、時間がかかる。さらに、被写体情報検索サーバーは、共用となってるために多くのユーザーによる時分割処理を行い、画像情報を取得した後も、被写体情報の取得にさらに多くの時間を要する。

一方、携帯情報端末のオペレータにとって、撮影現場で取得された画像情報、例えばレストラン等の建家の画像に対して、この画像情報に関連した被写体情報は即時入手されることが好ましく、入手が遅延することは、そのまま被写体情報の情報価値を減じることにもなる。

また、入手される被写体情報は、被写体情報検索サーバーに送信された画像情報に基づいて取得される。この場合、被写体情報は、画像情報同志の比較あるいはパターン認識等の多くの処理工程を経て取得されるため、オペレータが望む被写体情報とは異なる間違いも生じる。

これらのことから、オペレータが、デジタルカメラ機能を有する携帯情報端末を用いた撮影の現場において、高速に、しかも高い検索精度を持って被写体情報を入手することができる被写体情報検索システムをいかに実現するかが重要となる。

この発明は、上述した背景技術による課題を解決するためになされたものであり、オペレータが、デジタルカメラ機能を有する携帯情報端末を用いた撮影の現場において、高速に、しかも高い検索精度を持って被写体情報を入手することができる被写体情報検索システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の発明にかかる被写体情報検索システムは、被写体を撮影するデジタルカメラ部を有する携帯情報端末と、複数の被写体の被写体情報を保存する被写体情報検索サーバーと、前記携帯情報端末および前記被写体情報検索サーバー間で通信を行う通信手段と、を備える被写体情報検索システムであって、前記携帯情報端末は、前記撮影を行う前に、前記被写体情報を検索する際の撮影前検索情報を生成する撮影前検索情報生成手段および前記撮影前検索情報を前記被写体情報検索サーバーに送信する検索情報送信手段を有し、前記被写体情報検索サーバーは、前記撮影前検索情報に基づいて、前記被写体情報の検索を行い前記撮影される被写体の複数の候補被写体情報を取得する候補情報検索手段および前記複数の候補被写体情報を前記携帯情報端末に送信する候補情報送信手段を有し、前記携帯情報端末は、前記撮影を行った後に、前記撮影された被写体画像情報から撮影後検索情報を生成する撮影後検索情報生成手段、並びに、前記被写体画像情報および前記撮影後検索情報の少なくとも１つを用いて、前記複数の候補被写体情報の検索を行い前記撮影された被写体の被写体情報を確定する被写体情報検索手段を有することを特徴とする。

この請求項１に記載の発明では、携帯情報端末は、撮影を行う前に、撮影前検索情報生成手段により被写体情報を検索する際の撮影前検索情報の生成および検索情報送信手段により撮影前検索情報を被写体情報検索サーバーに送信し、被写体情報検索サーバーは、候補情報検索手段により、この撮影前検索情報に基づいて、被写体情報の検索を行い撮影される被写体の複数の候補被写体情報の取得および候補情報送信手段により、複数の候補被写体情報を携帯情報端末に送信し、さらに携帯情報端末は、撮影を行った後に、撮影後検索情報生成手段により撮影された被写体画像情報から撮影後検索情報の生成、並びに、被写体情報検索手段により、被写体画像情報および撮影後検索情報の少なくとも１つを用いて、複数の候補被写体情報の検索を行い、撮影された被写体の被写体情報を確定する。

また、請求項２に記載の発明にかかる被写体情報検索システムは、請求項１において、前記携帯情報端末が、前記被写体画像情報と共に前記被写体情報を表示する表示手段を備えることを特徴とする。

また、請求項３に記載の発明にかかる被写体情報検索システムは、請求項１または２において、前記携帯情報端末は、前記被写体情報の確定が行われた際に、前記撮影後検索情報を、検索ヒット履歴情報として保存することを特徴とする。

また、請求項４に記載の発明にかかる被写体情報検索システムは、請求項３において、前記撮影前検索情報が、前記検索ヒット履歴情報を含むことを特徴とする。
また、請求項５に記載の発明にかかる被写体情報検索システムは、請求項１ないし４のいずれか１つにおいて、前記携帯情報端末が、前記撮影を行う際の環境情報を収集する環境センサを備えることを特徴とする。

また、請求項６に記載の発明にかかる被写体情報検索システムは、請求項５において、前記環境センサが、前記携帯情報端末の地理的位置を計測する位置センサ、地理的高度を計測する高度センサ、環境温度を計測する温度センサ、環境湿度を計測する湿度センサ、前記撮影される被写体の方角を計測する方角センサおよび環境気圧を計測する気圧センサの少なくとも１つを含むことを特徴とする。

また、請求項７に記載の発明にかかる被写体情報検索システムは、請求項５または６において、前記撮影前検索情報が、前記環境情報を含むことを特徴とする。
また、請求項８に記載の発明にかかる被写体情報検索システムは、請求項１ないし７のいずれか１つにおいて、前記撮影前検索情報生成手段および前記検索情報送信手段が、前記撮影前検索情報を、前記撮影の直前に行われる調整動作に同期して生成および送信することを特徴とする。

また、請求項９に記載の発明にかかる被写体情報検索システムは、請求項８において、前記調整動作が、自動露出調整、自動焦点調整および自動ホワイトバランス調整の少なくとも１つの調整動作を含むことを特徴とする。

また、請求項１０に記載の発明にかかる被写体情報検索システムは、請求項８または９において、前記調整動作が、前記携帯情報端末が前記撮影を起動するシャッター釦を有する際に、前記シャッター釦の半押し動作に同期されることを特徴とする。

また、請求項１１に記載の発明にかかる被写体情報検索システムは、請求項８ないし１０のいずれか１つにおいて、前記撮影前検索情報生成手段が、前記調整動作の際に取得される調整画像情報に含まれる色彩情報を前記撮影前検索情報に含ませることを特徴とする。

また、請求項１２に記載の発明にかかる被写体情報検索システムは、請求項１ないし１１のいずれか１つにおいて、前記被写体情報検索サーバーが、前記候補情報送信手段を介して送信された前記複数の候補被写体情報の、前記携帯情報端末ごとの履歴情報を保存する履歴保存手段を備えることを特徴とする。

また、請求項１３に記載の発明にかかる被写体情報検索システムは、請求項１２において、前記被写体情報検索サーバーが、前記履歴保存手段に記録された候補被写体情報を、同一の携帯情報端末に送信することを防止する再送防止手段を備えることを特徴とする。

また、請求項１４に記載の発明にかかる被写体情報検索システムは、請求項１ないし１３のいずれか１つにおいて、前記被写体情報検索サーバーが、前記複数の候補被写体情報に画像情報を含む際に、前記画像情報を圧縮する画像圧縮手段を備えることを特徴とする。

また、請求項１５に記載の発明にかかる被写体情報検索システムは、請求項１４において、前記携帯情報端末が、前記圧縮された画像情報を解凍する画像解凍手段を備えることを特徴とする。

以上説明したように、請求項１に記載の発明によれば、携帯情報端末は、撮影を行う前に、撮影前検索情報生成手段により被写体情報を検索する際の撮影前検索情報の生成および検索情報送信手段により撮影前検索情報を被写体情報検索サーバーに送信し、被写体情報検索サーバーは、候補情報検索手段により、この撮影前検索情報に基づいて、被写体情報の検索を行い撮影される被写体の複数の候補被写体情報の取得および候補情報送信手段により、複数の候補被写体情報を携帯情報端末に送信し、さらに携帯情報端末は、撮影を行った後に、撮影後検索情報生成手段により撮影された被写体画像情報から撮影後検索情報の生成、並びに、被写体情報検索手段により、被写体画像情報および撮影後検索情報の少なくとも１つを用いて、複数の候補被写体情報の検索を行い、撮影された被写体の被写体情報を確定することとしているので、被写体情報検索サーバーは、撮影前に撮影前検索情報を用いた検索を開始し、高速に候補被写体情報を取得し、携帯情報端末は、この候補被写体情報から、被写体情報を高い検索精度で取得することができ、ひいては撮影の現場で、オペレータは、撮影とほぼ同期して高い検索精度の被写体情報を入手し、役立てることができる。

請求項２に記載の発明によれば、被写体画像情報と共に被写体情報を表示し、オペレータによる被写体情報の活用を容易に行うことができる。
請求項３に記載の発明によれば、被写体情報の確定が行われた際の撮影後検索情報を、検索ヒット履歴情報として保存することとしているので、検索ヒット履歴情報を参照することにより、この後に行われる検索での被写体情報の確定を、高い検索精度で行うことができる。

請求項４に記載の発明によれば、撮影前検索情報は、検索ヒット履歴情報を含むこととしているので、撮影前に行われる被写体情報の検索を、高い検索精度で行うことができる。

請求項５に記載の発明によれば、携帯情報端末は、環境センサにより、撮影を行う際の環境情報を収集することとしているので、環境情報を検索情報として用いることができる。

請求項６に記載の発明によれば、環境センサは、位置センサ、高度センサ、温度センサ、湿度センサ、方角センサおよび気圧センサの少なくとも１つを含むこととしているので、位置情報、高度情報、温度情報、湿度情報、方角情報および気圧情報の少なくとも１つを検索情報として用いることができる。

請求項７に記載の発明によれば、撮影前検索情報は、環境情報を含むこととしているので、撮影前に行われる被写体情報の検索で、環境情報に基づいた候補被写体情報を取得することができる。

請求項８に記載の発明によれば、撮影前検索情報を、撮影の直前に行われる調整動作に同期して生成および送信することとしているので、オペレータが意識することなく確実に撮影前検索情報の生成および送信を行うことができる。

請求項９に記載の発明によれば、調整動作は、自動露出調整、自動焦点調整および自動ホワイトバランス調整の少なくとも１つの調整動作を含むこととしているので、オペレータは、良好な被写体画像を得ることができる。

請求項１０に記載の発明によれば、調整動作は、シャッター釦の半押し動作に同期されることとしているので、撮影状態を維持したまま、簡便に調整動作を行うことができる。
請求項１１に記載の発明によれば、調整動作の際に取得される調整画像情報に含まれる色彩情報を撮影前検索情報に含ませることとしているので、色彩情報に基づいた候補被写体情報を取得することができる。

請求項１２に記載の発明によれば、被写体情報検索サーバーは、履歴保存手段により、送信される複数の候補被写体情報の携帯情報端末ごとの履歴情報を保存することとしているので、携帯情報端末ごとの候補被写体情報を管理することができる。

請求項１３に記載の発明によれば、被写体情報検索サーバーは、再送防止手段により、履歴保存手段に記録された候補被写体情報を、同一の携帯情報端末に送信することを防止することとしているので、不要な送信を省き、送信時間を短縮することができる。

請求項１４に記載の発明によれば、候補被写体情報に画像情報を含む際に、画像圧縮手段により、この画像情報を圧縮することとしているので、送信時間を短縮することができる。

請求項１５に記載の発明によれば、画像解凍手段により、圧縮された画像情報を解凍することとしているので、携帯情報端末において画像情報を含む候補被写体情報の検索を行うことができる。

以下に添付図面を参照して、この発明にかかる被写体情報検索システムを実施するための最良の形態について説明する。なお、これにより本発明が限定されるものではない。
まず、本実施の形態にかかる被写体情報検索システムの全体構成について説明する。図１は、本実施の形態にかかる被写体情報検索システムの全体構成を示す機能ブロック図である。本実施の形態にかかる被写体情報検索システムは、携帯情報端末１０、被写体情報検索サーバー７０およびデータ通信手段１１０を含む。また、携帯情報端末１０は、デジタルカメラ部２０、環境センサ３０、演算部４０、記憶部５０およびインターフェース６０を含み、被写体情報検索サーバー７０は、大容量記憶部１００、演算部９０およびインターフェース８０を含む。ここで、大容量記憶部１００は、様々な被写体の被写体情報１０１、例えば被写体がレストランである場合にはこのレストランの建家の画像およびこのレストランが提供する食事内容あるいは被写体が花である場合にはこの花の画像およびこの花の名前等を、保存している。そして、携帯情報端末１０は、被写体の撮影を行い、被写体情報検索サーバー７０は、概ね撮影に同期してこの被写体の被写体情報を携帯情報端末１０に提供する。なお、データ通信手段１１０は、無線あるいは有線の通信手段であり、ＣＳＭＡ／ＣＤ方式等を用いた無線あるいは有線の通信手段も含む。以下、各部の構成を詳細に説明する。

デジタルカメラ部２０は、シャッター釦２１、撮像部２２、画像記憶部２４および表示手段２３を含み、被写体のデジタル画像情報を取得する。撮像部２２は、レンズ、ＣＣＤ型あるいはＣＭＯＳ型等の固体撮像素子、この固体撮像素子上に結像される被写体画像の自動露出調整、自動焦点調整および自動ホワイトバランス調整等を行う調節機構および操作部を含む。シャッター釦２１は、半押し状態で上記調節機構を起動し、全押し状態で撮像を行い被写体画像のデジタル画像情報を取得する。画像記憶部２４は、このデジタル画像情報を記憶するメモリである。表示手段２３は、ＬＣＤ等の小型、軽量ディスプレイで、調整中あるいは取得後の被写体画像を表示する。なお、表示手段２３には、被写体画像に加え、様々なテキスト形式の付加的情報、例えば日付等の撮影条件、被写体情報等が表示される。

環境センサ３０は、位置センサであるＧＰＳ（グローバルポジショニングシステム；全地球測位システム）、高度センサ、温度センサ、湿度センサ、方角センサおよび気圧センサ等を含み、デジタルカメラ部２０で撮影を行う場所の、様々な環境情報を取得する。なお、これら環境情報の取得は、シャッター釦２１の半押し状態で調節機構の起動と同時に行われる。

演算部４０は、撮影前検索情報生成手段４１、撮影後検索情報生成手段４２、被写体情報検索手段４３および画像解凍手段４４等を含む。撮影前検索情報生成手段４１は、撮影前検索情報の生成行う。ここで、撮影前検索情報は、被写体情報検索サーバー７０が、大容量記憶部１００の被写体情報１０１から、撮影される被写体の候補となる複数の候補被写体情報５１を検索および取得する際の基準とされるテキスト形式のメタデータである。この撮影前検索情報は、環境センサ３０で取得される環境情報、例えば撮影を行う携帯情報端末１０の位置情報および後述する検索ヒット履歴情報５２を用いて、オペレータが撮影を行う前のシャッター釦２１が半押し状態となった際に生成される。

記憶部５０は、後述する候補被写体情報５１および検索ヒット履歴情報５２等を保存する小型、軽量の不揮発性メモリである。近年、メモリの大容量化および小型化は著しいものがあり、携帯用機器に大容量のハードディスクあるいはフラッシュメモリを用いたメモリカード等を用いることもできる。

インターフェース６０は、検索情報送信手段６１および候補情報受信手段６２等を含む。検索情報送信手段６１は、演算部４０で生成された撮影前検索情報を、データ通信手段１１０を介して、被写体情報検索サーバー７０に送信する。なお、この送信は、撮影前検索情報生成手段４１が撮影前検索情報を生成すると同時に行われる。

被写体情報検索サーバー７０のインターフェース８０は、検索情報受信手段８１および候補情報送信手段８２を含む。検索情報受信手段８１は、データ通信手段１１０から、携帯情報端末１０で生成された撮影前検索情報を受信する。

被写体情報検索サーバー７０の演算部９０は、候補情報検索手段９１、履歴保存手段９２、再送防止手段９３および画像圧縮手段９４を含む。候補情報検索手段９１は、検索情報受信手段８１が受信した撮影前検索情報を用いて、大容量記憶部１００の被写体情報１０１を検索し、複数の候補被写体情報５１を取得する。そして、演算部９０は、候補被写体情報５１を、インターフェース８０の候補情報送信手段８２に転送する。なお、候補情報検索手段９１は、携帯情報端末１０で予め生成されたテキスト形式のメタデータである撮影前検索情報を用いて検索を行うので、高速で、しかも間違いの少ない候補被写体情報５１の検索を行うことができる。

また、演算部９０の履歴保存手段９２は、転送された候補被写体情報５１および撮影前検索情報に添付される携帯情報端末１０の情報に基づいて、携帯情報端末１０へ候補被写体情報５１を送信した送信履歴を形成し、大容量記憶部１００に履歴情報１０２として保存する。

また、演算部９０の再送防止手段９３は、履歴情報１０２を参照し、転送される候補被写体情報５１が、過去に携帯情報端末１０に送信済みである場合には、転送を停止させる。

また、演算部９０の画像圧縮手段９４は、転送される候補被写体情報５１に画像情報を含む際に、これら画像情報の画像圧縮を行う。
インターフェース８０の候補情報送信手段８２は、演算部９０からの候補被写体情報５１を、データ通信手段１１０を介して、携帯情報端末１０に送信する。

携帯情報端末１０に戻り、インターフェース６０の候補情報受信手段６２は、候補被写体情報５１を、データ通信手段１１０から受信し、記憶部５０に保存する。なお、演算部４０の画像解凍手段４４は、候補被写体情報５１に圧縮された画像情報を含む際に、この画像情報を解凍し、解凍した画像情報を候補被写体情報５１として記憶部５０に保存する。

演算部４０の撮影後検索情報生成手段４２は、画像記憶部２４に存在するオペレータが撮影した被写体画像情報に基づいて、この被写体画像からパターン認識等を用いて特徴抽出を行い、被写体画像を特定するテキスト形式のメタデータである撮影後検索情報を生成する。ここで、撮影後検索情報の例としては、花、魚、山あるいは看板等の被写体の種類情報、色あるいは形等の性質情報、さらに文字情報等がある。

演算部４０の被写体情報検索手段４３は、撮影後検索情報生成手段４２により生成された撮影後検索情報を用いて、記憶部５０の候補被写体情報５１の検索を行い、撮影された被写体情報の取得を行う。ここで、候補被写体情報５１の中に撮影された被写体情報が存在し、被写体情報の取得が行われた場合には、被写体情報検索手段４３は、撮影後検索情報を、検索ヒット履歴情報５２として記憶部５０に保存する。なお、この検索ヒット履歴情報５２は、使用される携帯情報端末１０ごとに異なり、過去のオペレータによる携帯情報端末１０の使用状況を反映したものとなる。

また、携帯情報端末１０は、上述したように撮影前検索情報生成手段４１で生成される撮影前検索情報に検索ヒット履歴情報５２を加えることで、被写体情報検索サーバー７０からより高い検索精度の候補被写体情報５１を取得することができる。

つづいて、被写体情報検索システムの具体的な動作を図２を用いて説明する。図２は、被写体情報検索システムの具体的な動作を示すフローチャートである。なお、この動作では、携帯情報端末１０で行われる携帯情報端末処理と、被写体情報検索サーバー７０で行われる被写体情報検索サーバー処理が部分的に同時並行して行われる。

まず、オペレータは、被写体を決める（ステップＳ１）。図３は、この状況を模式的に示した図である。オペレータは、デジタルカメラ機能を有する携帯情報端末１０を手にし、被写体、例えばレストランの前に位置する。

その後、オペレータは、携帯情報端末１０のシャッター釦２１を半押し状態とする（ステップＳ２）。ここで、デジタルカメラ部２０は、被写体画像の自動露出調整、自動焦点調整および自動ホワイトバランス調整等を行うと共に、環境センサ３０から、携帯情報端末１０の位置情報等の環境情報を取得する。そして、携帯情報端末１０は、環境情報および過去の検索ヒット履歴情報５２を含む撮影前検索情報を被写体情報検索サーバー７０に送信する（ステップＳ４）。図３には、一例として、携帯情報端末１０の地理的な位置が、ＧＰＳを用いて決定される場合を示している。この場合、携帯情報端末１０は、携帯情報端末１０の位置情報を、被写体情報検索サーバー７０に送信する。

その後、オペレータは、携帯情報端末１０のシャッター釦２１を全押し状態とする（ステップＳ５）。ここで、デジタルカメラ部２０は、被写体画像を取得し、画像記憶部２４に保存する。そして、携帯情報端末１０は、被写体画像から、撮影後検索情報を生成する（ステップＳ７）。

一方、被写体情報検索サーバー７０は、ステップＳ４で送信された撮影前検索情報を受信する（ステップＳ２１）。そして、被写体情報検索サーバー７０は、この撮影前検索情報を用いて、被写体情報１０１の検索を行い（ステップＳ２２）、候補被写体情報５１を取得する（ステップＳ２３）。図３の例では、被写体情報検索サーバー７０は、携帯情報端末１０の位置情報に基づいて、この位置近傍に存在するレストランの被写体情報を候補被写体情報５１として取得する。

その後、被写体情報検索サーバー７０は、候補被写体情報５１を、携帯情報端末１０に送信し（ステップＳ２６）、履歴情報１０２の更新を行い、被写体情報検索サーバー７０で行う処理を終了する。

また、携帯情報端末１０は、候補被写体情報５１を、被写体情報検索サーバー７０から受信し（ステップＳ８）、ステップＳ７で求めた撮影後検索情報を用いて、候補被写体情報５１の検索を行う（ステップＳ９）。なお、被写体情報検索サーバー７０が履歴情報１０２に基づいて候補被写体情報５１を送信済みであるとした場合には、携帯情報端末１０は、記憶部５０に存在する既存の候補被写体情報５１に対して検索を行う。また、ステップＳ７およびＳ８の間では、携帯情報端末１０は任意の処理を行うことができる。

その後、携帯情報端末１０は、候補被写体情報５１の中から撮影された被写体情報を確定する（ステップＳ１０）。図３の例では、携帯情報端末１０は、撮影後検索情報として、被写体であるレストランの建家の形状あるいは色等の抽出を行い、候補被写体情報５１から該当するもの被写体情報とする。

その後、携帯情報端末１０は、取得された被写体情報を、撮影された被写体画像とともに表示手段２３に表示し（ステップＳ１１）、本処理を終了する。なお、図４には、表示手段２３に表示される被写体画像および被写体情報の例が示されている。ここで、被写体画像として、オペレータが取得したレストランの画像が表示され、被写体情報として、このレストランの営業時間あるいは提供される食事内容の詳細情報が表示されている。

上述してきたように本実施の形態では、シャッター釦２１の半押し状態で、環境情報および過去の検索ヒット履歴情報５２に基づいてテキスト形式のメタデータである撮影前検索情報を生成し、被写体情報検索サーバー７０において、この撮影前検索情報を用いて被写体情報１０１から候補被写体情報５１を高速で取得し、携帯情報端末１０は、候補被写体情報５１を用いて撮影された被写体の被写体情報を確定することとしているので、携帯情報端末１０は、候補被写体情報５１を早期に取得することができ、しかも撮影現場で候補被写体情報５１から被写体情報の確定を行うので、高い検索精度を持って被写体情報の取得を行うことができる。

また、本実施の形態では、撮影前検索情報は、携帯情報端末１０の位置情報等の環境情報および過去の検索ヒット履歴情報５２を共に含むものとしたが、環境情報のみを含むものとすることもできる。

また、本実施の形態では、撮影前検索情報は、携帯情報端末１０の位置情報等の環境情報および過去の検索ヒット履歴情報５２を含むものとしたが、これにシャッター釦２１が半押し状態で取得される、被写体の調整画像情報から生成される検索情報を加えることもできる。この調整画像情報は、未調整であるため、曖昧な画像情報であることを考慮し、例えば全体的な色彩情報を、撮影後検索情報生成手段４２と全く同様の方法を用いて生成し、撮影前検索情報に加える。

また、本実施の形態では、被写体情報検索サーバー７０は、候補被写体情報に画像情報が含まれる際に、この画像情報に画像圧縮を行い、携帯情報端末１０はこの圧縮された画像情報を解凍することとしたが、同様に被写体情報検索サーバー７０は、候補被写体情報に含まれるテキスト情報を圧縮し、携帯情報端末１０はこの圧縮されたテキスト情報を解凍する様にすることもできる。なお、高速通信が可能な場合には、本実施の形態を、候補被写体情報の圧縮および解凍を行わずに実施することもできる。

また、本実施の形態では、携帯情報端末１０は、デジタルカメラに近いものと想定されているが、デジタルカメラ機能を有する携帯電話、ＰＣあるいはＰＤＡ等を想定することもできる。

被写体情報検索システムの全体構成を示す機能ブロック図である。 被写体情報検索システムの動作を示すフローチャートである。 実施の形態の被写体情報検索システムの動作を示す説明図である。 実施の形態の表示手段に表示される画像を示す説明図である。

符号の説明

１０ 携帯情報端末
２０ デジタルカメラ部
２１ シャッター釦
２２ 撮像部
２３ 表示手段
２４ 画像記憶部
３０ 環境センサ
４０、９０ 演算部
４１ 撮影前検索情報生成手段
４２ 撮影後検索情報生成手段
４３ 被写体情報検索手段
４４ 画像解凍手段
５０ 記憶部
５１ 候補被写体情報
５２ 検索ヒット履歴情報
６０、８０ インターフェース
６１ 検索情報送信手段
６２ 候補情報受信手段
７０ 被写体情報検索サーバー
８１ 検索情報受信手段
８２ 候補情報送信手段
９１ 候補情報検索手段
９２ 履歴保存手段
９３ 再送防止手段
９４ 画像圧縮手段
１００ 大容量記憶部
１０１ 被写体情報
１０２ 履歴情報
１１０ データ通信手段

Claims (15)

1. 被写体を撮影するデジタルカメラ部を有する携帯情報端末と、
   複数の被写体の被写体情報を保存する被写体情報検索サーバーと、
   前記携帯情報端末および前記被写体情報検索サーバー間で通信を行う通信手段と、
   を備える被写体情報検索システムであって、
   前記携帯情報端末は、前記撮影を行う前に、前記被写体情報を検索する際の撮影前検索情報を生成する撮影前検索情報生成手段および前記撮影前検索情報を前記被写体情報検索サーバーに送信する検索情報送信手段を有し、
   前記被写体情報検索サーバーは、前記撮影前検索情報に基づいて、前記被写体情報の検索を行い前記撮影される被写体の複数の候補被写体情報を取得する候補情報検索手段および前記複数の候補被写体情報を前記携帯情報端末に送信する候補情報送信手段を有し、
   前記携帯情報端末は、前記撮影を行った後に、前記撮影された被写体画像情報から撮影後検索情報を生成する撮影後検索情報生成手段、並びに、前記被写体画像情報および前記撮影後検索情報の少なくとも１つを用いて、前記複数の候補被写体情報の検索を行い前記撮影された被写体の被写体情報を確定する被写体情報検索手段を有することを特徴とする被写体情報検索システム。
2. 前記携帯情報端末は、前記被写体画像情報と共に前記被写体情報を表示する表示手段を備えることを特徴とする請求項１に記載の被写体情報検索システム。
3. 前記携帯情報端末は、前記被写体情報の確定が行われた際に、前記撮影後検索情報を、検索ヒット履歴情報として保存することを特徴とする請求項１または２に記載の被写体情報検索システム。
4. 前記撮影前検索情報は、前記検索ヒット履歴情報を含むことを特徴とする請求項３に記載の被写体情報検索システム。
5. 前記携帯情報端末は、前記撮影を行う際の環境情報を収集する環境センサを備えることを特徴とする請求項１ないし４のいずれか１つに記載の被写体情報検索システム。
6. 前記環境センサは、前記携帯情報端末の地理的位置を計測する位置センサ、地理的高度を計測する高度センサ、環境温度を計測する温度センサ、環境湿度を計測する湿度センサ、前記撮影される被写体の方角を計測する方角センサおよび環境気圧を計測する気圧センサの少なくとも１つを含むことを特徴とする請求項５に記載の被写体情報検索システム。
7. 前記撮影前検索情報は、前記環境情報を含むことを特徴とする請求項５または６に記載の被写体情報検索システム。
8. 前記撮影前検索情報生成手段および前記検索情報送信手段は、前記撮影前検索情報を、前記撮影の直前に行われる調整動作に同期して生成および送信することを特徴とする請求項１ないし７のいずれか１つに記載の被写体情報検索システム。
9. 前記調整動作は、自動露出調整、自動焦点調整および自動ホワイトバランス調整の少なくとも１つの調整動作を含むことを特徴とする請求項８に記載の被写体情報検索システム。
10. 前記調整動作は、前記携帯情報端末が前記撮影を起動するシャッター釦を有する際に、前記シャッター釦の半押し動作に同期されることを特徴とする請求項８または９に記載の被写体情報検索システム。
11. 前記撮影前検索情報生成手段は、前記調整動作の際に取得される調整画像情報に含まれる色彩情報を前記撮影前検索情報に含ませることを特徴とする請求項８ないし１０のいずれか１つに記載の被写体情報検索システム。
12. 前記被写体情報検索サーバーは、前記候補情報送信手段を介して送信された前記複数の候補被写体情報の、前記携帯情報端末ごとの履歴情報を保存する履歴保存手段を備えることを特徴とする請求項１ないし１１のいずれか１つに記載の被写体情報検索システム。
13. 前記被写体情報検索サーバーは、前記履歴保存手段に記録された候補被写体情報を、同一の携帯情報端末に送信することを防止する再送防止手段を備えることを特徴とする請求項１２に記載の被写体情報検索システム。
14. 前記被写体情報検索サーバーは、前記複数の候補被写体情報に画像情報を含む際に、前記画像情報を圧縮する画像圧縮手段を備えることを特徴とする請求項１ないし１３のいずれか１つに記載の被写体情報検索システム。
15. 前記携帯情報端末は、前記圧縮された画像情報を解凍する画像解凍手段を備えることを特徴とする請求項１４に記載の被写体情報検索システム。

Images