JP2004326193A - 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にする。
【解決手段】写真に写っているものが何なのかを、撮影した写真と統合させることによって写真検索を容易にするシステムにおいて、撮影者が撮影した写真の認識結果に対して、新たな認識要素を加えた際に、当該写真が撮影している領域を撮影対象としている写真の認識要素列に、新たな認識要素を挿入すると同時に、新たに当該領域を撮影する写真に対しても、この認識要素を作用させることによって、認識に用いる地図情報を更新する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、１以上の移動体が被写体として含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数のユーザからなるユーザ・グループ内で被写体に関する情報を共有する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【０００４】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらの情報に関するキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【０００５】
また、撮影時刻や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【０００６】
ここで、本発明者らは、写真に写っているもの（被写体）が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【０００７】
例えば、建造物などを被写体として認識する認識単位とし、各認識単位を載せた地図を用意し、写真が撮影対象とする範囲と地図とを照合し、合致する認識単位を写真に含まれる被写体として認識することができる。
【０００８】
ところで、地図情報は一般に普遍的で、万人向けに作成される。ここで、認識単位を載せた地図情報を記述する際も、万人向けに設定した場合、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。また逆に、すべてのユーザが必要とする認識単位を網羅しようとすると、地図情報はデータ量が膨大となり、保存や検索の上で取扱いが難しくなる。
【０００９】
例えば、万人向けの一般的な地図情報を利用する場合、個人やユーザ・グループは、対象となる写真すべてに認識対象を手付け入力などにより追加していく必要がある。
【００１０】
また、これ以後に写真を撮る場合においても、認識要素を撮影対象としている写真に対して、適宜インデックスを追加していく必要がある。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、１以上の移動体が被写体として含まれる写真画像を好適に管理することができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１２】
本発明のさらなる目的は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、複数のユーザからなるユーザ・グループ内で被写体として認識される認識単位に関する情報を共有することができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
被写体として認識される建造物などの認識対象を地図上の該当場所に記述した第１の地図情報と、
ユーザによって追加される認識対象を地図上に記述する第２の地図情報と、
ユーザが画像を撮影したときの撮影状態を取得する撮影状態取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と前記第１の地図情報を照合し、前記第１の地図情報上で前記撮影空間内に存在する認識対象を被写体として認識する被写体認識手段と、
ユーザからの認識対象の追加要求に応じて、新規の認識対象を前記第２の地図情報上の前記撮影空間に相当する場所に追加登録する認識対象追加登録手段と、を具備することを特徴とする画像管理システムである。
【００１５】
ここで、前記撮影状態取得手段は、撮影状態として撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得する。そして、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影対象領域を撮影空間として算出する。
【００１６】
また、本発明に係る画像管理システムは、同一ユーザが持つ他の撮影画像、あるいは他のユーザの撮影画像についての撮影空間と、前記第２の地図情報とを照合し、前記第２の地図情報上で前記撮影空間内に存在する認識対象を撮影画像の被写体として認識する第２の被写体認識手段をさらに備えている。
【００１７】
本発明によれば、ユーザが撮影した写真の撮影空間と一般的な地図情報とを照合することにより、撮影画像上の被写体の実体が何あるかを認識する。さらに、ユーザは、撮影した写真の認識結果に新たな認識インデックスを加えることができる。但し、一般の地図情報は普遍的で万人向けに作成されることを尊重し、追加登録される認識対象は、一般の地図情報とは別に用意された第２の地図情報上の撮影空間と重なる領域に記載される。
【００１８】
さらに、同一ユーザが撮った他の撮影画像、あるいは他のユーザが持つ撮影画像に関しても、各撮影画像についての撮影空間と第２の地図情報とを照合することにより、一般の地図情報との照合処理により得られた認識対象リストに新規の認識インデックスを挿入することができる。また、第２の地図情報に新たな認識インデックスを追加登録しておくことにより、以後、撮影空間が重なる領域を撮影した写真に対しても、新規に登録された認識インデックスを作用させることができる。
【００１９】
地図情報は一般に普遍的で、万人向けに作成されるので、個人ユーザ又は限定的なユーザ・グループ内にのみ必要な認識単位は捨象されてしまう。これに対し、本発明によれば、一般の地図情報とは別に第２の地図情報を用意することにより、一般の地図情報にはない追加した認識インデックスを、特定のユーザ・グループ内において被写体認識に利用することができるようになる。
【００２０】
また、本発明に係る画像管理システムは、他のユーザからの前記第２の地図情報の利用の登録申請を受理し、該他のユーザの前記第２の地図情報の利用を登録又は拒否する第２の地図情報利用管理手段をさらに備えていてもよい。このような場合、前記第２の被写体認識手段は、事前に利用登録を受けたユーザの撮影画像についてのみ、前記第２の地図情報に基づく被写体認識処理を行なうようにする。
【００２１】
第２の地図情報は、ユーザ毎に作成ポリシーが相違し、ユーザのプライバシにも関わるので、すべてのユーザに公開することはできない。そこで、一般の地図情報にはない追加した認識インデックスを記載した第２の地図情報を利用するためには、ユーザ間で地図利用の登録を行なっていることが前提としている。地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【００２２】
また、本発明の第２の側面は、撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
ユーザが画像を撮影したときの撮影状態を取得する撮影状態取得ステップと、前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて算出された撮影空間を、被写体として認識される認識対象を地図上の該当場所に記述した第１の地図情報と照合し、前記第１の地図情報上で前記撮影空間内に存在する認識対象を被写体として認識する被写体認識ステップと、
ユーザからの認識対象の追加要求に応じて、新規の認識対象を前記第１の地図情報とは別に用意された第２の地図情報上の前記撮影空間に相当する場所に追加登録する認識対象追加登録ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００２３】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像管理システムと同様の作用効果を得ることができる。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００２６】
本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にするものであり、より具体的には、写真を管理する時点において、新たなインデックスが指定された場合、認識単位を地図情報に記載するとともに、既に撮影した写真に付いた認識対象リストの更新を行なう。
【００２７】
本発明によれば、ある撮影場所で撮影した写真を用いて新たにインデックスを追加することにより、同じ撮影場所で以前に撮影した写真にもこの新規インデックスが追加される。図１には、本発明の係る写真画像の管理方法の仕組みを図解している。
【００２８】
図示の例では、地図３上のあるカメラ位置１１にて建造物３１に向かって撮影を行ない、参照番号４１で示される写真が撮影されている。また、地図３上の別のカメラ位置１２にて建造物３１に向かって撮影を行ない、参照番号４２で示される写真が撮影されている。そして、写真４１、４２について被写体認識処理を行ない、写真に写っている認識対象リストがそれぞれ作成される。
【００２９】
ここで、写真４１を撮影したユーザが、認識対象リスト中の被写体３１に「竜宮城」という名前を与えて認識インデックスとして登録したとする。画像管理システムは、このユーザによる追加登録に応答して、当該ユーザが属するグループの地図情報に被写体３１を「竜宮城」として記述するとともに、既に被写体３１を撮影した別の写真５２に付いた認識対象リスト上にも被写体３１の認識インデックスを併せて更新する。
【００３０】
図２には、本発明の実施形態に係る撮影機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機である。
【００３１】
図示の機器は、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１が配設され、また、その表側１２には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面１１には、カメラ・レンズ１１１が出現しており、本体上面のシャッター機能に割り当てられたボタン１２４１を押下操作することにより画像捕捉処理が起動し、レンズ１１１越しの被写体が撮影される。
【００３２】
図３には、図２に示した機器の内部構成を示している。
【００３３】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００３４】
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１４は、読み出し専用の半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００３５】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【００３６】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【００３７】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、方向測定部４０４は、固定値である方向誤差を出力する。
【００３８】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【００３９】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【００４０】
出力部４０７は、画像信号の外部出力やスピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【００４１】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【００４２】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【００４３】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【００４４】
図３に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、撮像部４０５から出力される撮影状態、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【００４５】
図４には、図２〜図３に示した各機器と通信を行ない、被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信し、所定の地図情報上で撮影位置と各建造物の位置情報と照合し、撮影空間内の建造物や人物を被写体として認識する処理を行なう。
【００４６】
ＣＰＵ５１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。ＣＰＵ５１５は、バス５１７を介して各部に相互接続されている。
【００４７】
ＲＡＭ５１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ５１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ５１３は、読み出し専用の半導体メモリによって構成され、ＣＰＵ５１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００４８】
通信部５０１は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【００４９】
地図情報蓄積部５２４は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。また、地図追加情報格納部５２３は、ユーザの撮影機器上で追加登録された認識インデックスを同じユーザ・グループの地図情報上に追加登録して格納する。
【００５０】
催し物カレンダ５２５は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。
【００５１】
撮影対象範囲計算部５１０は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。
【００５２】
端末位置情報蓄積部５２１は、各自が携帯する機器から送信される端末位置情報を格納する。ＩＤ公開情報蓄積部５２２は、自らの機器位置の公開を許可している機器の機器ＩＤを格納している。
【００５３】
被写体リスト取得部５１１は、撮影側の機器から送られてくる撮影ログから算出される撮影空間と被写体側の機器から送られてくる被写体の位置情報とを照合して、カメラの撮影対象範囲にある人の集合を被写体リストとして取得する。
【００５４】
ランキング・ポイント計算部５１２は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言う評価値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する。
【００５５】
本実施形態では、図２〜図３に示す機器を携帯するユーザが撮影した写真の撮影空間と地図情報と照合することにより、撮影画像上の被写体が何あるかを認識する。さらに、同じユーザ・グループ内で、あるユーザが認識結果に新たな認識インデックスを加えた際に、撮影空間が重なる他のユーザの写真の認識対象リストにも認識インデックスを挿入する。また、ユーザ・グループの地図追加情報にも新たな認識インデックスを追加登録しておくことにより、以後、撮影空間が重なる領域を撮影する写真に対しても、この認識インデックスを作用させる。
【００５６】
このように、一般の地図情報にはない追加した認識インデックスを特定のユーザ・グループ内で被写体認識に利用するためには、撮影画像に対する被写体認識、認識対象リストの提供サービスを行なうサーバに対してユーザ間で地図利用の登録を行なっていることが前提となる。図５には、サーバに対して地図利用の登録申請を行なう処理手続を図解している。
【００５７】
まず、あるユーザの機器３１が、センター・サーバ３３に対して、他のユーザが持つ地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ３３が、他のユーザの機器３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【００５８】
他のユーザの機器３２から地図利用の許可が返ってきたら（Ｔ５３１）、センター・サーバ３３は、地図利用情報を更新し、地図利用登録変更通知を撮影側の機器３１へ送る（Ｔ５１４）。
【００５９】
また、図６には、あるユーザが他のユーザの地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【００６０】
まず、あるユーザの機器３１が、センター・サーバ３３に対して、他のユーザが持つ地図の利用許可を申請する地図利用登録申請を行なう（Ｔ５１１）。次いで、センター・サーバ３３が、他のユーザの機器３２に対して、地図利用登録確認を行なう（Ｔ５２１）。
【００６１】
これに対し、他のユーザの機器３２から地図利用に対する拒否が返ってきたら（Ｔ５３２）、センター・サーバ３３は、地図利用登録拒否通知を要求元ユーザの機器３１へ送る（Ｔ５１３）。
【００６２】
地図情報の利用は、ユーザ毎にポリシーが相違し、ユーザのプライバシにも関わるので、地図利用登録を拒否した機器に関しては、以後、追加した認識インデックスを含んだ地図追加情報は共有されない。
【００６３】
図７には、画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号２７０４で示される領域には撮影した写真（画像）が表示される。また、参照番号２７５１で示される領域には、撮影時間が、参照番号２７５４で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【００６４】
参照番号２７６１〜２７６３は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【００６５】
参照番号２７６４で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト２７６４上で選択された写真が、表示領域２７０４に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【００６６】
図８には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【００６７】
参照番号５２０１は、ユーザ指定の認識単位インデックスを書き込むフィールドである。また、参照番号５２０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５２０６は該当する認識単位のリスト順位を１つずつ下げるボタンを、それぞれ示している。
【００６８】
図示の例では、現在の認識単位のインデックス・リスト５２００は、平安神宮５２０２、神宮通り５２０３、京都５２０４からなる。これに対し、参照番号５２０７で示すように、認識単位「神宮通り」を削除し、認識単位「竜宮城」を追加し、認識単位「竜宮城」の順位を下げる操作を行なうと、リスト順位が変更されて、平安神宮５２１２、京都５２１４、竜宮城５２１８というリスト順位になる。
【００６９】
図９には、既に撮影した写真に対する認識インデックスを更新するための処理手順を図解している。
【００７０】
まず、撮影側の機器３１において、図８に示したような操作手順で、撮影した写真に対して新しい認識インデックスの追加を行ない（Ｔ９１１）、これを当該写真の撮影状態とともにセンター・サーバ３３へ送信して、地図追加情報への登録申請を行なう（Ｔ９１２）。
【００７１】
センター・サーバ３３側では、認識インデックスの追加が行なわれた写真画像についての撮影空間を計算し（Ｔ９２１）、認識単位として地図追加情報５２３に追加登録する（Ｔ９２２）。
【００７２】
そして、地図追加情報の利用登録を済ませている他のユーザへ、新規に作成された認識インデックスの通知を行なった後（Ｔ９２３）、認識インデックスの追加を行なった機器３１にＡＣＣを返す（Ｔ９２４）。
【００７３】
次いで、機器３１側では、他の写真についても、各々の撮影状態をセンター・サーバ３３へ送り（Ｔ９１３）、これらの写真の中にも追加された認識インデックスを含むかどうかの判定処理を依頼する。センター・サーバ３３では、これらの写真について被写体認識処理を改めて行ない（Ｔ９２５）、各写真毎の認識された被写体についてのランキング・ポイント値を機器３１へ返す（Ｔ９２６）。
【００７４】
そして、機器３１側では、追加された認識インデックスのポイント値が０より大きくなる場合（Ｔ９１４）、その写真の認識インデックスに新規の認識インデックスを追加登録する（Ｔ９１５）。
【００７５】
なお、Ｔ９２３において通知を受けた登録ユーザの機器側では、Ｔ９１３〜Ｔ９１５の処理を同様に行ない、既に撮影した写真の認識対象リストへの新規認識インデックスの追加登録処理を行なう。
【００７６】
図１０には、図９中のＴ９２２で行なわれる認識インデックスを追加して地図情報を更新するための処理手順をフローチャートの形式で示している。
【００７７】
まず、Ｔ９１２で機器３１側から送られてきた撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される撮影状態に基づいて、ピント面と被写界深度からなる撮影空間を算出する（ステップＳ１）。
【００７８】
次いで、撮影空間に対し、中心角とピント面からの距離に応じた重み付け配分を計算する（ステップＳ２）。撮影空間に重み付けを行なうのは、計測精度が十分に高くない状況において、情報の確度に応じて認識候補を多く取得し、また、それらを順位付けした形でユーザに提示するためである。
【００７９】
次いで、追加された認識対象インデックスが撮影空間に重なり合う場合には、その重ね合わせ分を計算する（ステップＳ３）。本実施形態では、重なっている数で等分している。
【００８０】
そして、地図追加情報データベース４２３へ認識対象インデックスを追加登録して（ステップＳ４）、本処理ルーチン全体を終了する。
【００８１】
図１１には撮影領域を示している。 個々の写真データにおいて、カメラ１の撮影位置、レンズ方向４００１、 画角４００３、ピント距離４０２２、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域４００２を計算する。ここで、参照番号４０１２、４０２２、４０３２で表される各点を通る弧はピント面を表している。また、参照番号４０１３、４０２３、４０３３で表される各点を通る弧は前方被写界深度を表している。また、参照番号４０１１、４０２１、４０３１で表される各点を通る弧は後方被写界深度を表している。
【００８２】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図１２には、撮影空間における重み傾斜の様子を示している。 参照番号４１０１で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号４１０２で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点４０２２を中心として、上下方向（点４０２３並びに点４０２１）と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。なお、地図情報をセルへ分割した時点で（後述）、撮影空間の積分が１になるように規格化しておく。
【００８３】
図１３には、異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示している。同図に示す例では、２つの撮影領域１３２１、１３２２が参照番号１３２３で示した領域で交差している。
【００８４】
本実施形態では、撮影空間と認識対象との照合や、撮影空間同士の照合などの計算処理の便宜上、メッシュ・セル状に分割して、セル単位で取り扱う。
【００８５】
図１４には、複数ある撮影空間をセル単位で分割するための処理手順をフローチャートの形式で示している。ここでは、既にセル分割された状態のデータに対して、撮影空間を認識単位として追加する処理を示している。
【００８６】
各々のセルにおいて処理を行なう。ここで、追加領域がない場合には（ステップＳ１１）、次のセルを処理する。未処理のセルがなければ、本処理ルーチン全体を終了する。
【００８７】
まず、追加領域を１つ取り出す（ステップＳ１２）。追加領域がない場合（ステップＳ１３）、セル内のポイント値を１に規格化し（ステップＳ１４）、セル情報として書き込み、次のセルの処理を行なう。
【００８８】
追加情報がある場合（ステップＳ１３）、セルにインデックスを加え（ステップＳ１６）、ステップＳ１２に戻る。
【００８９】
図１５には、被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示している。
【００９０】
セル情報部７００１において、参照番号７１１１は地図情報を分割した際の領域番号を示している。地図を分割していない場合、この値は０となる。また、同図中の参照番号７１１２、７１１３は、地図をセルに分割したときの横と縦位置のセル数を示している。また、参照番号７１２１〜７１２３は、セル内の認識単位数を示しており、この値が０だと、これに続く認識単位指示７１２３−１が省略される。
【００９１】
参照番号７１２３−５で示されるセル（ｉ，ｊ）内の認識単位数は５であり、認識単位指示７１２３−１が存在している。この中には、認識単位番号７１２３−３とポイント７１２３−２が対となって定義されている。また、ポイントは足して１になるように規格化されている。
【００９２】
次に、認識単位定義部７００２において、参照番号７０２１は認識単位数を表しており、その１番目から順になるように記述されている。ここで、例えば３４番目の情報の場合、認識単位番号３４の情報を示しており、この中には認識単位カテゴリ７２２１と認識単位名７２２２がある。
【００９３】
図１６には、セル分割された地図とカメラ位置とレンズ方向の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。参照番号１は、カメラなどの撮影装置の位置とレンズ方向を示している。同図に示す例では、二条通り１４３２と神宮通り１４３７の交差する付近に立ち、平安神宮１４３１を向いて撮影しているところを表している。
【００９４】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９５】
【発明の効果】
以上詳記したように、本発明によれば、１以上の移動体が被写体として含まれる写真画像を好適に管理することができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【００９６】
また、本発明によれば、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【００９７】
また、本発明によれば、複数のユーザからなる特定のユーザ・グループ内で被写体として認識される認識単位に関する情報を共有することができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【００９８】
本発明によれば、写真を管理する時点において、新たなインデックスが指定された場合、認識単位を地図情報に記載するとともに、既に撮影した写真に付いた認識対象リストの更新を行なう。したがって、ユーザが新たに追加した認識インデックスに対して、これが追加された写真の撮影空間を認識単位として地図情報を更新するとともに、これまで撮った写真に対する認識インデックスを更新することができる。
【図面の簡単な説明】
【図１】本発明の係る写真画像の管理方法の仕組みを説明するための図である。
【図２】本発明の実施形態に係る撮影機器の外観構成を示した図である。
【図３】図２に示した機器の内部構成を示した図である。
【図４】被写体認識並びに認識対象リストの提供サービスを行なうサーバの構成を模式的に示した図である。
【図５】サーバに対して地図利用の登録申請を行なう処理手続を示した動作シーケンス図である。
【図６】あるユーザが他のユーザが持つ地図利用の許可申請を行なった際に、申請が拒否される場合の処理手順を示した動作シーケンス図である。
【図７】画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図８】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図９】既に撮影した写真に対する認識インデックスを更新するための処理手順を示した動作シーケンス図である。
【図１０】認識インデックスを追加して地図情報を更新するための処理手順を示したフローチャートである。
【図１１】撮影領域を示した図である。
【図１２】撮影空間における重み傾斜の様子を示した図である。
【図１３】異なるユーザが持つ（あるいは異なる写真が持つ）撮影空間が交差している様子を示した図である。
【図１４】複数ある撮影空間をセル単位で分割するための処理手順を示したフローチャートである。
【図１５】被写体リスト提供サービスの運用に用いられる地図情報フォーマットの構成例を示した図である。
【図１６】セル分割された地図とカメラ位置とレンズ方向の関係を示した図である。
【符号の説明】
４０１…通信部
４０２…ＩＤ保持部
４０３…位置測定部
４０４…方向取得部
４０５…撮像部
４０６…表示部
４０７…出力部
４０８…入力部
４０９…シャッター
４１３…ＲＡＭ
４１４…ＲＯＭ
４１５…ＣＰＵ
４１６…時計
４１７…バス
４３１…写真保存部
４３２…撮影ログ保存部
４３３…ＩＤ名簿
５０１…通信部
５１０…撮影対象範囲計算部
５１１…被写体リスト取得部
５１２…ランキング・ポイント計算部
５１３…ＲＡＭ
５１４…ＲＯＭ
５１５…ＣＰＵ
５２１…端末位置情報蓄積部
５２２…ＩＤ公開情報蓄積部
５２３…地図追加情報蓄積部
５２４…地図情報蓄積部
５２５…催し物カレンダー蓄積部

Claims (11)

1. 撮影した画像に含まれる被写体と結合して画像を管理する画像管理システムであって、
   被写体として認識される認識対象を地図上の該当場所に記述した第１の地図情報と、
   ユーザによって追加される認識対象を地図上に記述する第２の地図情報と、
   ユーザが画像を撮影したときの撮影状態を取得する撮影状態取得手段と、
   前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
   前記撮影空間推定手段により算出された撮影空間と前記第１の地図情報を照合し、前記第１の地図情報上で前記撮影空間内に存在する認識対象を被写体として認識する被写体認識手段と、
   ユーザからの認識対象の追加要求に応じて、新規の認識対象を前記第２の地図情報上の前記撮影空間に相当する場所に追加登録する認識対象追加登録手段と、を具備することを特徴とする画像管理システム。
2. 前記撮影状態取得手段は、撮影状態として撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、
   前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する、
   ことを特徴とする請求項１に記載の画像管理システム。
3. 同一ユーザが持つ他の撮影画像又は他のユーザが持つ撮影画像についての撮影空間と前記第２の地図情報を照合し、前記第２の地図情報上で前記撮影空間内に存在する認識対象を撮影画像の被写体として認識する第２の被写体認識手段をさらに備える、
   ことを特徴とする請求項１に記載の画像管理システム。
4. 前記被写体認識手段及び／又は前記第２の被写体認識手段により認識された各被写体についての撮影画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
   各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理する被写体管理手段と、
   優先順位に従って被写体が含まれる画像を検索する画像検索手段と、
   をさらに備えることを特徴とする請求項１又は３のいずれかに記載の画像管理システム。
5. 他のユーザからの前記第２の地図情報の利用の登録申請を受理し、該他のユーザの前記第２の地図情報の利用を登録又は拒否する第２の地図情報利用管理手段をさらに備え、
   前記第２の被写体認識手段は、事前に利用登録を受けたユーザの撮影画像についてのみ前記第２の地図情報に基づく被写体認識処理を行なう、
   ことを特徴とする請求項３に記載の画像管理システム。
6. 撮影した画像に含まれる被写体と結合して画像を管理する画像管理方法であって、
   ユーザが画像を撮影したときの撮影状態を取得する撮影状態取得ステップと、前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
   前記撮影空間推定ステップにおいて算出された撮影空間を、被写体として認識される認識対象を地図上の該当場所に記述した第１の地図情報と照合し、前記第１の地図情報上で前記撮影空間内に存在する認識対象を被写体として認識する被写体認識ステップと、
   ユーザからの認識対象の追加要求に応じて、新規の認識対象を前記第１の地図情報とは別に用意された第２の地図情報上の前記撮影空間に相当する場所に追加登録する認識対象追加登録ステップと、
   を具備することを特徴とする画像管理方法。
7. 前記撮影状態取得ステップでは、撮影状態として撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、
   前記撮影空間推定ステップでは、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する、
   ことを特徴とする請求項６に記載の画像管理方法。
8. 同一ユーザが持つ他の撮影画像又は他のユーザが持つ撮影画像についての撮影空間と前記第２の地図情報を照合し、前記第２の地図情報上で前記撮影空間内に存在する認識対象を撮影画像の被写体として認識する第２の被写体認識ステップをさらに備える、
   ことを特徴とする請求項６に記載の画像管理方法。
9. 前記被写体認識ステップ及び／又は前記第２の被写体認識ステップにおいて認識された各被写体についての撮影画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
   各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理する被写体管理ステップと、
   優先順位に従って被写体が含まれる画像を検索する画像検索ステップと、
   をさらに備えることを特徴とする請求項６又は８のいずれかに記載の画像管理方法。
10. 他のユーザからの前記第２の地図情報の利用の登録申請を受理し、該他のユーザの前記第２の地図情報の利用を登録又は拒否する第２の地図情報利用管理ステップをさらに備え、
    前記第２の被写体認識ステップでは、事前に利用登録を受けたユーザの撮影画像についてのみ前記第２の地図情報に基づく被写体認識処理を行なう、
    ことを特徴とする請求項８に記載の画像管理方法。
11. １１撮影した画像に含まれる被写体と結合して画像を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    ユーザが画像を撮影したときの撮影状態を取得する撮影状態取得ステップと、前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
    前記撮影空間推定ステップにおいて算出された撮影空間を、被写体として認識される認識対象を地図上の該当場所に記述した第１の地図情報と照合し、前記第１の地図情報上で前記撮影空間内に存在する認識対象を被写体として認識する被写体認識ステップと、
    ユーザからの認識対象の追加要求に応じて、新規の認識対象を前記第１の地図情報とは別に用意された第２の地図情報上の前記撮影空間に相当する場所に追加登録する認識対象追加登録ステップと、
    を具備することを特徴とするコンピュータ・プログラム。

Images