JP2013225899A

JP2013225899A - 画像再生装置

Info

Publication number: JP2013225899A
Application number: JP2013126618A
Authority: JP
Inventors: Nobuyuki Tsukamoto; 展行塚本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-06-17
Filing date: 2013-06-17
Publication date: 2013-10-31
Anticipated expiration: 2026-06-28
Also published as: JP5414930B2

Abstract

【課題】
画像データに関する情報をオーバーレイ表示する。
【解決手段】
撮影画像をＨＤＤ２０に格納する。サーバ５０に画像データを送信し、画像の名前と詳細情報を示すメタデータをサーバ５０から取得する。メタデータ管理装置１８は、取得したメタデータをデータベース２０ｂに格納する。データベース２０ｂはサーバ５０からの返信状況を示す返信フラグを含む。返信フラグは、メタデータ未要求、取得済み、及び、サーバ５０からの未取得の何れかを示す。ＨＤＤ２０の記録画像をサムネイル表示する場合、メタデータを取得済みの画像には、取得した名前をオーバーレイ表示し、サーバ５０からの未取得の画像には、未取得を示す文字又は記号をオーバーレイ表示する。
【選択図】図１

Description

本発明は、画像再生装置に関する。

近年、撮影した動画像又は静止画像を外部機器に無線又は有線で送信する機能を具備するデジタルスチルカメラ及びデジタルビデオカメラが実現されている。例えば、デジタルカメラとデータ通信機能を内蔵した携帯電話がある。また、無線ＬＡＮによるデータ通信のアクセスポイントが各所で利用可能になっている。

動画像又は静止画に含まれるオブジェクトを認識し、その特徴を示す文字コードデータを生成することが知られている。これを利用することにより、希望のオブジェクトを含む画像を検索したり、画像を検索キーとして、類似の内容を有する画像を検索することが可能となる。

多くの場合、画像に含まれるオブジェクトの抽出には高度のデータ処理能力を必要とするので、これをサーバ（特徴認識サーバ）に負担させる。特許文献１には、携帯端末のカメラで撮影した画像をサーバに送信し、サーバから当該画像に含まれるオブジェクトを説明する文字データ、即ち、オブジェクト情報を受信するシステムが記載されている。

特開２００３−３２３６２０号公報

特許文献１には、ユーザが携帯端末本体の表示パネルに画像データを表示させたい場合に、特徴認識サーバから受信したオブジェクト情報をユーザに効果的に表示する方法は記載されていない。また、特徴認識サーバが検索に失敗した場合の表示についても、考えられていない。

そこで、本発明は、上記の問題点に鑑み、画像とこの画像に含まれるオブジェクトの情報とを効果的に表示部に表示させる画像再生装置を提示することを目的とする。

本発明に係る画像再生装置は、撮影画像に含まれるオブジェクトに関するメタデータであって前記オブジェクトの第１及び第２の情報を含むメタデータを表示部に表示可能な画像再生装置であって、複数のサムネイル画像を前記表示部に一覧表示させるサムネイル表示制御手段と、前記一覧表示されたサムネイル画像の中からサムネイル画像を選択する選択手段と、前記選択されたサムネイル画像に対応する撮影画像であって該サムネイル画像よりも大きな撮影画像を前記表示部に表示させる画像表示制御手段と、該表示させる撮影画像に対応する前記メタデータを記録部に記録可能な記録制御手段と、前記一覧表示された場合には、対応するメタデータが前記記録されている撮影画像に対応するサムネイル画像については、該メタデータに含まれる第２の情報を重畳することなく該メタデータに含まれる第１の情報を重畳して前記表示部に表示させる一方、対応するメタデータが前記記録されていない撮影画像に対応するサムネイル画像については、該メタデータを重畳することなく前記表示部に表示させ、前記画像表示制御手段が撮影画像を表示させた場合には、前記選択されたサムネイル画像が前記第１の情報が重畳されたサムネイル画像である場合に、該サムネイル画像に対応する撮影画像に対応するメタデータであって前記記録されたメタデータに含まれる第１及び第２の情報を、該撮影画像に重畳して前記表示部に表示させる重畳表示制御手段と、を有することを特徴とする。

本発明によれば、画像データに含まれるオブジェクトの情報を効果的に表示部に表示させることができる。

本発明の一実施例の概略構成ブロック図である。本実施例に係るサーバの概略構成ブロック図である。データベース２０ｂの構造と内容の一例である。サムネイル表示例である。フル画面表示例である。本実施例の動作フローチャートである。メタデータ取得後のデータベース２０ｂの内容例である。サムネイル表示でメタデータをオーバーレイ表示する例である。フル画面表示でメタデータをオーバーレイ表示する例である。動画に対する本実施例の動作フローチャートである。動画に対するデータベース２０ｂの内容例である。フル画面表示でのメタデータ表示例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例であるデジタルビデオカメラ１０の概略構成ブロック図であり、図２は、デジタルビデオカメラ１０と連携する特徴認識サーバ５０の概略構成ブロック図である。ただし、実線は画像データの流れを示し、破線は制御信号を示す。

デジタルビデオカメラ１０の構成を説明する。デジタルビデオカメラ１０は、撮像ユニット１２、圧縮装置１４、記録再生装置１６、メタデータ管理装置１８、ＨＤＤ（Hard Disk Drive）２０、表示制御装置２２、表示装置２４、通信装置２６、システム制御装置３０、操作装置３２及びメモリ３４を具備する。

撮像ユニット１２は、光学レンズ、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、オートフォーカス機構、ズーム機構、Ａ／Ｄ変換器及び信号処理（例えば、ガンマ補正、色バランス調整、輝度／色分離）等からなり、被写体の光学像を電気信号に変換し、デジタル画像信号を出力する。

記録再生装置１６は、撮像ユニット１２からの画像データをＨＤＤ２０に記録再生する。記録再生装置１６はまた、ＨＤＤ２０に記録される画像データのサムネイル画像も生成し、ＨＤＤ２０に記録する。なお、記録再生装置１６は、必要により、画像データを圧縮伸長する。本実施例では、動画と静止画のどちらもＨＤＤ２０に記録可能である。動画像に対する圧縮方式として、ＭＰＥＧ（Moving Picture Experts Group phase）２及びＭｏｔｉｏｎＪＰＥＧ等が知られており、静止画に対する圧縮方式として、ＪＰＥＧ２０００等が知られている。

ＨＤＤ２０には、記録される画像２０ａの特徴を示すメタデータを格納するオブジェクト情報データベース２０ｂも、記録される。画像データがＨＤＤ２０に記録される際に、メタデータ管理装置１８が、その画像データに対応するメタデータのレコードをオブジェクト情報データベース２０ｂに生成する。

オブジェクト情報データベース２０ｂは、基本的な要素として、固有の識別情報（ＩＤ）と、サーバ５０から未受信、サーバ５０から受信済み及びサーバ５０での検索失敗を示す返信フラグ（Ｆｌａｇ）と、対応する画像データへのファイルパス（ＦｉｌｅＰａｔｈ）と、判明したオブジェクトの名称を示す名前（Ｎａｍｅ）と、詳細情報（ＭｏｒｅＩｎｆｏ）とからなる。

図３は、オブジェクト情報データベース２０ｂの構成と内容例を示す。返信フラグは、”０”がサーバ５０から未受信を示し、”１”がサーバ５０から受信済みを示し、”−１”がサーバ５０での検索失敗を示す。ＨＤＤ２０に画像データが記録された段階では、返信フラグは”０”である。図３に示す例では、対応する画像が静止画であり、６枚の画像データがＨＤＤ２０に記録されており、何れも、サーバ５０から特徴データを受信していない状況を示す。詳細は後述するが、記録再生装置１６のメタデータ管理装置１８が、メタデータをサーバ５０から受信して、ＨＤＤ２０のデータベース２０ｂに格納し、受信状況により返信フラグを更新する。

記録媒体としてＨＤＤ２０を例示しているが、揮発性半導体メモリ又は記録可能光ディスク等の着脱可能な媒体であってもよい。

表示制御装置２２は、記録再生装置１６からの画像データに従い、表示装置２４にその画像を表示させる。また、表示制御装置２２は、文字ベースのインターフェース、即ち、ＣＵＩ（Character-based User Interface）又はグラフィックベースのインターフェース、即ちＧＵＩ（Graphical User Interface）のメニュー画像信号を生成し、表示装置２４に印加する。特に、本実施例では、表示制御装置２２は、メタデータの情報を表示装置２４に印加する。表示装置２４は、例えば、ＬＣＤ（液晶表示パネル）である。

通信装置２６は、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＩＥＥＥ８０２．１１又はＵＳＢ（Universal Serial Bus）等に従い、サーバ５０との間でデータを送受信可能であり、本実施例では、ＨＴＴＰ（Hyper Text Transfer Protocol）又はＦＴＰ（File Transfer Protocol）等のインターネットプロトコルを用いる。

システム制御装置３０は、操作装置３２の操作に従い、ビデオカメラ１０の全体を制御する。操作装置３２は、動画撮影スイッチ、レリーズスイッチ（ＳＷ１，ＳＷ２）、再生スイッチ及び停止スイッチを具備し、ユーザがこれらを操作することで、動画撮影、静止画撮影、再生並びに停止等をシステム制御装置３０に指示する。また、操作装置３２は、メニューキー、十字キー、決定キー及び拡大キーを具備し、ユーザはこれらを使って、メニュー画面の表示、選択、決定並びにサムネイル画像の拡大を、システム制御装置３０に指示する。

メモリ３４は、システム制御装置３０のプログラム及び固定パラメータを記憶するＲＯＭ（Read Only Memory）と、一時データを記憶し、システム制御装置３０のワークメモリとなるＲＡＭ（Random Access Memory）等で構成されている。

図２を参照して、サーバ５０の構成を説明する。通信装置５２は、カメラ１０と通信して、カメラ１０から画像データ（動画像データ又は静止画データ）を受信する。記録再生装置５４は、通信装置５２が受信した画像データをハードディスク（ＨＤＤ）５６に記録再生する。記録再生装置５８は、ＨＤＤ５６に記録された画像データの内で、カメラ１０により特徴抽出を依頼された画像データを再生して画像分析装置５８に供給する。受信画像データを永続的に保存する必要が無い場合、ＨＤＤ５６は単に、画像分析用の一時記憶として使用される。

画像分析装置５８は、ＨＤＤ５６から再生された画像データから、輝度又は色の分布又はパターン等を分析し、分析結果から特徴を抽出する。画像分析装置５８は、換言すれば、特徴抽出装置である。照合装置６０は、画像分析装置５８で得られた特徴を特徴データベース６２と照合し、画像分析した画像の名称と詳細説明のテキストを特徴データベース６２から取得する。特徴データベース６２には、種々の画像又はオブジェクトに対して、画像分析装置５８の画像分析により抽出される特徴と、オブジェクトの名前と、詳細説明が格納されている。

照合装置６０は、特徴データベース６２との照合結果をメタデータ生成装置６４に供給する。メタデータ生成装置６４は、照合装置６０の照合結果を収容する所定形式のメタデータを生成する。生成されたメタデータは、通信装置５２により要求元であるカメラ１０に送信される。カメラ１０のメタデータ管理装置１８は、サーバ５０から送信されたメタデータをＨＤＤ２０に格納し、返信フラグを更新する。

カメラ１０の撮像、記録及び再生の基本動作を説明する。カメラモードでは、撮像ユニット１２は、被写体の光学像に対応する画像データを出力する。撮像ユニット１２から出力画像データは、図示しないビデオメモリ（ＶＲＡＭ）に書き込まれる。表示制御装置２２は、ビデオメモリに記憶される画像データに従い表示装置２４を駆動する。これにより、ユーザは、被写体と構図を確認できる。記録モードでは更に、記録再生装置１６が、撮像ユニット１２からの画像データをＨＤＤ２０に記録する。このようにして、撮影される画像の画像データがＨＤＤ２０に格納される。

再生モードでは、記録再生装置１６は、ＨＤＤ２０から指定の画像の画像データを読み出す。読み出された画像データは、表示制御装置２２は、記録再生装置１６によりＨＤＤ２０から読み出された画像データに従い表示装置２４を駆動する。これにより、再生画像が、表示装置２４の画面に表示される。

本実施例では、ＨＤＤ２０に記録される静止画像のサムネイル画像による一覧表示と、指定された一つの画像のフル画面表示を選択可能である。図４は、６つの画像のサムネイルを一覧表示する画面例を示し、図５は、指定された１つの画像を振る画面で表示する例を示す。例えば、図４に示すようなサムネイル表示で、所望の１つを選択して、操作装置３２の拡大キーを操作すると、図５に示すように、指定された１つの画像がフル画面で表示される。

次に、図６乃至図９を参照して、静止画に対する本実施例の特徴的な動作、即ちメタデータのオーバーレイ表示の動作を説明する。図６は動作フローチャートを示し、図７はＨＤＤ２０に格納されるオブジェクト情報データベース２０ｂの内容例を示し、図８はサムネイル表示例を示し、図９はフル画面表示例を示す。

システム制御装置３０は、撮影スイッチが押されたか否かを判別する（Ｓ１０）。撮影スイッチが押されると（Ｓ１０）、静止画を撮影し、撮影画像が記録再生装置１６によりＨＤＤ２０に記録される（Ｓ１１）。同時に、上述したように、メタデータ管理装置１８が、データベース２０ｂに、この静止画像データに対するメタデータの新規レコードを生成する（Ｓ１２）。メタデータの新規レコードは、この時点では、ＩＤと、値”０”の更新フラグと、画像データへのファイルパスのみからなる。撮影画像データが、通信装置２６を介してサーバ５０にも送信される（Ｓ１３）。

サーバ５０は、通信装置５２で画像データを受信したか否かを判別する（Ｓ２０）。画像データを受信すると（Ｓ２０）、記録再生装置５４が、受信した画像データをＨＤＤ５６に記録する（Ｓ２１）。画像データが記録順にＨＤＤ５６から読み出され、画像分析装置５８に送られる。画像分析装置５８は、画像データの輝度又は色の分布又はパターン等を分析し、画像データの特徴を抽出する（Ｓ２２）。

抽出された特徴が画像分析装置５８から照合装置６０に送られ、照合装置６０は、画像データの特徴を特徴データベース６２と照合し、特徴に合致するレコードを特徴データベース６２から検索する（Ｓ２３）。メタデータ生成装置６４は、検索結果から、カメラ１０からの画像データに合致するメタデータを生成する（Ｓ２４）。生成されたメタデータは、通信装置５２を介してカメラ１０に送信される（Ｓ２５）。画像分析（Ｓ２２）又は検索（Ｓ２３）に失敗している場合には、失敗をカメラ１０に送信する（Ｓ２５）。

カメラ１０の通信装置２６は、メタデータの受信を待機している（Ｓ３０）。サーバ５０からメタデータを受信すると（Ｓ３０）、サーバ管理装置１８が、受信したメタデータの各情報を、ＨＤＤ２０のオブジェクト情報データベース２０ｂの対応するレコードの対応するフィールドに格納する（Ｓ３１）。その際、返信フラグが受信済みを示す値”１”に更新される。

図７は、このように更新されたオブジェクト情報データベース２０ｂの内容例を示す。図６に示す例では、ＩＤ１，ＩＤ２，ＩＤ４の画像データに対して、メタデータが得られており、ＩＤ３の画像データに対して、メタデータの検索に失敗しており、ＩＤ５，ＩＤ６の画像データに対しては、メタデータの受信待ちになっている。名前フィールド（Ｎａｍｅ）及び詳細フィールド（ＭｏｒｅＩｎｆｏ）の内容が、サーバ５０からの情報で補充されている。

図６に示すようにメタデータを取得できた後、ＨＤＤ２０に記録される画像をそのサムネイルで一覧表示する場合、メタデータの名前フィールドの文字データが、図８に符号８０，８２，８４，８６で示すように、サムネイル画像に重畳して表示される。返信フラグが”−１”の画像に対しては、符号８６で示すように不明を示す文字”？？？”がサムネイル画像に重畳して表示、即ちオーバーレイされる。文字”？？？”の代わりに特定の記号又は図形でもよいことは明らかである。

図８に示すサムネイル画面でユーザが特定の画像を選択して、操作装置３２の拡大キーを押すと、図９に示すようなフル画面表示になり、このフル画面表示では、名前フィールドと詳細フィールドの文字データが、図９に符号９０で示すように、再生画像に重畳して表示、即ちオーバーレイ表示される。

このように、本実施例では、サーバ５０によるオブジェクト情報の検索結果の有無に応じて表示態様を変えるので、ユーザは、オブジェクト情報を取得済みか、検索に失敗しているかを画面上で確認できる。

本実施例は、動画に適用可能である。図１０は、動画に対する本実施例の動作フローチャートを示す。

システム制御装置３０は、動画撮影スイッチが押されたか否かを判別する（Ｓ１１０）。動画撮影スイッチが押されると（Ｓ１１０）、動画像の撮影が開始され、撮影された各フレーム画像が、順次、記録再生装置１６によりＨＤＤ２０に記録される（Ｓ１１１）。同時に、上述したように、メタデータ管理装置１８が、この動画像データに対するメタデータの新規レコードをデータベース２０ｂ上に生成する（Ｓ１１２）。メタデータの新規レコードは、この時点では、ＩＤと、値”０”の返信フラグと、画像データへのファイルパスのみからなる。

動画撮影しながら、又は、動画撮影の終了後に、ＨＤＤ２０に記録される動画像データが、通信装置２６を介してサーバ５０にも送信される（Ｓ１１３）。

サーバ５０は、通信装置５２で画像データを受信したか否かを判別する（Ｓ１２０）。画像データを受信すると（Ｓ１２０）、記録再生装置５４が、受信した画像データをＨＤＤ５６に記録する（Ｓ１２１）。画像データが記録順にＨＤＤ５６から読み出され、画像分析装置５８に送られる。画像分析装置５８は、画像データの輝度又は色の分布又はパターン等を分析し、画像データの特徴を抽出する（Ｓ１２２）。

抽出された特徴が画像分析装置５８から照合装置６０に送られ、照合装置６０は、画像データの特徴を特徴データベース６２と照合し、特徴に合致するレコードを特徴データベースか６２ら検索する（Ｓ１２３）。メタデータ生成装置６４は、検索結果から、カメラ１０からの画像データに合致するメタデータを生成する（Ｓ１２４）。

動画像の全てのフレームについて、ステップＳ１２１〜Ｓ１２４を実行する（Ｓ１２５）。画像分析に失敗するか、データベース６２からの検索に失敗フレームに対しては、即座に、次のフレームの画像分析を実行する。動画の終端まで到達すると（Ｓ１２５）、生成されたメタデータが通信装置５２を介してビデオカメラ１０に送信される（Ｓ１２６）。最終的に有効なメタデータが得られない場合には、失敗をカメラ１０に送信する（Ｓ１２６）。

動画中で、メタデータを要求するフレームをカメラ１０のユーザが指定している場合には、その指定されたフレームに対して、ステップＳ１２１〜Ｓ１２４の処理を実行する。

カメラ１０の通信装置２６は、メタデータの受信を待機している（Ｓ１３０）。サーバ５０からメタデータを受信すると（Ｓ１３０）、サーバ管理装置１８が、受信したメタデータで、ＨＤＤ２０のオブジェクト情報データベース２０ｂの対応するレコードに格納する（Ｓ１３１）。その際、返信フラグが受信済みを示す値”１”に更新される。

図１１は、動画の場合のオブジェクト情報データベース２０ｂの内容例を示す。オブジェクト情報のフレーム位置を示すフィールド（Ｔｉｍｅ）が追加されている。ＩＤ１に対するＴｉｍｅフィールドの３５：０５：００は、当該レコードが、撮影開始から３５分０５秒００のフレームに対するメタデータであることを示す。番号を示すものでもよい。このメタデータに対して、フル画面表示では、図１２に示すように、Ｔｉｍｅフィールドのデータも画面上にオーバーレイ表示される。

１０ビデオカメラ
１２撮像ユニット
１６記録再生装置
１８メタデータ管理装置
２０ＨＤＤ
２０ａ：画像データ
２０ｂオブジェクト情報データベース
２２表示制御装置
２４表示装置
２６通信装置
５０サーバ
５２通信装置
５４記録再生装置
５６ＨＤＤ
５８画像分析装置
６０照合装置
６２特徴データベース
６４メタデータ生成装置

Claims

撮影画像に含まれるオブジェクトに関するメタデータであって前記オブジェクトの第１及び第２の情報を含むメタデータを表示部に表示可能な画像再生装置であって、
複数のサムネイル画像を前記表示部に一覧表示させるサムネイル表示制御手段と、
前記一覧表示されたサムネイル画像の中からサムネイル画像を選択する選択手段と、
前記選択されたサムネイル画像に対応する撮影画像であって該サムネイル画像よりも大きな撮影画像を前記表示部に表示させる画像表示制御手段と、
該表示させる撮影画像に対応する前記メタデータを記録部に記録可能な記録制御手段と、
前記一覧表示された場合には、対応するメタデータが前記記録されている撮影画像に対応するサムネイル画像については、該メタデータに含まれる第２の情報を重畳することなく該メタデータに含まれる第１の情報を重畳して前記表示部に表示させる一方、対応するメタデータが前記記録されていない撮影画像に対応するサムネイル画像については、該メタデータを重畳することなく前記表示部に表示させ、前記画像表示制御手段が撮影画像を表示させた場合には、前記選択されたサムネイル画像が前記第１の情報が重畳されたサムネイル画像である場合に、該サムネイル画像に対応する撮影画像に対応するメタデータであって前記記録されたメタデータに含まれる第１及び第２の情報を、該撮影画像に重畳して前記表示部に表示させる重畳表示制御手段と、
を有することを特徴とする画像再生装置。