以下、図面を参照して、本発明の一実施形態について説明する。
図1は、本実施形態に係る画像処理装置を含むネットワークシステムの構成例を示す図である。ここで本実施形態に係る画像処理装置は、例えば、ノートブックタイプのコンピュータ100として実現されている。コンピュータ100は、有線又は無線LAN等により構成されるネットワーク200に接続されており、当該ネットワーク200には、記憶装置300、表示装置400等が接続されている。
コンピュータ100は、LCD105、HDD110、メディアコントロールプログラム150(図1では非図示)、通信部170、映像生成エンジン180(図1では非図示)等を備える。ここで、LCD105は画像を表示する表示ディスプレイである。また、HDD110は画像等のデータを記憶する記憶媒体である。メディアコントロールプログラム150は、後述するDMCとして機能するプログラムであり、記憶装置300及び表示装置400を制御できる。通信部170はネットワーク200を介して記憶装置300、表示装置400、通信装置500等との通信を行う。映像生成エンジン180は、当該映像生成エンジンに入力される画像に基づいた映像を生成する機能を有する。
また記憶装置300は、記憶部301、通信部302等を備え、記憶部301に記憶された画像データ等を、コンピュータ100の制御のもとで通信部302を介してコンピュータ100や表示装置400に送信する機能を有する。なお記憶部301に記憶された画像データには各々URIが割り当てられており、記憶装置300は、コンピュータ100や表示装置400から当該URIを指定したデータ要求があった場合に、当該データ要求に対して当該URIに対応する画像データを送信する。
表示装置400は、通信部401、デコード部402、LCD403等を備え、コンピュータ100の制御のもと、通信部401を介してコンピュータ100や記憶装置300から画像データや映像データを受信する。そして受信した画像データや映像データをデコード部402がデコード(再生)し、デコードした画像データや映像データをLCD403が表示することができる。
ここで、コンピュータ100、記憶装置300及び表示装置400は、ネットワーク200上の各デバイスの存在を認識して互いの機能を制御するためのUPnP(Universal Plug And Play)機能を有し、さらにUPnP機能を利用することにより、例えばDLNA(Digital Living Network Alliance)のガイドラインで規定されたホームネットワークデバイスとして機能することができる。そしてホームネットワークデバイスは、デジタルメディアサーバ(DMS)、デジタルメディアコントローラ(DMC)、デジタルメディアレンダラ(DMR)等のカテゴリに分類される。
DMCは、DMS及びDMR等のデバイスを制御するデバイスであり、DMSは、DMCからの要求に応じて、当該DMSの記憶部に格納されているコンテンツデータをDMRに提供するデバイスである。なおDMSは、当該DMSが記憶している画像データのURI等について、UPnPのCDS(Content Directory Service)を用いることにより、当該画像情報をネットワークに公開し、当該画像情報をDMCが取得できるようにする。
そしてDMCは、DMSからCDSにより公開された画像情報を、例えばBrowseアクションによって取得し、画像データのURIを取得することができる。またDMCは、UPnPのAVT(Audio/Visual Transport service)のSetAVTransportURIアクションにより、再生対象のデータのURIをメディアレンダラに設定する。
そしてDMRは、再生対象のデータのURIをDMCにより設定されると、当該URIからデータを取得し、続いてDMCからAVTのうちPlayアクションを受信すると、取得したデータを再生する。
なお本実施形態において、コンピュータ100は、DMC、DMS、DMRの何れのデバイスとしても機能しうる。そして、記憶装置300はDMSとして、表示装置400はDMRとして機能する。
ところで、従来のネットワークシステムにおいては、DMSに記憶された画像データをDMRに再生する場合、DMCはDMSからの画像取得及び画像再生をDMRに指示し、DMRは当該指示に従って画像データを取得/再生する。
一方、本実施形態のネットワークシステムにおいては、DMCの指示に従ってDMSの画像データをDMRに表示する場合、即ちコンピュータ100の指示に従って、記憶装置300に記憶された画像データを表示装置400に再生させる場合、記憶装置300の画像データに基づいた映像データをコンピュータ100の映像エンジン180が生成し、当該映像データを表示装置400に表示することができ、ユーザにとって好適な映像を提供できるが、詳細については図2乃至図16を参照して説明する。
なお、図1においてDMSはコンピュータ100及び記憶装置300が示されているが、これ以外のDMSがネットワーク200に接続されていても良く、また、DMRについてもコンピュータ100及び表示装置400以外の装置がネットワーク200に接続されていても良い。
次に図2を参照して本実施形態に係るコンピュータ100のシステム構成について説明する。
コンピュータ100は、CPU101、ノースブリッジ102、主メモリ103、GPU104、VRAM104A、LCD105、サウスブリッジ106、サウンドコントローラ107、スピーカ108、BIOS−ROM109、HDD110、LANコントローラ111、ODD112、ビデオプロセッサ113、メモリ113A、無線LANコントローラ114、EC/KBC115、キーボード116、ポインティングデバイス117等を備えている。
CPU101は、コンピュータ100の動作を制御するプロセッサであり、HDD110から主メモリ103にロードされる、オペレーティングシステム(OS)160、およびメディアコントロールプログラム150等の各種アプリケーションプログラムを実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input/Output System)も実行する。BIOSは、コンピュータ100のハードウェアを制御するためのプログラムである。
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ106との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、GPU104との通信を実行する機能も有している。
グラフィクスコントローラ104は、コンピュータ100のディスプレイとして使用されるLCD105を制御する表示コントローラである。そしてグラフィクスコントローラ104は、ノースブリッジ102を介してCPU101から入力される描画要求に基づいてVRAM104Aに表示データを描画するための表示処理を実行する。
サウスブリッジ106は、PCI(Peripheral Component Interconnect)バス上およびLPC(Low Pin Count)バスに接続された各デバイスを制御する。また、サウスブリッジ106は、HDD110およびODD112を制御するためのIDE(Integrated Drive Electronics)コントローラおよびBIOS−ROM109へのアクセスを制御するメモリコントローラが内蔵されている。さらにサウスブリッジ106は、サウンドコントローラ107およびLANコントローラ111との通信を実行する機能も有する。
サウンドコントローラ107は音源デバイスであり、再生対象のオーディオデータをスピーカ108に出力する。HDD110は、OSやメディアコントロールプログラム150等のプログラムや、画像データ等を記憶する為の記憶媒体である。LANコントローラ111は、例えばIEEE802.3規格の有線通信を実行する有線通信デバイスであり、無線LANコントローラ112は、例えばIEEE802.11規格の無線通信を実行する無線通信デバイスである。またODD113は、可搬性の光学ディスクに対するデータの書込/読込を制御するデバイスである。
ビデオプロセッサ114は、記憶装置300やHDD110から取得した画像データに対するインデクシング処理や、当該取得した画像データに基づいた映像データを生成する映像生成処理等の画像処理を実行し、メモリ114Aは、ビデオプロセッサ114の作業メモリとして用いられる。ここでビデオプロセッサ114は、例えば画像データから顔画像や当該顔画像の位置及びサイズ等を検出する顔検出処理や、当該顔検出処理により得られた、画像データに含まれる顔画像や顔画像の位置及びサイズ等の情報に基づいて、人物の顔にフォーカスしたエフェクトを有する映像を生成する処理等を実行できる。
なお、画像データに対する画像処理を実行するためには多くの演算量が必要とされるが、ビデオプロセッサ114がCPU101のバックエンドプロセッサとして画像処理を行うことにより、CPU101の負荷を抑制しつつ画像処理を実行できる。
EC/KBC115は、コンピュータ100の電力管理を行うためのエンベデッドコントローラと、キーボード116およびポインティングデバイス117を制御するためのキーボードコントローラとを含むコントローラである。このEC/KBC115は、ユーザの操作に応じてコンピュータ100をパワーオン/オフする機能を有する。
次に図3を参照して、本実施形態に係るコンピュータ100の機能例について説明する。図3は、コンピュータ100の機能ブロック例を示す図である。
コンピュータ100は、メディアコントロールプログラム150、OS160、通信部170、映像生成エンジン180等の機能ブロックを備えている。
メディアコントロールプログラム150は、指示部151及び画像選択部152等を備えており、OS160及び通信部170を介して、記憶装置300や表示装置400に対して指示を送信する機能等を有する。OS160は、コンピュータ100のハードウェアを制御する機能等を有し、また、UPnP API161及びHTTPサーバAPI162等を備えている。
通信部170は、LANコントローラ111及び無線LANコントローラ114等を含み、ネットワーク200を介して記憶装置300及び表示装置400との通信を行う。映像生成エンジン180は、記憶装置300やHDD110から入力された画像データに対するインデクシング処理や、当該入力された画像データに基づいた映像データを生成し、生成した映像データを表示装置400に出力する機能を有する。
指示部151は、UPnP API161を介して、ネットワーク200に接続された記憶装置300及び表示装置400に対して各種動作の指示を行う。まず指示部151は、UPnPのSSDP(Simple service discovery protcol)と呼ばれるプロトコルを用いて、ネットワーク200に接続されているデバイスの存在及びデバイスの種類を認識する。
さらに指示部151は、UPnPで定義されるdevice description及びservice descriptionと呼ばれるXML(Extensible markup language)ファイルをネットワーク200に接続されているデバイスから取得することによって、デバイスで動作しているサービスの詳細を認識する。ここで、デバイスで動作しているサービスの詳細とは、例えば表示装置400が再生可能な画像や映像の形式についての情報等である。
また指示部151は、記憶装置300がUPnPのCDS等によりネットワーク200上に公開している画像データについての情報を、UPnP API161を介してUPnPのCDSのBrowseアクションリクエストを送信することにより取得することができる。即ち指示部151は、Browseアクションリクエストを送信し、当該リクエストに対する応答であるBrowseアクションレスポンスをUPnP API161を介して受信することにより、当該Browseアクションレスポンスに含まれる、記憶装置300が記憶する画像データのタイトル名やURI等を含む、画像データについての情報を取得することができる。
そして指示部151は、Browseアクションレスポンスを受信した後、当該Browseアクションレスポンスに含まれる、記憶装置300に記憶された各画像データのURIを指定して、画像データ等を取得する為のデータ要求であるHTTP GETリクエストを送信する。続いて指示部151は、当該HTTP GETリクエストに対する応答であり、指定したURIの画像データを含むHTTPレスポンスを受信することにより、記憶装置300が記憶する画像データを取得する。なおHTTP GETリクエスト及びHTTPレスポンスの送受信は、HTTPサーバAPI162を介して行われる。そして指示部151は、取得した画像データに基づいた画像選択画面の生成を選択画面生成部153に指示する。
また指示部151は、画像選択部152から映像生成指示及び選択画像のURI情報が入力された場合、映像生成エンジン180に対して当該選択画像のURIを指定したデータ要求の記憶装置300への送信を指示するとともに、当該映像生成エンジン180に対して映像の生成を指示する。
あるいは指示部151は、画像選択部152から選択画像の再生指示及び当該選択画像のURI情報を入力した場合、表示装置400に対して当該選択画像のURIを指定したデータ要求の記憶装置300への送信および当該選択画像の再生を指示し、映像生成エンジン180に対してデータ要求の送信及び映像の生成を指示しない。
また指示部151は、映像生成エンジン180が生成した映像データのURI情報を取得する。そして指示部151は、当該映像データのURIを指定したデータ要求の送信を表示装置400に指示するとともに、当該映像データの再生を表示装置400に指示する。
画像選択部152は、画像を選択する為の画像選択画面を生成してGPU104から出力させる機能、及び当該画像選択画面に対する操作入力に応じて画像を選択する機能を有する。
ここで画像選択部152は選択画面生成部153を備え、当該選択画面生成部153は、取得した画像データに基づいた画像選択画面を生成する指示を指示部151から受けた場合、画像を含む画像選択画面を生成する。なお、当該画像選択画面については図5を参照して後述する。
そして画像選択部152は、画像選択画面に対するポインティングデバイス117やキーボード116からの操作入力をEC/KBC115から受け、当該操作入力に基づいて画像を選択する。また画像選択部152は、EC/KBC115から画像選択画面の映像再生ボタンに対する操作入力を受けた場合、指示部151に対して選択画像各々のURI情報及び映像生成指示を出力する。
また画像選択部152は、インデックス情報データベース110Aを参照することにより、記憶装置300やHDD110に格納された複数の画像データの中から所定の選択条件を満たす画像データを選択することも可能である。
また画像選択部152は、EC/KBC115から選択画像の静止画像を再生する操作入力を受けた場合、指示部151に選択画像の再生指示及び当該選択画像各々についてのURI情報を出力する。
映像生成エンジン180は、インデクシング処理部181及び映像生成部182等を備えており、画像データに基づく映像を生成するとともに、当該生成した映像をUPnPのCDS等によりネットワーク200上の各装置に公開することができる。
インデクシング処理部181は、インデックス情報データベース110Aを作成するためのインデクシング処理を実行する。インデクシング処理では、例えば、画像データから顔画像を検出する顔検出処理が実行される。ここで画像に複数の顔画像が含まれている場合は、当該複数の顔画像それぞれが検出される。
顔画像の検出は、例えば、画像データの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。そして顔検出処理により、画像に含まれる各顔画像の位置(座標)およびサイズが検出される。このようにインデクシング処理部181は、画像に含まれる複数の顔画像の位置およびサイズを検出する顔画像検出部として機能する。
またインデクシング処理部181は、予め用意された文字の特徴サンプルと類似する特徴を有する領域を画像データから探索することにより文字を検出する。ここで画像に写っている文字とは、例えば看板の文字等である。
さらにインデクシング処理部181は、例えば撮像日時に基づき、記憶装置300やHDD110に格納された複数の画像データをグループ分けし、各グループを識別するための情報を生成する。ここでインデクシング処理部181は、例えば、撮像日時が時間的に連続する2つの画像データ間で、当該画像データの撮像日時が所定の期間を越えている場合に、その間を区切りとすることでグループ化を行う。
そしてインデクシング処理部181は、インデクシング処理により得られた顔画像についての情報や文字情報、グループ情報等を含むインデックス情報をHDD110に出力し、インデックス情報データベース110Aに格納する。
映像生成部182は、入力された画像データに基づく映像データを生成する。ここで映像生成部182は、入力された画像データから、例えばインデクシング処理により検出された人物の顔にフォーカスしたエフェクトを加えた映像を生成する。即ち映像生成部182は、入力された画像データに基づいた、当該画像とは異なる画像を含む複数のフレームから構成される映像を生成することができる。なお当該生成される映像データについては図7乃至図11を参照して後述する。
また映像生成部182は、複数の画像データを入力した場合、各々の画像データに基づく映像を、各々の画像データのインデックス情報に基づいた順番で表示する1の映像を生成することができる。即ち、例えば撮影日時が同一の画像群に基づいた映像を生成する場合、人物が写っていない風景画像データに基づく映像を他の画像データに基づく映像に先んじて表示することにより、何処で撮影した画像群かをユーザに認識できるような映像を生成する、あるいは、最も多くの人数が写っている画像データに基づく映像を他の画像データに基づく映像に先んじて表示することにより、誰と何をした時の画像群をユーザが認識できるような映像を生成することができる。また、例えば観光地の看板等の文字が含まれる画像に基づく映像を他の画像に基づく映像よりも先の順番に表示する映像を生成することによっても、何処で撮影した画像群かをユーザに認識できるような映像を生成することができる。
次に図4を参照して、インデクシング処理部181により生成されるインデックス情報データベース110Aについて説明する。図4はインデックス情報データベース110Aの構成例を示す図である。当該インデックス情報データベースには、例えば画像IDA1、撮影日時A2、顔画像情報A3、顔画像A4、正面度A5、サイズA6、分類情報A7、物体情報A8、文字情報A9、グループ情報A10、URI情報A11等の情報が格納される。
ここで画像IDA1は、各画像データに割り当てられる識別情報であり、撮像日時A2は、各静止画像の撮像日時を示す時刻情報である。顔画像情報A3は、静止画像データに人物が写っている場合に生成される情報であり、当該画像データに複数人が写っている場合は複数人数分生成される。
そしてインデックス情報データベース110Aには、顔画像情報A3として、顔画像A4、正面度A5、サイズA6、分類情報A7等が格納される。ここで顔画像A4はインデクシング処理部181が画像データから抽出した顔画像であり、正面度A5は当該顔画像の正面度、サイズA6は当該顔画像のサイズである。そして分類情報A7は、同一人物であると推定される画像を分類するための情報であり、インデクシング処理部181が画像データから抽出した複数の顔画像をクラス分けすることにより生成される。
物体情報A8は、画像データに特定の対象物が写っている場合に生成される、当該対象物についての情報である。ここで特定の対象物とは、例えば建物、著名なモニュメント、植物、動物、山岳、自動車等であるがこれらに限るものではなく、何れのものであってもよい。
文字情報A9は、画像データに何らかの文字が写っている場合に生成される、当該文字についての情報である。
グループ情報A10は、記憶装置300やHDD110に格納された複数の画像データを、例えば撮像日時に基づいてグループ分けし、当該グループ分けされた各グループを識別するための情報である。
URI情報A11は、記憶装置300等に記憶されている場合に、当該画像データのURIを示す情報である。
つまりコンピュータ100は、インデックス情報データベース110Aから、各画像データが顔画像を含むか否か、誰の顔画像であるか、文字が写っているか否か、どのグループに属しているか、等を判別できる。そのためコンピュータ100は、インデックス情報データベース110Aを利用することで、所望の人物や文字が写っている画像データ等を、記憶装置300やHDD110に格納された1以上の画像データから検出することができる。
続いて図5を参照して、選択画面生成部153が生成する画像選択画面について説明する。図5は画像選択画面の一例を示す図である。
ここで画像選択画面には、画像一覧領域B1、画像領域B2、画像選択ボックスB3、映像再生ボタンB4、静止画再生ボタンB5、サーバ装置選択欄B6、表示装置選択欄B7等が表示される。
ここで、画像一覧領域B1は、取得した画像を表示する為の領域であり、サーバ選択欄B6にて選択されたサーバ装置から取得した画像データが一覧表示される。なお、ここでサーバ装置とは、例えば記憶装置300等の、ネットワーク200に接続されたサーバ装置である。
そして画像領域B2は記憶装置300から取得された画像を表示する領域であり、当該画像領域B2には、画像だけでなく当該画像のタイトル等が表示されても良い。画像選択ボックスB3は、1あるいは複数の画像に対するユーザの選択操作を受けるためのものであり、各々の画像に対して設けられる。
映像再生ボタンB4は、ユーザにより選択された画像に基づいた映像を再生する為のボタンであり、コンピュータ100は、当該ボタンに対する操作入力を受け付けると、図7にて後述するユーザ嗜好指定画面に遷移した後、前述の映像生成処理を行うとともに表示装置400に対して当該映像生成処理により生成された映像のデータ要求の送信及び当該映像の再生を指示する。なお当該映像再生ボタンB4は、画像選択画面において複数の画像データが選択された場合に表示し、単一の画像データが選択された場合には表示しなくともよい。
一方静止画再生ボタンB5は、ユーザにより選択された画像を、映像生成処理を行うことなく再生するためのボタンであり、コンピュータ100は当該静止画再生ボタンB5に対する操作入力を受けた場合、表示装置400に対して選択画像のURIを指定したデータ要求の送信及び選択画像の再生を指示し、表示装置400は選択画像を例えば当該選択画像のタイトル名順や作成日時順に表示する。
サーバ装置選択欄B6は、何れのサーバ装置の画像データを画像一覧領域B1に表示するかを選択する為の選択欄であり、UPnPのdevice descriptionやservice descriptionにより取得した、サーバ装置を識別する為の装置名等と、当該サーバ装置を選択する為の選択ボタンが配置される。なおサーバ装置選択欄B6には、コンピュータ100の記憶装置であるHDD110が選択肢として表示されてもよい。
表示装置選択欄B7は、映像や静止画を再生/表示するための選択欄でありUPnPのdevice descriptionやservice descriptionにより取得した、表示装置を識別する為の装置名等と、当該表示装置を選択する為の選択ボタンが配置される。なお表示装置選択欄B6には、コンピュータ100の表示装置であるLCD105が選択肢として表示されてもよい。
また、画像一覧領域B1には、サーバ選択欄B6にて選択されたサーバ装置の画像データだけでなく、ユーザにより選択された画像データが表示されてもよい。即ち、例えばユーザがサーバAを選択して当該サーバAの画像を選択した後、当該サーバAの選択を解除した場合であっても、ユーザにより選択された画像データを当該画像一覧領域B1に表示してもよい。また、画像一覧領域B1内での画像の表示順は、例えばユーザにより選択された画像データが優先的に配置された表示順であってもよい。
続いて図6を参照して画像選択画面の一例を説明する。なお図6に示す画像選択画面は、選択画面生成部153が、インデックス情報データベース110Aに基づいて生成する、記憶装置300やHDD110に格納された複数の画像データの中から所定の選択条件を満たす画像データを選択するための画面である。
図6の画面選択画面には、顔画像一覧領域C1、顔画像領域C2、選択ボタンC3、映像再生ボタンC4、静止画再生ボタンC5,サーバ装置選択欄C6、表示装置選択欄C7等が表示される。
顔画像一覧領域C1は、人物の顔画像を1つずつ選択肢として配置する領域である。また顔画像領域C2は、顔画像を表示する為の領域であり、当該領域の近傍には、顔画像を指定するための選択ボタンC3が配置される。
ここで画像選択部152は、選択ボタンC3に対する操作入力を受け、顔画像が指定されると、インデックス情報データベース110Aに基づいて、当該指定された顔画像の人物が写っている全ての画像データを選択することができる。なお、ここで選択する画像データは、サーバ装置選択欄C6において選択されたサーバ装置に記憶された画像データのうち、当該指定された顔画像の人物が写っている全ての画像データであってもよい。
また、映像再生ボタンC4、静止画再生ボタンC5、サーバ装置選択欄C6及び表示装置選択欄C7は、図5の映像再生ボタンB4、静止画再生ボタンB5、サーバ装置選択欄B6及び表示装置選択欄B7に夫々対応する機能を有する。
続いて図7を参照して、ユーザ嗜好指定画面の一例を説明する。
当該ユーザ嗜好指定画面には、映像生成エンジン180が、画像データに基づいた映像を生成する際に、何れの対象物にフォーカスした映像を生成するかを指定/決定するための選択肢が表示される。ここで図7に示す画面には、例えば人物、風景、動物、看板、モニュメント、自動車等が選択肢として表示されている。また、人物については、更に何れの人物にフォーカスするかを指定する選択肢が表示される。
なおユーザ嗜好指定画面においては、前述した画像選択画面において選択された画像データに写っていない対象物についての選択肢を選択付加にする、あるいは当該選択肢を非表示にしてもよい。またユーザ嗜好指定画面においては、動画生成エンジン180が生成する映像にて用いられるエフェクト等を指定できるようにしてもよい。
そして、当該ユーザ嗜好指定画面における操作入力受付が完了し、OKボタンへの操作を受けると、コンピュータ100は前述の映像生成処理を行うとともに表示装置400に対して当該映像生成処理により生成された映像のデータ要求の送信及び当該映像の再生を指示する。なお当該映像生成処理においては、ユーザ嗜好指定画面に対するユーザ操作入力に基づいた映像が生成されてもよいが、あるいは当該ユーザ嗜好指定画面に対するユーザ操作入力を受けることなく映像が生成されてもよい。この場合、例えば人物や風景などが満遍なくフォーカスされた映像等が生成される。
次に図8乃至図12を参照して、本実施形態に係る映像生成エンジン180が生成する映像について説明する。図8は、映像エンジン180が生成する映像の一例である。
図8に示す映像においては、まず、図8(A)に示すように、複数の顔画像が複数の表示エリアに分散して配置された状態で表示される。なお当該複数の顔画像は、元の画像データから抽出された顔画像に基づくものである。そして時間の経過にしたがって各表示エリアに表示される画像が徐々に元の画像データのサイズに近づくよう変化していき、最終的に図8(C)に示すように、画像の全体が、複数の表示エリアから構成される表示画面全体に表示され、当該図8(C)の状態は一定時間継続する。即ち、ユーザには一定時間静止して見える。
図9に示す映像では静止画像全体がぼかして表示される。そして図9(A)のように、当該静止画像の一部を覆う枠が当該静止画上に表示され、当該枠により囲まれる領域がハイライト表示される。なおことのとき、ハイライトされていない領域(枠の外の領域)は、明度が下げられたり、ぼかしたりして表示される。この枠が図9(B)のように、静止画像に含まれる顔画像上を順番に移動することにより、当該静止画の顔画像が一つずつ順番にハイライト表示される。そして、例えば静止画の顔画像全てが表示されると、図9(C)に示すような全体画像が、一定時間静止して表示される。
図10に示す映像においては、人物毎に顔画像が拡大されて表示される。ここで、当該映像では、図10(A)の画像のように、画面に画像全体が静止して表示され、画像内に含まれる複数の顔画像が一つずつ拡大表示される。そして当該映像では、例えば写真の右方にいる人物から順番に、図10(B)のような顔画像が拡大表示される。なお図10(B)では、右から2番目にいる人物の顔が拡大されている。
図11に示す映像においては、表示されている画像が次の画像に切り替わる。まず図11(A)に示すように画像D1が一定時間静止して表示され、続いて図10(B)に示すような、画像D1の一部を覆うグラフィックス画像である図形D2が、例えば回転しながら画像D1の中心等に向かって移動する。そして図形D2が中心に到達すると、図形D2の領域と一致する領域に画像D1とは異なる次の画像D3が図11(C)に示すように表示される。続いて図10(D)に示すように、図形D2は例えば回転しながら拡大し、当該図形D2内に表示される画像D3の領域も拡大する。そして図形D2が拡大することにより、図10(E)に示すように画像D3の全体が表示される。
図12に示す映像では、図12(A)に示される画像が、図12(B)に示される次の映像に遷移する。即ち図12(A)に示されている山の画像が、所謂モーフィング映像のように図12(B)のような画像を経て、図12(C)に示されている建物の画像に変化する。ここで映像生成エンジン180は、図12(A)及び(C)の画像データに基づいて、当該画像が遷移/変形する間の画像を補完して生成する。
なお映像生成部182は、インデクシング処理部182が各々の画像に対して顔画像、当該顔画像の位置及びサイズ等を検出することにより、検出した顔にフォーカスした図8乃至図10のような映像を生成することができるが、映像生成部182は顔画像だけでなく、例えばインデクシング処理部182による各種対象物のインデクシング結果に応じて、看板の文字や観光地のオブジェ、山、自動車、動物等にフォーカスした映像を生成してもよく、またフォーカスする対象物に応じて異なる、当該対象物に適したエフェクトをかけた映像を生成してもよい。
次に図13を参照して、映像生成エンジン180が生成する映像データの構成例について説明する。映像データV1は、画像1〜Nに基づく夫々のシーンから構成され、また当該夫々の画像のシーンは、画像が静止して表示されるシーンである静止画シーンと、当該画像に基づく画像が動くシーンであるエフェクトシーンとから構成される。
図13において、画像1及び画像2のシーンでは、当該シーンの前半にエフェクトシーンが、当該シーンの後半に静止画シーンが表示される。即ちこれらシーンでは、例えば図8や図9のような映像が表示される。また、画像シーン3のシーンでは、当該シーンの前半に静止画シーンが、後半にエフェクトシーンが表示される。即ち画像3のシーンでは、画像3に基づいた、例えば図10に示したような映像が表示される。
画像N−1のシーンでは、シーン前半に静止画シーンS4が表示され、後半にエフェクトシーンE4が表示される。ここで当該エフェクトシーンE4は、例えば図11や図12に示したような、異なる2の画像を切り替えるエフェクトであり、当該エフェクトシーンE4の途中から次の画像Nの一部が表示される。そして画像Nのシーンでは、エフェクトシーンE4が終了すると、静止画シーンS5が表示される。
なお、映像データV1において、夫々の画像のシーンにはどのようなエフェクトが適用されてもよい。また、映像データV1を構成する夫々の画像のシーンの順番は、夫々の画像のインデックス情報に基づいていてもよい。例えば人物が写っていない風景の画像のシーンや、あるいは最も多くの人数が写っている画像のシーンを映像データV1の先頭に表示するようにしてもよい。
次に図14を参照して、インデックス情報データベースの生成に係る処理の順序について説明する。図14は、インデクシング処理部181によるインデクシング処理の処理フロー例を示す図である。
まずメディアコントロールプログラム150は、CDSのBrowseアクションにより、記憶装置300から画像情報を取得する(S701)。なお指示部151は、定期的、例えば一日毎に、ネットワーク200を介して接続された装置に対して画像情報を取得する。
そして指示部151は、画像情報に含まれる画像データのURIを取得すると、当該URIを指定したデータ要求を送信する(S702)。なお指示部151は、URIに対して画像データを要求する際に、当該要求の以前にインデクシング処理部181がインデクシングした画像データのURIに対して画像データを要求しないことも可能である。即ち指示部151は、取得したURIとインデックス情報データベース110AのURI情報とを参照/比較することにより、当該取得したURIのうち、インデックス情報データベース110Aに含まれないURIを指定したデータ要求を送信することができる。
そして当該データ要求に対する画像データを受信すると、映像生成エンジン180は、当該画像データに対するインデクシング処理を行い(S703)、当該インデクシング処理により得られた情報をインデックス情報データベース110Aに書き込む(S704)。
続いて図15を参照して、映像生成エンジン180による映像生成に係る処理フロー例について説明する。
まず指示部151は、UPnPのdevice descriptionやservice descriptionによるサービス情報要求を送信し、当該要求に対する表示装置400からの応答を受信することにより、表示装置400についての情報を取得する(S801)。なお当該表示装置400についての情報は、当該表示装置400が対応する画像フォーマットの情報を含んでいる。
続いて指示部151は、UPnPのCDSのBrowseアクションリクエストを送信し、当該Browseアクションリクエストに対する記憶装置300からのBrowseアクションレスポンスを受信することにより、記憶装置300に記憶された画像データのファイル名やURI情報等を取得する(S802)
そして指示部151は、S802にて取得した、画像データのURI情報に基づいて、画像データのURIを指定したデータ要求を送信し、記憶装置300から画像データを受信する(S803)。なお記憶装置300に記憶されている画像データには各々URIが割り当てられており、複数の画像データを取得する場合、指示部151は当該各々の画像データに割り当てられたURIを指定した要求を送信する。
次に選択画面生成部153は、受信した画像データに基づいて、画像選択画面を生成し、当該生成した画像選択画面をGPU104から出力させる(S804)。なお、ここでGPU104から出力する画面は、図5及び図6に示した画面のうちどちらの画面であってもよい。
また選択画面生成部153は、図6に示した画像選択画面を生成する場合、インデックス情報データベース110Aに画像データが格納されていると、記憶装置300から画像データを取得することなく、当該データベースの画像データを利用して画像選択画面を生成してもよい。
続いて画像選択部152は、画像選択画面に対する選択操作入力に基づいて画像を選択する(S805)。また画像選択部152は、画像選択画面に対する操作入力に基づいて、画像や映像を再生/表示する表示装置を選択する(S806)。
次に画像選択部152は、画像選択画面に対する、静止画を再生する操作入力を受けた場合(S807のNo)、指示部151に対して選択画像の再生指示及び当該選択画像のURI情報を出力し、指示部151は、表示装置400に対して、画像選択部152が選択した選択画像のURIを指定したデータ要求を記憶装置300に対して送信して当該選択画像を取得し、当該取得した選択画像を再生するよう指示する(S808)。なおコンピュータ100は、静止画を再生する操作入力を受けた場合、映像を生成しなくてよい。
一方S807において映像再生の操作入力を受け付けた場合(S807のYes)、選択画面生成部153は、ユーザ嗜好指定画面を生成し、当該生成した画面をGPU104から出力させ、コンピュータ100は当該画面に対する操作入力を受け付ける(S809)。次に画像選択部152は、指示部151に対して映像生成指示及び選択操作を受けた画像データのURI情報を映像生成エンジン180に出力するとともに、ユーザ嗜好指定画面に対する操作入力に基づいた映像の生成を映像生成エンジン180に指示する。なお、指示部151は、映像生成エンジン180に対して所定の画像フォーマットの映像の生成を指示することもできる。
ここで所定の画像フォーマットとは、例えばDLNAのDMRで一般的に表示可能なフォーマットであるMPEG−2や、あるいはS801で取得した表示装置400が表示可能な映像フォーマット等である。そして映像生成エンジン180は、入力されたURIを指定したデータ要求を送信することにより、記憶装置300から画像データを受信する(S810)。なおここで映像生成エンジン180は、HDD110に記憶された画像データを取得しても良い。
そして映像生成エンジン180は、取得した画像データに基づいた映像データの生成を開始し(S811)、当該映像データが利用可能であることをネットワーク200に対して公開する。なおここで生成する映像データは、指示部151から指示された画像フォーマットの映像であってもよい。そして映像生成エンジン180は、表示装置400から、当該映像データのURIを指定したデータ要求を受けると、当該映像データを表示装置400に出力する(S812)。なおS806において、コンピュータ100が当該コンピュータ100のLCD105を表示装置とする選択操作を受けた場合、S812において映像生成エンジン180は、生成した映像をGPU104に出力する。
次に図16を参照して、本実施形態の記憶装置300、メディアコントロールプログラム150、映像生成エンジン180、表示装置400の処理順序について説明する。図16は、メディアコントロールプログラム150、映像生成エンジン180、記憶装置300、表示装置400による処理フローの例を示す図である。
まずメディアコントロールプログラム150は、UPnPのdevice descriptionやservice descriptionを用いたサービス情報要求により表示装置400についての情報を取得する(S901)。次にメディアコントロールプログラム150はBrowseアクションにより画像データについての情報を記憶装置300から受信する(S902)。そしてメディアコントロールプログラム150は、画像データについての情報に含まれる画像データのURIを指定した画像データ要求を送信し、記憶装置300から画像データを受信する(S903)。
続いてメディアコントロールプログラム150は、画像を選択するための画像選択画面を生成し、当該画像選択画面をGPU104からLCD105に出力させる(S904)。ここでメディアコントロールプログラム150は、画像選択画面に表示された表示装置選択欄のボタンに対する操作入力に基づいて、映像を表示する表示装置を選択する(S905)。そしてメディアコントロールプログラム150は、当該画像選択画面に対する操作入力を受け付けることにより画像を選択し(S906)、またユーザ嗜好指定画面に対する操作入力を受ける。
そしてメディアコントロールプログラム150は、映像生成エンジン180に対し、S905にて選択された画像データのURIを含むデータ要求の送信と映像生成とを指示する(S907)。またこのときメディアコントロールプログラム150は、映像生成エンジン180に対して、所定の画像フォーマットでの映像の生成と、ユーザ嗜好指定画面に対するユーザ操作入力に基づいた映像の生成とを指示する(S908)。
映像生成エンジン180は、メディアコントロールプログラム150からデータ要求指示を受信すると、当該指示に含まれるURIの画像データを記憶装置300から取得する(S909)。なおURIは画像データ毎に割り振られており、複数の画像データを取得する場合、映像生成エンジン180は複数のURIの画像データを取得する。
そして映像生成エンジン180は、取得した画像データに基づいて、図8乃至図12に示したようなシーンを含む、図13に示したような構成の映像の生成を開始する(S910)。またこのとき映像生成エンジン180が生成する映像データにはURIが割り振られ、当該URIを含む、当該映像データについての情報は例えばUPnPのCDS等によりネットワーク200上の各装置に公開される。
続いてメディアコントロールプログラム150は、映像生成エンジン180が生成する映像データのURIを取得し、表示装置400に対して、当該URIを含むデータ要求を指示するとともに、取得した映像データの再生を指示する(S911)。
表示装置400は、メディアコントロールプログラム150からの、映像データのURIを含むデータ要求の送信指示を受けると、当該指示に含まれるURIから映像データを取得する(S912)。そしてメディアコントロールプログラム150は、表示装置400に対して映像の表示を指示し(S913)、表示装置400は取得した映像データをデコードして表示する(S914)。
なお図16に示す処理において、メディアコントロールプログラム150及び映像生成エンジン180は、HDD110に記憶された画像データを取得してもよく、また映像生成エンジン180は、生成した映像をコンピュータ100のLCD105に出力しても構わない。
本実施形態に拠れば、コンピュータ100はネットワーク200に接続された記憶装置300や、HDD110に記憶された画像データに基づいた映像データを生成することができる。そしてコンピュータ100は、生成した映像データを、ネットワーク200を介して接続された表示装置400に出力するとともに、当該表示装置400に対して当該映像データの再生を指示できる。これによりコンピュータ100は、ネットワークを介して接続された機器から取得した画像データに基づく、ユーザにとって好適な映像を、ネットワークを介して接続された機器に表示させることができる。
またコンピュータ100は、取得した画像データに対する顔検出等のインデクシング処理を行い、当該インデクシング処理により得られた情報に基づいて映像データを生成することや、画像データ毎のインデックス情報を格納し、当該インデックス情報に基づいて、例えば人物毎の画像データを選択することにより、ユーザにとって好適な映像データを生成/出力することができる。
またコンピュータ100は、表示装置400から当該表示装置400が再生可能な画像形式についての情報を取得することにより、表示装置400が再生可能な画像形式の映像データを生成/出力することができる。あるいは、コンピュータ100は、DLNAで一般的に用いられる画像形式の映像データを生成することにより、表示装置400が再生可能な画像形式の映像データを出力できる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以下に、本願の原出願における特許査定時の特許請求の範囲に記載された発明を付記する。
[1]ネットワークを介して、1以上のサーバ装置から1以上の画像を取得する取得手段と、前記取得した画像から、静止画を含む第1のシーンと前記静止画に基づく動画を含む第2のシーンとを有する映像データを生成する生成手段と、前記生成手段で生成された前記映像データの再生指示と前記映像データの存在場所とを、表示装置に前記ネットワークを介して送信する第1の送信手段と、前記表示装置からの要求に応じて、前記映像データを、画像処理装置本体から前記表示装置に前記ネットワークを介して送信する第2の送信手段とを備える画像処理装置。
[2]画像の構成要素となる複数の種類の画像要素にそれぞれ対応した複数の選択肢を出力する手段と、前記出力された複数の選択肢の中からの選択操作により任意の画像要素を指定する手段と、をさらに備え、前記生成手段は、前記指定された画像要素にフォーカスした映像データを、前記取得手段により取得された画像から生成する前記[1]記載の画像処理装置。
[3]前記映像データは、静止画を含む第1のシーンと前記静止画中の少なくとも一部の動きを含む動画を備えた第2のシーンとを有する前記[1]記載の画像処理装置。
[4]前記映像データは、静止画を含む第1のシーンと前記静止画上に重ね合わされた少なくとも一つの動く部分を含む動画を備えた第2のシーンとを有する前記[1]記載の画像処理装置。
[5]前記映像データのシーンの順序を関連付けた、前記取得した画像についてのインデックス情報を生成するインデクシング手段を更に備える前記[1]記載の画像処理装置。
[6]前記サーバ装置から少なくとも一つの画像を選択する選択手段を更に備え、前記取得手段は、前記選択された少なくとも一つの画像を取得する前記[1]記載の画像処理装置。
[7]前記サーバ装置からの選択対象となる画像についての情報を表示し、当該表示した情報を選択可能とする表示手段を更に備え、前記選択手段は、選択された前記情報に基づく少なくとも一つの画像を選択する前記[6]記載の画像処理装置。
[8]前記第1の送信手段は、前記選択手段が選択した少なくとも一つの画像の再生指示を、前記ネットワークを介して前記表示装置に送信し、前記生成手段は、前記選択された少なくとも一つの画像の再生指示を前記第1の送信手段が前記表示装置に送信した場合、前記映像データを生成しない前記[6]記載の画像処理装置。
[9]前記映像データを生成する処理と、前記選択された少なくとも一つの画像の再生指示を前記第1の送信手段が前記表示装置に送信する処理と、のうちの何れかを選択するためのボタンを含む画面を出力する出力手段を更に備える前記[8]記載の画像処理装置。
[10]前記生成手段は、前記表示装置が表示可能な画像形式の前記映像データを生成する前記[1]記載の画像処理装置。
[11]前記取得手段は、前記ネットワークを介して前記画像形式についての情報を取得し、前記生成手段は、前記取得された情報に基づいた画像形式の映像データを生成する前記[10]記載の画像処理装置。
[12]前記取得手段は、前記ネットワーク上のサーバ装置によって公開された1以上の画像を取得し、前記生成手段は、この取得した画像から前記映像データを生成し、この生成された映像データを前記ネットワークを介して公開する公開手段と、前記公開された映像データに対するデータ要求に応じて当該映像データを出力する出力手段とをさらに備える前記[1]記載の画像処理装置。
[13]第1の表示装置を備えた画像処理装置における画像処理方法であって、1以上のサーバ装置から1以上の画像を前記画像処理装置が取得するステップと、前記取得した画像から、静止画を含む第1のシーンと前記静止画に基づく動画を含む第2のシーンとを有する映像データを前記画像処理装置が生成するステップと、前記映像データを前記第1の表示装置に出力する処理と、前記画像処理装置で生成された前記映像データの再生指示及び前記映像データの存在場所を前記画像処理装置から第2の表示装置に前記ネットワークを介して送信したのち前記第2の表示装置からの要求に応じて前記映像データを前記ネットワークを介して前記画像処理装置から前記第2の表示装置に送信する処理と、のうちの何れか一方の処理を当該画像処理装置が実行するステップとを備える画像処理方法。