JP2013255171A - Image distribution apparatus and image display apparatus - Google Patents
Image distribution apparatus and image display apparatus Download PDFInfo
- Publication number
- JP2013255171A JP2013255171A JP2012130863A JP2012130863A JP2013255171A JP 2013255171 A JP2013255171 A JP 2013255171A JP 2012130863 A JP2012130863 A JP 2012130863A JP 2012130863 A JP2012130863 A JP 2012130863A JP 2013255171 A JP2013255171 A JP 2013255171A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- composite image
- user
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、複数の視点位置から取得された情報に基づき画像データを処理する画像配信装置及び画像表示装置に関するものである。 The present invention relates to an image distribution apparatus and an image display apparatus that process image data based on information acquired from a plurality of viewpoint positions.
従来、撮像装置を用いて撮像した情報に基づき、撮像後に撮像画像を確認する場合、いわゆる再生モードにおいて撮像画像を表示させ、確認する方法が知られている。 2. Description of the Related Art Conventionally, a method for displaying and confirming a captured image in a so-called playback mode is known when confirming a captured image after imaging based on information captured using an imaging apparatus.
また、近年、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている（たとえば非特許文献１、特許文献１）。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データが、受光面における光の強度分布に加えてその光の進行方向の情報も含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。 In recent years, an imaging apparatus using a technique called “Light Field Photography” has been proposed (for example, Non-Patent Document 1 and Patent Document 1). This imaging device is composed of an imaging lens, a microlens array, an imaging device, and an image processing unit, and the captured image data obtained from the imaging device is used in addition to the light intensity distribution on the light receiving surface. It also includes information on the direction of travel. In the image processing unit, observation images from a plurality of viewpoints and directions can be reconstructed.
複数の視点から撮像された画像から、画像位置合わせ及び画像合成処理により、仮想フォーカス距離に撮像後のピント調整処理（以降、リフォーカスと呼ぶ）を行う技術がある（たとえば特許文献２）。また、撮像後にリフォーカスが可能な撮像装置（以降、ライトフィールドカメラと呼ぶ）が開発されている。 There is a technique for performing focus adjustment processing (hereinafter referred to as refocusing) after imaging at a virtual focus distance from images captured from a plurality of viewpoints by image alignment and image synthesis processing (for example, Patent Document 2). In addition, an imaging device (hereinafter referred to as a light field camera) capable of refocusing after imaging has been developed.
従来のライトフィールドカメラは再生モード時にタッチパネル式のディスプレイ表示画面においてピントを合わせたい場所をタップすることでリフォーカスを行い、ピントを変更した合成画像をディスプレイ表示するものである。 The conventional light field camera performs refocusing by tapping a place where the focus is desired on the touch panel display display screen in the playback mode, and displays the composite image with the focus changed on the display.
リフォーカスされた合成画像を示す画像データの生成する際、例えば特許文献２の方法では、中間視点画像を推定処理によって生成する必要があり膨大な計算コストがかかる。そのため、ユーザーがリフォーカス処理を指示して得られた画像データがその撮像シーンに適していない画像データである場合、再度のリフォーカス処理が必要になり、さらに計算コストが生じることになる。 When generating image data indicating a refocused composite image, for example, in the method of Patent Document 2, it is necessary to generate an intermediate viewpoint image by estimation processing, which requires enormous calculation costs. Therefore, when the image data obtained by the user instructing the refocus processing is image data that is not suitable for the imaging scene, the refocus processing is necessary again, and the calculation cost is further increased.
本発明にかかる画像配信装置は、ユーザー評価値が付与された、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを取得する取得手段と、前記取得した合成画像データを送信する送信手段とを備えることを特徴とする。 An image distribution apparatus according to the present invention includes an acquisition unit that acquires composite image data generated from multi-viewpoint image data captured from a plurality of viewpoint positions, to which user evaluation values are assigned, and focused on a predetermined area. And transmitting means for transmitting the acquired composite image data.
本発明によれば、ネットワーク上の視聴者からのフィードバックにより、撮像シーンに適したリフォーカス画像を表示することができ、ユーザーの利便性を高めることができる。 According to the present invention, it is possible to display a refocus image suitable for an imaging scene by feedback from a viewer on the network, and to improve user convenience.
以下、図面を用いて本発明の実施例について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、画像再生システムのシステム接続構成例を示すブロック図である。 FIG. 1 is a block diagram illustrating a system connection configuration example of an image reproduction system.
多眼カメラ１０１は、複数の視点位置から取得された情報に基づく画像データを撮像して多視点画像データを得る撮像装置（システム）である。
The
無線ルータ１０２は、多眼カメラ１０１と無線通信にて接続しネットワークとの間を中継通信する為の装置である。ここでは、無線ルータとして説明するが、有線接続でのルータを接続する構成でもよい。
The
ネットワーク１０３は、無線ルータ１０２とクラウドサーバー１０４や、別の機器と通信接続する為のネットワークである。
The
クラウドサーバー１０４は、多眼カメラ１０１で撮像された多視点画像データの保存と、その多視点画像データに対応した各種パラメータの保存と、ネットワーク１０３越しに接続された各種機器と連携して画像処理を実行する装置である。クラウドサーバーの処理動作の詳細は別途後述する。
The
表示端末Ａ１０５は、クラウドサーバー１０４上に保存された画像データを閲覧表示する為の表示端末である。本実施例上は、パーソナルコンピュータである（以下ＰＣとして説明する）。また、ディスプレイの表示解像度はＷＸＧＡサイズ（１２８０×８００）とする。
The display terminal A 105 is a display terminal for browsing and displaying the image data stored on the
表示端末Ｂ１０６は、表示端末Ａ１０５と同様に、クラウドサーバー１０４上に保存された画像データを閲覧表示する為の表示端末である。本実施例上は、高解像度の大画面テレビ等を示しており、フルハイビジョンサイズ（１９２０×１０８０）（以下このサイズをＦＵＬＬ＿ＨＤとして説明する）の解像度のディスプレイを有する表示端末とする。
The display terminal B106 is a display terminal for browsing and displaying the image data stored on the
表示端末Ｃ１０７は、表示端末Ａ１０５及び表示端末Ｂ１０６と同様に、クラウドサーバー１０４上に保存された画像データを閲覧表示する為の表示端末である。本実施例上この表示端末は、高解像度ではない携帯表示端末とする。ここでは、解像度をＷＶＧＡサイズ（８５４×４８０）として説明する。
The display terminal C107 is a display terminal for browsing and displaying the image data stored on the
なお、各表示端末は１例であり、また、各表示端末の解像度についてもここで記載している解像度以外の解像度に対応した表示の解像度でもよい。 Each display terminal is an example, and the resolution of each display terminal may be a display resolution corresponding to a resolution other than the resolution described here.
図２は、多眼カメラ１０１内部のハード構成ブロックの一例を示す図である。多眼カメラ撮像部２０１は、相互に独立した光学系と撮像素子とを持つ相互に独立した複数のカメラの集合体である。多眼カメラ撮像部２０１は、撮像素子の制御部等を含み、複数の撮像素子からの出力データの集合を多視点画像データとして出力する。
FIG. 2 is a diagram illustrating an example of a hardware configuration block inside the
ＲＡＭ２０２は、多眼カメラ撮像部２０１で撮像した多視点画像データの一時記憶や生成したリフォーカス画像データの一時記憶、およびその他演算途中のデータなどの一時記憶に使用する為のメモリである。ＦｌａｓｈＲＯＭ２０７は、不揮発メモリであり、過去にユーザーが選択した画像（種別と位置）や操作に関する履歴を累積、記憶する。外部メモリ２０９は、ＳＤカードなどの外部メモリである。また、外部メモリ２０９は不揮発メモリであり、電源を切っても画像データは保存される。外部メモリ２０９には、多眼カメラ撮像部２０１で撮像した多視点画像データが、画像ファイルとして保存される。また外部メモリ２０９は、処理中の画像データを一時画像ファイルとして一時的に保存する領域としても利用される。
The
メモリ制御部２１０は、いわゆるバスシステムと、バスシステムに接続されるメモリやデバイスの制御部から構成され、例えば、ＲＡＭ２０２、ＦｌａｓｈＲＯＭ２０７、外部メモリ２０９の各メモリに対するデータの読み書きを制御する。
The
ユーザーＩ／Ｆ（インターフェース）２０６は、機器の操作や、ユーザーがリフォーカス表示を希望する画像又は領域を選択したり、又は撮像済み画像の表示に係わるモード選択を行う為のＩ／Ｆ（インターフェース）である。具体的には、ディスプレイ２０５上に設置されるタッチパネルや、レリーズボタン、操作ダイアルなどユーザーI／Ｆに対応する。
A user I / F (interface) 206 is an I / F (interface) for operating a device, selecting an image or region that the user desires to refocus, or selecting a mode related to displaying a captured image. ). Specifically, it corresponds to a user I / F such as a touch panel installed on the
全体制御部（ＣＰＵ）２０８は、機器全体の制御や、ＦｌａｓｈＲＯＭ２０７に記憶されている履歴情報から最も頻度の高い領域を選択し、リフォーカス演算部２０３へ指示するなどの演算制御を行う。
The overall control unit (CPU) 208 performs overall control of the device and calculation control such as selecting the most frequent area from the history information stored in the Flash
リフォーカス演算部２０３は、全体制御部２０８の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、所定の対象に合焦した合成画像データであるリフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。生成されたリフォーカス画像データは、ＲＡＭ２０２や、外部メモリ２０９などへ格納される。
The
グラフィックプロセッサ２０４は、リフォーカス演算部２０３で生成されたリフォーカス画像データをディスプレイ２０５に表示する機能を具備している。
The
ネットワークＩ／Ｆ２１１は、機器外とネットワーク接続を行い、ネットワーク上の外部機器との間でデータ転送を行う。本実施例では、ネットワークＩ／Ｆ２１１は外部のクラウドサーバーに対して多視点画像データを含む画像ファイルを送信する。また、多眼カメラにおいてリフォーカス済の画像データを生成済みである場合にはそのデータをクラウドサーバー１０４に対して送信してもよい。
The network I /
画像解析部２１２は、画像データ中の被写体の領域を検出し、領域毎に識別コードを割り当てる。画像解析部２１２は、検出した被写体の領域情報と識別コードとをＲＡＭ２０２に記憶する。本実施例の被写体とは、前景にあたる人や動物だけでなく、背景に含まれる風景部分も含むものとする。被写体の検出は、例えば、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用することで実施できる。あるいは、被写体の検出は、顔の対称的特徴、顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによっても実施できる。背景の検出は、例えば前述の方法で画像内の人物や動物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分することができる。例えば、被写体領域を矩形と仮定すると、領域情報の形式は、左上と右下の座標で示される。また、被写体の識別対象は、人（又は顔）、動物、風景の三種類としているが、これに限定されず、さらに細かい分類をすることも可能である。なお、被写体の検出および識別方法は、本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。画像解析部２１２での被写体検出および識別機能は、画像撮像後、直ちに実施され、その結果をクラウドサーバーに送信してもよい。
なお、多視点画像データは、撮像素子から得られたＲＡＷ画像データであってもよいし、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などの現像処理が施された現像後画像データであってもよい。また、本実施例では多眼カメラ撮像部２０１を用いる例を説明したが、多視点画像データは複数の視点位置からのデータであればよく、例えばマイクロレンズアレイを用いて得られる撮像データを用いてもよい。
The
The multi-viewpoint image data may be RAW image data obtained from an image sensor, or a developed image that has been subjected to development processing such as demosaicing processing, white balance processing, gamma processing, and noise reduction processing. It may be data. In this embodiment, the example using the multi-view
次に、クラウドサーバー１０４内の構成例を示すブロック図である図３について説明する。
Next, FIG. 3 which is a block diagram illustrating an example of the configuration in the
図３は、クラウドサーバー装置内の構成例を示すブロック図である。本実施例において、クラウドサーバーは画像配信装置ということができる。 FIG. 3 is a block diagram illustrating a configuration example in the cloud server device. In this embodiment, the cloud server can be referred to as an image distribution device.
ネットワーク通信部３０１は、ネットワーク１０３に接続された機器とクラウドサーバーとを通信する。またネットワーク通信部３０１は、ネットワークを介して閲覧可能なように画像データを公開する。ネットワーク通信部３０１は、物理的な接続形態に限定はなく、有線接続、無線接続の場合もあるため、プロトコル的に接続可能であれば、接続形態にこだわるものではない。
The
データ記憶部３０２は、ネットワーク通信部３０１経由で、多眼カメラ１０１で撮像された多視点画像データを記憶する。また、クラウドサーバー内で処理された結果の画像データと各種情報を記憶する。クラウドサーバー内での処理する内容及び、各種情報については、別途後述する。
The
リフォーカス演算部３０３は、データ記憶部３０２に蓄積された多視点画像データからリフォーカス演算処理を行い、リフォーカス画像データを生成する。リフォーカス演算部３０３はリフォーカス演算部２０３と同様の処理を行う。
The
ＵＩ制御部３０４は、ネットワークを介して接続されている画像表示端末に対して、ＵＩ（ユーザーインターフェースであり以下ＵＩとして説明する）操作を出来るよう制御する。また、ユーザーからの操作指示に応じてクラウドサーバー機器内を制御する。
The
ユーザー評価値蓄積部３０５は、ＵＩ制御部３０４の結果に応じて、ユーザーの操作を評価値として蓄積する。ユーザー評価値については後述する。
The user evaluation
解像度変換部３０６は、ネットワークを介して接続されている各種画像表示端末及び、カメラに搭載されているディスプレイの解像度に合わせて、データ記憶部３０２に記憶されている画像データの解像度を変換処理する。
The
全体制御部（ＣＰＵ）３０７は、クラウドサーバー機器内の全体を制御する。バスインターフェース３０８は、クラウドサーバー機器内の各ブロックを排他的に切り替えながら動作させる為のバスインターフェースである。表示部３０９は、クラウドサーバーを直接操作する際の操作表示用の表示部である。
The overall control unit (CPU) 307 controls the entire cloud server device. The
上記構成において、多眼カメラ１０１で撮像された多視点画像データが、クラウドサーバー１０４上のデータ記憶部３０２に記憶されている。また、この多視点画像データを表示端末に閲覧表示させるにあたって、所定のＩＤコード情報及び多視点画像データのサムネイル画像もデータ記憶部３０２に記憶されている状態である。ＩＤコードとは、例えばユーザーＩＤのことであり、画像再生を要求するユーザーが管理者であるか否かを判定するために用いられる。詳細については後述する。なお、多眼カメラ１０１で撮像された多視点画像データのクラウドサーバーへのアップロード方法については公知技術である為、ここでは特に言及しない。
In the above configuration, the multi-viewpoint image data captured by the
次に本実施例の特徴を、図４のフローチャートを用いて説明する。図４は、クラウドサーバー１０４のフローチャートである。図４に示す処理は、例えば全体制御部３０７がデータ記憶部３０２に記憶されているプログラムを実行することによって実施される。
Next, features of the present embodiment will be described with reference to the flowchart of FIG. FIG. 4 is a flowchart of the
シーケンスをスタート後、ステップＳ４０１では、図１の各表示端末Ａ１０５，Ｂ１０６，Ｃ１０７のいずれかより、多眼カメラ１０１で撮像された多視点画像データを再生表示する為の要求コマンドの受信の有無を判定する。ネットワーク通信部３０１を介して、画像再生の為の要求コマンドが無い場合は、そのまま、このルーチンで待機状態となる。ネットワーク通信部３０１を介して、画像再生の為の要求コマンドを受信した場合は、ステップＳ４０２へ進む。
After starting the sequence, in step S401, whether or not a request command for reproducing and displaying the multi-viewpoint image data captured by the
ステップＳ４０２では、ネットワーク１０３を介して、ユーザーのＩＤコードを受信する。ステップＳ４０３では、ステップＳ４０２で受信したＩＤコードが、ステップＳ４０１で再生要求があった画像データを撮像した管理者のＩＤコードと一致するか否かを判定する。先に説明したように、管理者のＩＤコードは、例えば予めデータ記憶部３０２に保存されている。判定した結果、画像の管理者である場合は、ステップＳ４０４へ進む。画像の管理者ではないと判定した場合は、ステップＳ４１０へ進む。
In step S <b> 402, the user ID code is received via the
ステップＳ４０４では、画像管理者用の所望のリフォーカス演算済の推奨画像データが存在するか否かを判定する。推奨画像データとは、ユーザー評価値が関連付けられたリフォーカス演算済み画像データのことである。詳細は後述する。リフォーカス演算済の推奨画像データが存在する場合は、ステップＳ４０６へ進む。リフォーカス演算済の推奨画像データが存在しない場合は、ステップＳ４０５へ進む。ステップＳ４０５では、表示すべき推奨画像データが存在しないことを通知して、処理を終了する。 In step S404, it is determined whether there is any desired refocused recommended image data for the image manager. The recommended image data is image data that has been refocused and associated with a user evaluation value. Details will be described later. If there is recommended image data that has been refocused, the process proceeds to step S406. If there is no recommended image data that has been refocused, the process proceeds to step S405. In step S405, it is notified that there is no recommended image data to be displayed, and the process ends.
ステップＳ４０６では、全体制御部３０７がリフォーカス演算済の推奨画像データを選択し、データ記憶部３０２に記憶されている推奨画像データを読み出す。ステップＳ４０７では、ステップＳ４０６で読み出されたリフォーカス演算済の推奨画像データを、ネットワーク通信部３０１を介して要求元に通信する。
In step S <b> 406, the
一方、ステップＳ４１０では、画像の管理者ではないと判定された場合、データ記憶部３０２よりサムネイル画像データを読み出し、要求元の表示端末に送信する。ステップＳ４１０では、複数のシーンに対応する複数のサムネイル画像データを送信することができる。
On the other hand, if it is determined in step S410 that the user is not an image manager, the thumbnail image data is read from the
ステップＳ４１１では、全体制御部３０７は、サムネイル表示された画像に関して、以前に他のユーザーにより、すでに任意の画像位置に対してリフォーカス演算された画像データが保存されているか否かを判定する。この判定は、例えばサムネイル表示された画像データに関連付けられたリフォーカス画像データがデータ記憶部３０２にあるか否かに基づいて行われる。すでにリフォーカス済の画像データが保存されている場合は、ステップＳ４１２へ進む。まだリフォーカス済の画像データが保存されていない場合（すなわち、初めて操作される場合）は、ステップＳ４２０へ進む。
In step S <b> 411, the
ステップＳ４２０では、全体制御部３０７は、表示端末に対してサムネイル画像を表示させている状態から、ユーザー操作により視聴したい撮像シーンの選択操作がなされたか否かを判定する。撮像シーンは、任意の時点において多眼カメラ１０１で撮像された多視点画像データが示す画像のシーンのことである。例えば、時間または地点を変更して多眼カメラ１０１で撮像された多視点画像データは、それぞれ異なる撮像シーンを有することになる。撮像シーン選択操作がされた場合、ステップＳ４２１へ進む。撮像シーン選択操作がされていない場合、ステップＳ４１１へ戻る。
In step S420, the
ステップＳ４２１では、データ記憶部３０２から選択された撮像シーンの多視点画像データを読み出す。次にステップＳ４２２で、ステップＳ４２１で読み出された多視点画像データを使って、予め設定されているデフォルトの位置のフォーカスを合わせたリフォーカス画像データを生成する。
In step S421, the multi-viewpoint image data of the selected scene is read from the
次に、ステップＳ４１１でリフォーカス演算された画像データが保存されていると判定された場合の処理を説明する。ステップＳ４１２では、全体制御部３０７はサムネイル画像の内、どのリフォーカス位置に対応したリフォーカス済画像を表示させるかに関するユーザーからの操作が有ったか否かを判定する。この判定は例えば、ネットワーク通信部３０１が、ステップＳ４０１で画像の再生要求をした表示端末からの操作コマンドの受信に応じて判定する。ステップＳ４１１は、サムネイル画像がユーザーから選択された場合、その選択されたサムネイル画像に対応するリフォーカス済の画像データを表示させる操作があったと判定する。既にサムネイル画像が選択されているとき、当該サムネイル画像に関連するリフォーカス済の画像データをユーザーが選択した場合に、ユーザーからの操作があったと判定する。操作が有った場合、ステップＳ４１３へ進む。操作が無い場合、ステップＳ４２０へ進む。
Next, a process in a case where it is determined that the refocused image data is stored in step S411 will be described. In step S412, the
ステップＳ４１３では、全体制御部３０７はステップＳ４１２で選択操作された、サムネイル画像に対応するリフォーカス済の画像データを、データ記憶部３０２から読み出す。なお、ステップＳ４１１でサムネイル画像が選択された場合には、次のように処理を行っても良い。すなわち、選択されたサムネイル画像（撮像シーン）に対応する複数のリフォーカス済の画像データがある場合、後述するように評価値の高いリフォーカス済の画像データをメインウィンドウに表示するために読み出すことができる。
In step S413, the
ステップＳ４１４では、全体制御部３０７は、ステップＳ４１３で読み出したリフォーカス済の画像データがロックされたリフォーカス済画像であるか否かを判定する。すなわち、当該リフォーカス済の画像データが、すでにステップＳ４０２で受信したユーザーＩＤで識別される視聴者による評価が終了し、再度の評価のためのＵＩ操作をさせない為にロックされた画像データであるか否かを判定する。例えば、画像ＩＤとユーザーＩＤと評価の有無とを関連付けたテーブルを参照するなどにより、係る判定が行われる。まだＵＩ操作をロックされていない画像の場合は、ステップＳ４１５へ進む。すでにＵＩ操作をロックされた画像の場合は、ステップＳ４４４へ進む。
In step S414, the
ステップＳ４１５では、このステップに遷移するまでに生成されているリフォーカス画像データに、ＵＩ制御部３０４がＵＩとして操作ボタンの表示を重畳する。この重畳される操作ボタンは、ユーザー評価値を付与するためのボタンである。ステップＳ４１６では、全体制御部３０７は、ステップＳ４１５で操作ボタンが重畳された画像データをステップＳ４０１で画像再生を要求した表示端末に対して送信する。
In step S415, the
ステップＳ４１７では、ステップＳ４１６で送信したＵＩ操作ボタンを重畳された画像をユーザーが閲覧している状態で、現状表示端末上に表示されているリフォーカス位置とは異なる任意の位置をユーザーがリフォーカス位置として設定したか否かを判定する。例えば、ネットワーク通信部３０１が、ステップＳ４０１で画像の再生要求をした表示端末からのリフォーカス位置の変更要求を受信した場合、リフォーカス位置の任意設定がされたと判定する。現在の表示画像に対応したリフォーカス位置以外をリフォーカス位置として任意に設定された場合、ステップＳ４３０へ進む。そのままリフォーカス位置の任意の設定がされない場合は、ステップＳ４４０へ進む。
In step S417, in a state where the user is browsing the image on which the UI operation button transmitted in step S416 is superimposed, the user refocuses an arbitrary position different from the refocus position displayed on the current display terminal. It is determined whether or not the position is set. For example, when the
ステップＳ４３０では、全体制御部３０７は過去に現在視聴しているユーザーとは異なる、不特定多数のユーザーから操作された位置と同じ位置に対応するリフォーカス済の画像データがデータ記憶部３０２に保存されているか否かを判定する。過去にリフォーカス位置として操作された画像データが保存されている場合は、ステップＳ４１３へ戻る。保存されていない場合は、ステップＳ４３１へ進む。
In step S430, the
ステップＳ４３１では、全体制御部３０７は、データ記憶部３０２から同じ撮像シーンの多視点画像データを読み出す。ステップＳ４３２では、リフォーカス演算部３０３がステップＳ４３１で読み出された多視点画像データのリフォーカス演算処理を行う。ステップＳ４３２では、ステップＳ４１７で設定された位置にフォーカスを合わせる処理が行われる。ステップＳ４３３では、全体制御部３０７は、ステップＳ４３２で得られたリフォーカス演算処理結果に基づいてリフォーカス位置の異なる画像データを生成する。そして、上述のステップＳ４１５へ処理を移行する。
In step S431, the
一方、ステップＳ４１７でリフォーカス位置の任意設定がされていないと判定した場合、ステップＳ４４０では、ステップＳ４１５にて重畳したＵＩボタンに対して、画像再生を要求した表示端末からアクション操作がなされたか否かを判定する。例えば、ネットワーク通信部３０１が、ステップＳ４０１で画像の再生要求をした表示端末からのＵＩボタンに対する入力コマンドを受信した場合、アクション操作がなされたと判定する。アクション操作は、例えばステップＳ４０１で画像の再生要求をした表示端末からのユーザー評価値の更新要求のことである。アクション操作がなされた場合は、ステップＳ４４１へ進む。アクション操作が無かった場合は、ステップＳ４４４へ進む。
On the other hand, if it is determined in step S417 that the refocus position is not arbitrarily set, in step S440, whether or not an action operation has been performed from the display terminal that requested image reproduction on the UI button superimposed in step S415. Determine whether. For example, when the
ステップＳ４４１では、全体制御部３０７は、ステップＳ４４０で操作されたリフォーカス済み画像に対してユーザー評価値を１ポイント足す。ユーザー評価値は、現在閲覧されている撮像シーンの中での推奨度合を表すものである。ステップＳ４４２では、全体制御部３０７は現在表示している画像の画像データをデータ記憶部３０２に保存する。なお、過去に同じ位置でリフォーカスされ、同一のリフォーカス済み画像データがデータ記憶部３０２に存在する場合は、保存処理はしない。これは、ステップＳ４１３のステップでリフォーカス済の画像データが読み出されたか否かで処理を変更することができる。
In step S441, the
ステップＳ４４３では、全体制御部３０７は、画像データに重畳していたＵＩボタンを操作出来ないようロックする。また、ＵＩボタンの表示をコントラストが薄くなるように重畳画像データを更新する。すなわち、全体制御部３０７は、ユーザー評価値が更新された画像データに対する再度の更新を禁止したロック画像データを生成して、送信する。ステップＳ４４４では、全体制御部３０７はユーザーが視聴を終了したか否かを判定する。視聴終了時は、処理を終了する。視聴を継続する時は、ステップＳ４１２へ戻る。
In step S443, the
図４のシステム制御フローチャートの順に処理を実行した際に、各表示端末から視聴表示される画像及び、操作内容の例を以下に説明する。 An example of an image that is viewed and displayed from each display terminal and operation contents when processing is executed in the order of the system control flowchart of FIG. 4 will be described below.
まず、画像閲覧希望の不特定多数の人の内、図１の表示端末Ａ１０５であるところのＰＣがクラウドサーバー１０４にアクセスする。この時の表示端末Ａ１０５上の画面表示内容を図５と図６を使って説明する。
First, among the unspecified number of people who want to view images, the PC that is the
＜不特定多数からのユーザー操作がまだなされていない初期状態の表示例＞
図５は、不特定多数からのユーザー操作がまだなされていない初期状態の表示例である。まず、表示端末Ａ１０５には、図５（ａ）の画面表示がなされ、ユーザーＩＤ入力画面が出てくる。表示端末Ａ１０５からユーザーＩＤが入力されると、次の画面へ移行する。ここまでの流れが、図４のステップＳ４０１〜ステップＳ４０３のＮＯのフローに遷移するまでを示している。
<Display example of the initial state in which user operations from an unspecified number have not yet been made>
FIG. 5 is a display example of an initial state in which user operations from an unspecified number have not yet been performed. First, the screen of FIG. 5A is displayed on the display terminal A105, and a user ID input screen appears. When the user ID is input from the display terminal A105, the next screen is displayed. The flow up to this point shows the transition to the NO flow in steps S401 to S403 in FIG.
次に、図５（ｂ）表示として、複数の撮像シーン５０２，５０３，５０４の内容が一目でわかるように、サムネイル画像を表示する。これは、図４のステップＳ４１０に相当する。
Next, as the display of FIG. 5B, thumbnail images are displayed so that the contents of the plurality of
次に、ユーザーが撮像シーン５０２の画像を見たい場合、撮像シーン５０２のサムネイル画像を表示端末ＡＸ１６０５でクリック操作することで、図５（ｃ）の画面に移行する。ここでは、表示端末をＰＣとして説明しているので、クリック操作と記載しているが、この限りではない。表示端末に対する操作は、タッチパネル式でのタップ操作や赤外線リモコン等による選択操作でも構わない。以降の説明中でのクリック操作についても同様である。
Next, when the user wants to view the image of the
図５（ｃ）は、予め設定しているリフォーカス用のパラメータにより決定されたリフォーカス位置に合わせたリフォーカス済み画像データを生成し、ＵＩ操作ボタン５０５を重畳し表示端末Ａ１０５に表示している画面である。ここでのデフォルト画像は、様々な方法を使用し最初の画像を表示させることができる。例えば、ステップＳ４０２で受信したＩＤによって特定されるユーザーの過去の操作履歴を参照して、その操作履歴に適したリフォーカス画像データを表示することができる。具体的には、そのユーザーが過去に人物にフォーカスを合わせた画像を多く視聴している場合には、多視点画像データの中で人物と特定される領域にフォーカスを合わせたリフォーカス済の画像データを生成して表示させることができる。また、人物モード、背景モードなど、再生時のモード設定がユーザーによってされている場合には、そのモードに応じた領域にフォーカスを合わせたリフォーカス済の画像データを生成して表示させることができる。また、他の手法でフォーカス位置を決定した画像データを生成して表示させてもよい。ここまでの流れが、図４のステップＳ４２０（ＹＥＳ）〜ステップＳ４１６までの処理フローに対応している。
In FIG. 5C, refocused image data is generated in accordance with a refocus position determined by a preset refocus parameter, and a
次に、図５（ｃ）とは別のリフォーカス位置を任意に指定したい場合、例として５０６の丸のポイントをクリックすると、初めて他の条件でリフォーカス処理をすることになる。全体制御部３０７とリフォーカス演算部３０３は、このシーンに対応した多視点画像データから、５０６の丸のポイントに対応するリフォーカス演算を行い、再度リフォーカス画像データを生成する。図５（ｃ）の場合には、図５（ｄ）に示す画像のように、人に焦点が合った画像を示すリフォーカス済み画像データを生成する。ここまでの流れが、図４のステップＳ４３０（ＮＯ）〜ステップＳ４３３を経由してステップＳ４１６までの処理フローに対応している。
Next, when it is desired to arbitrarily specify a refocus position different from that shown in FIG. 5C, for example, when a
画像を視聴しているユーザーが、この画像を良いと感じた時に、図５（ｄ）の画像上の５０５のＵＩ操作ボタンをクリックする。全体制御部３０７は、ＵＩ操作ボタンをクリックを検知することで、この撮像シーンのユーザー評価値蓄積部３０５に蓄積されるユーザー評価値のポイントを１加算し、この画像データが保存される。そして、図５（ｅ）の画面が表示され、ＵＩボタンを非表示とする。本例では、同一の撮像シーンに対して、同一のユーザーＩＤでログインした人は、同一のリフォーカス済み画像及び異なる位置にフォーカスを合わせた別のリフォーカス画像に対しても、再度のＵＩ操作による画像保存と評価ポイント加算は出来なくなる。ここまでの流れがステップＳ４４０（ＹＥＳ）〜ステップＳ４４３の処理フローに対応している。
When the user viewing the image feels that the image is good, the user clicks the
＜不特定多数のユーザー操作によるリフォーカス済み画像データが、すでに存在している時の表示例＞
図６は、不特定多数のユーザー操作によるリフォーカス済み画像データが、すでに存在している時の表示例である。まず、図６（ａ）の画面表示に係る内容は、図５（ａ）の説明と同一である。
<Display example when refocused image data by an unspecified number of user operations already exists>
FIG. 6 shows a display example when refocused image data by a large number of unspecified user operations already exists. First, the contents related to the screen display in FIG. 6A are the same as those in FIG. 5A.
次に、図６（ｂ）表示として、複数の撮像シーン５０２，５０３，５０４の内容が一目でわかるように、サムネイル画像を表示する。ここでは、すでに推奨画像としてのリフォーカス済の画像データが存在するので、撮像シーン５０２のサムネイル画像の下に、６０１に示すように、「推奨画像有り」と表示する。次に、撮像シーン５０２の画像が見たい場合、撮像シーン５０２のサムネイル画像をクリック操作することで、図６（ｆ）の画面に移行する。
Next, as a display of FIG. 6B, thumbnail images are displayed so that the contents of the plurality of
本例では、以前にリフォーカス生成操作がなされユーザー評価値ポイントの蓄積結果による推奨画像の順位が決定されている。図６（ｆ）では、その推奨画像の内、一番ユーザー評価値ポイントの多いリフォーカス済の画像データを読み出し、ＵＩ操作ボタン５０５を重畳して表示する。これは、図６の画面６１０に相当する。また、画面６１０の右横に表示しているサムネイル画像は、ポイントの多い順に並べて表示している。サムネイル画像５０７は、ポイント１００でＴＯＰ画像の６１０と同一のリフォーカス済画像のサムネイル画像である。サムネイル画像６０２は、ポイント７０で２番目に多いサムネイル画像である。サムネイル画像６０３は、ポイント３０で３番名に多いサムネイル画像である。ここの流れが、ステップＳ４１１（ＹＥＳ）→ステップＳ４１２（ＹＥＳ）〜ステップＳ４１４（ＮＯ）〜ステップＳ４１６までの処理フローに対応している。
In this example, a refocus generation operation has been performed previously, and the order of recommended images based on the accumulation result of user evaluation value points is determined. In FIG. 6F, the refocused image data having the most user evaluation value points among the recommended images is read, and the
ここで、視聴しているユーザーが２番目にポイントが多いサムネイル画像６０２を選択した場合を示したものが図６（ｇ）である。また、視聴しているユーザーが図６（ｆ）の画面を触ることによって、すでに評価値ポイントが有るリフォーカス済み画像ではない、新たなリフォーカス済み画像を表示している時の例は、図６（ｈ）である。この画像に対して良い画像と感じ、ＵＩ操作ボタン５０５をＵＩ操作ボタンをクリックすることで、新たな撮像シーンのポイントを１つ加算したユーザー評価値と、図６（ｉ）に表している画像６０５とが保存される。そして図６（ｉ）の画面が表示され、ＵＩボタンを非表示とすると同時に保存した画像６０５のサムネイル画像６０４が追加表示される。この流れが、ステップＳ４１７（ＹＥＳ）〜ステップＳ４３０（ＹＥＳ）〜ステップＳ４１７（ＹＥＳ）〜ステップＳ４４３である。
Here, FIG. 6G shows a case where the viewing user selects the
なお、一度、ＵＩ操作ボタン５０５をクリックされた画像は、同じ視聴者からは、再度ＵＩ操作ボタンがクリック出来ないようになる。但し、別のリフォーカス済画像を表示させ、まだＵＩ操作ボタンをクリックされていない画像に対しても、良いと感じた画像であれば、ＵＩ操作ボタンの表示を重畳表示することができる。そして、ＵＩ操作ボタンにクリック操作をされた際に、別のリフォーカス済画像に対してもユーザー評価値のポイントを１加算するように動作することができる。
Note that once the
＜画像管理者が推奨画像を表示する場合の例＞
図１の表示端末Ｃ１０７のように、解像度があまり高くない表示端末から画像管理者が画像を見る際は、閲覧する為のＩＤコードを受信した直後からすぐに、対象の撮像シーンに対応した画像データを全画面表示する。全体制御部３０７は具体的には、不特定多数の閲覧者が良い画像と感じたユーザー評価値ポイントの一番多い画像を推奨画像として表示するよう画像データを送信する。これは図４のステップＳ４０３（ＹＥＳ）〜ステップＳ４０４（ＹＥＳ）〜ステップＳ４０７の処理フローである。例えば図１１（ｊ）の画像を全画面表示の画像データとしてデータ送信する。又、図１１（ｋ）に示す評価ポイントの２番目の画像、図１１（ｌ）に示す３番目の画像、図１１（ｍ）に示す４番目の画像を、これらの順番で表示端末側へ順次送信する。表示端末側では受信した順序で画像が表示される。
<Example when recommended image is displayed by image manager>
When the image manager views an image from a display terminal with a resolution that is not so high, such as the display terminal C107 in FIG. 1, an image corresponding to the target imaging scene immediately after receiving the ID code for viewing. Display data in full screen. Specifically, the
表示形態として、図１のＰＣ１０５やＦＵＬＬ＿ＨＤ表示端末１０６等の高解像度の表示で閲覧する際は、図５や図６を使って説明したような推奨画像とサムネイル画像をユーザー評価値の順に同時に表示させることができる。なお、ユーザー評価値順に対応した推奨画像を表示させる方法については、この限りではない。
As a display form, when browsing with a high-resolution display such as the
次に、表示端末側の処理を説明する。図７は、表示端末側のブロックの一例を示す図である。全体制御部７０８が表示端末を制御する。全体制御部７０８は、ユーザーＩ／Ｆ７０６からの操作指示を受けると、ネットワークＩ／Ｆ７１１を介してクラウドサーバーに情報を送信する。また、ネットワークＩ／Ｆ７１１を介してクラウドサーバーからの画像データを受信する。全体制御部７０８はグラフィックプロセッサ７０４を介して受信した画像データをディスプレイ７０５に表示する。
Next, processing on the display terminal side will be described. FIG. 7 is a diagram illustrating an example of a block on the display terminal side. The
図８は表示端末側のフローチャートの一例を示す図である。図８に示す処理は、例えばＲＡＭ７０２などに記憶されたプログラムを全体制御部７０８が実行することによって実現される。
FIG. 8 is a diagram showing an example of a flowchart on the display terminal side. The processing shown in FIG. 8 is realized by the
ステップＳ８０１では、全体制御部７０８は再生モードに移行する。次に、ステップＳ８０２で全体制御部７０８は画像の再生要求と共にユーザーのＩＤコードをクラウドサーバーに送信する（第１の送信処理）。次に、全体制御部７０８はクラウドサーバーからサムネイル画像を示す画像データを受信する。
In step S801, the
ステップＳ８０４では、全体制御部７０８は、操作コマンドをクラウドサーバーに
送信する。この操作コマンドには、例えば撮像シーンを選択するコマンドや、任意のリフォーカス済の画像データを選択するコマンドなどが含まれる。
In step S804, the
ステップＳ８０５では、全体制御部７０８はリフォーカス済の画像データを受信し、ディスプレイに表示する。ステップＳ８０６では、全体制御部７０８はユーザーからユーザーＩ／Ｆ７０６を介したリフォーカス位置の変更指示が入力されたかを判定する。リフォーカス位置の変更指示が入力されたと判定した場合には、その変更指示をクラウドサーバーに送信し、ステップＳ８０５に戻る。リフォーカス位置の変更指示が入力されないと判定した場合、ステップＳ８０７に進む。
In step S805, the
ステップＳ８０８では、全体制御部７０８はユーザーからユーザーＩ／Ｆ７０６を介したＵＩボタン操作があったかを判定する。すなわち、ユーザーがステップＳ８０５で受信したリフォーカス済の画像データに対する評価に関する操作入力があったかを判定する。ＵＩボタン操作があった場合、当該操作指示をクラウドサーバーに送信する（第２の送信処理）。そして、ステップＳ８０８でＵＩロック済の画像データを受信する。ＵＩボタン操作がなかった場合、ステップＳ８０８はスキップする。
In step S808, the
ステップＳ８０９では、全体制御部７０８は再生モードでの視聴が終了したかを判定する。終了していない場合、ステップＳ８０４に戻って処理が行われる。
In step S809, the
以上、述べた様な構成により、本実施例においては表示機器内に特別な機能を設けることなく、世の中の写真好きな人の意見を取り入れた、その撮像シーンに適したリフォーカス済み画像データを生成することが可能となる。このため、不必要なリフォーカス演算処理を省略することができ、ユーザーの利便性を高める効果がある。 With the configuration as described above, in this embodiment, refocused image data suitable for the imaging scene, which incorporates the opinions of people who like photography, is provided without any special function in the display device. Can be generated. For this reason, unnecessary refocusing calculation processing can be omitted, and there is an effect of improving user convenience.
また、他人の意見を取り入れた画像を視聴することができるため、撮像者の意図とは異なる予想外の画像データを得ることも可能となる。 In addition, since an image incorporating the opinions of others can be viewed, it is possible to obtain unexpected image data that is different from the photographer's intention.
なお、本実施例ではリフォーカス処理を例に挙げて説明したが、画像処理は、リフォーカスに限定されない。例えば、選択した領域にハイパスフィルタを施すための、領域選択処理に用いていてもよい。 In this embodiment, the refocus process is described as an example, but the image process is not limited to the refocus. For example, you may use for the area | region selection process for applying a high-pass filter to the selected area | region.
また、本例では評価値を加算する例のみについて説明したが、リフォーカス済の画像データが悪い画像であるとユーザーが判断した場合には、評価値を減らすことができるように構成してもよい。すなわち、図５で「ＧＯＯＤ」と記載している図形に「ＢＡＤ」という図形を併記し、「ＢＡＤ」が選択された場合には評価値を減らしてもよい。このように、評価値を更新する処理を採用してもよい。 In this example, only the example of adding the evaluation value has been described. However, when the user determines that the refocused image data is a bad image, the evaluation value may be reduced. Good. That is, the graphic “BAD” may be written together with the graphic “GOOD” in FIG. 5, and the evaluation value may be reduced when “BAD” is selected. In this way, a process for updating the evaluation value may be employed.
また、本実施例ではクラウドサーバーを単体の装置として扱ったが、クラウドサーバーで行われる各処理が複数のサーバーで分散処理される構成であってもよい。 Further, in this embodiment, the cloud server is handled as a single device, but each process performed in the cloud server may be distributedly processed by a plurality of servers.
実施例１では、不特定多数の視聴者から良い画像と感じた時の画像に対する評価値が同一の値で構成されていた。実施例２では、特定の視聴者に対しては、評価値の重み付けを変更することで、気に入った視聴者に対しては、評価値を高く設定するように構成する例を説明する。逆にあまり気に入らない視聴者に対しては、評価値を低く設定するように構成することができる。 In the first embodiment, the evaluation value for the image when it is felt as a good image by an unspecified number of viewers is configured with the same value. In the second embodiment, an example will be described in which the evaluation value weighting is changed for a specific viewer, and the evaluation value is set higher for a favorite viewer. Conversely, for viewers who do not like it very much, the evaluation value can be set low.
本実施例の処理について、図９のフローチャートにて以下に、説明する。図９は、図４のフローチャートに対して、ステップＳ９０１とステップＳ９０２を追加したのみで、他のステップの処理内容については、実施例１にて説明した内容と同様である。 The processing of this embodiment will be described below with reference to the flowchart of FIG. FIG. 9 is the same as the contents described in the first embodiment with respect to the processing contents of the other steps except that steps S901 and S902 are added to the flowchart of FIG.
ステップＳ９０１では、全体制御部３０７は、ステップＳ４０１で再生画像を要求しているユーザーが特定ユーザーであるか否かをステップＳ４０２で入力されたＩＤコードから判定する。ステップＳ４０２で特定ＩＤコードでログインされたと判定された場合は、ステップＳ９０２へ進む。特定ＩＤコードではないと判定された場合は、ステップＳ４４１へ進む。
In step S901, the
ステップＳ９０２では、図３の全体制御部３０７が、ユーザー評価値蓄積部３０５を制御することで、ステップＳ４０２で入力されたＩＤコードに対応した評価値の重み付けを変更可能し、評価値を決定する。例えば、１クリックあたりのポイントが、
ユーザーＡ：２００ポイント
ユーザーＢ：１００ポイント
ユーザーＣ：０．５ポイント
不特定多数一般ユーザー：１ポイント
と設定することができる。
In step S902, the
User A: 200 points User B: 100 points User C: 0.5 points Unspecified number of general users: 1 point can be set.
＜不特定多数のユーザー操作によるリフォーカス画像が、すでに存在している時の表示例＞
次に、図１０を用いて特定のユーザーに対して評価値の重み付けを変更した場合の表示例を説明する。まず、図１０（ａ）の画面表示に係る内容は、図５（ａ）の説明と同一である。次に、図１０（ｂ）表示として、複数の撮像シーン５０２，５０３，５０４のの内容が一目でわかるように、サムネイル画像を表示する。ここでは、すでに推奨画像としてのリフォーカス生成画像が存在するので、サムネイル画像５０２の下に６０１に示すように、「推奨画像有り」と表示する。次に、５０２の画像が見たい場合、サムネイル画像５０２をクリック操作することで、図１０（ｆ）の画面に移行する。
<Display example when a refocus image by an unspecified number of user operations already exists>
Next, a display example when the weighting of the evaluation value is changed for a specific user will be described with reference to FIG. First, the contents relating to the screen display of FIG. 10A are the same as the description of FIG. Next, as the display of FIG. 10B, thumbnail images are displayed so that the contents of the plurality of
図１０（ｆ）の画面は、以前にリフォーカス生成操作がなされユーザー評価値ポイントの蓄積結果による推奨画像の順位が決定され、決定された順位に従った表示がされている。すなわち、ユーザー評価値ポイントの多い順位が一番のリフォーカス画像を読み出し、ＵＩ操作ボタン５０５を重畳し表示する。その右横に表示しているサムネイル画像は、ポイントの多い順に並べて表示している。サムネイル画像５０７は、ポイント１００でＴＯＰ画像のサムネイル画像である。サムネイル画像６０２は、ポイント７０で２番目に多いサムネイル画像である。サムネイル画像６０３は、ポイント３０で３番目に多いサムネイル画像である。ここの流れが、ステップＳ４１１（ＹＥＳ）→ステップＳ４１２（ＹＥＳ）〜ステップＳ４１６までの処理フローに対応している。
In the screen of FIG. 10F, the refocus generation operation has been performed previously, the order of the recommended images based on the accumulation result of the user evaluation value points is determined, and the display according to the determined order is displayed. That is, the refocus image with the highest ranking of user evaluation value points is read and the
ここで、特定視聴者で視聴しているユーザーＡが図１０（ｆ）の領域１００１の丸を表示している画面を触った時、すでに評価値ポイントが有るリフォーカス画像ではない、新たなリフォーカス画像を表示している時の例は、図１０（ｎ）である。この画像に対して良い画像と感じ、ＵＩ操作ボタン５０５をクリックされた時は、新たな撮像シーンのユーザー評価値のポイントを２００加算し、図１０（ｉ）に表している画像１００３が保存される。
Here, when the user A who is viewing as a specific viewer touches the screen displaying the circle in the
次に、図１０（ｉ）の画面が表示され、ＵＩボタンを非表示とすると同時に１００２のサムネイル画像が一番先頭に追加表示される。 Next, the screen of FIG. 10I is displayed, and the UI button is not displayed, and at the same time, a thumbnail image of 1002 is additionally displayed at the top.
同様にユーザーＢからの操作時は、ポイントを１００加算し、ユーザーＣからの操作の時は、ポイントを０．５加算する。ポイント加算した結果の評価値の内、ポイントの高い順にサムネイル画像を並べて表示する。 Similarly, 100 points are added when an operation is performed from the user B, and 0.5 points are added when an operation is performed from the user C. Thumbnail images are arranged and displayed in descending order of the evaluation values obtained as a result of the point addition.
＜画像管理者が推奨画像を表示する場合の例＞
画像管理者が画像を見る際は、閲覧する為のＩＤコードを受信した直後からすぐに、対象の撮像シーンに対応した画像を全画面表示する。表示させる画像は、先に説明したように、不特定多数の閲覧者が良い画像と感じたユーザー評価値ポイントの一番多い画像を推奨画像として即表示するよう画像データを送信する。
<Example when recommended image is displayed by image manager>
When the image manager views the image, the image corresponding to the target imaging scene is displayed in full screen immediately after receiving the ID code for viewing. As described above, the image data to be displayed is transmitted so that an image having the largest number of user evaluation value points that an unspecified number of viewers feel good is immediately displayed as a recommended image.
本実施例では、図１１（ｍ）が１番目の推奨画像となり、全画面表示としてデータ送信する。又、評価ポイントの２番目の画像が図１１（ｊ）、３番目の画像が図１１（ｋ）、４番目の画像が図１１（ｌ）の順番に対応して画像を表示端末側へ送信する。 In this embodiment, FIG. 11 (m) is the first recommended image, and data is transmitted as a full screen display. In addition, the second image of the evaluation points corresponds to the order of FIG. 11 (j), the third image is FIG. 11 (k), and the fourth image is FIG. 11 (l). To do.
以上、述べた様な構成により、表示機器内に特別な機能を必要とせず、特定の視聴者（例えばプロカメラマン等）の意見を最重要として取り入れた、そのシーンに最適な画像を生成することが可能となる為、簡易な構成でユーザーの利便性を高める効果がある。 With the configuration as described above, no special function is required in the display device, and the most suitable image for the scene that incorporates the opinions of a specific viewer (such as a professional photographer) is most important. Therefore, there is an effect of improving user convenience with a simple configuration.
実施例３は、画像管理者が画像再生要求をした場合に、送信先の端末の解像度情報を取得し、送信先の解像度に適合するように解像度変換を行う例を説明する。 In the third embodiment, when an image manager makes an image reproduction request, an example in which resolution information of a transmission destination terminal is acquired and resolution conversion is performed so as to match the transmission destination resolution will be described.
図１２は、実施例３のクラウドサーバー装置のシステムフローチャートである。図１２は、実施例２で説明した図９のシステムフローチャートに対して、ステップＳ１２０１とステップＳ１２０２とを追加したのみである。他のステップの処理内容については、特記事項が無い限り、実施例１及び、実施例２にて説明した内容と同様とすることができる。 FIG. 12 is a system flowchart of the cloud server device according to the third embodiment. FIG. 12 only adds step S1201 and step S1202 to the system flowchart of FIG. 9 described in the second embodiment. The processing contents of the other steps can be the same as the contents described in the first embodiment and the second embodiment unless there is a special note.
ステップＳ１２０１では、図１の各表示端末１０５、１０６、１０７からのアクセスにより、表示端末から要求された解像度情報を取得する。表示端末Ａ１０５からのアクセスの場合は、ＷＸＧＡサイズ（１２８０×８００）である。表示端末Ｂ１０６からのアクセスの場合は、ＦＵＬＬ＿ＨＤサイズ（１９２０×１０８０）である。表示端末Ｃ１０７からのアクセスの場合は、ＷＶＧＡサイズ（８５４×４８０）である。これらの解像度情報は、予めクラウドサーバーのデータ記憶部３０２に記憶されているものとする。
In step S1201, the resolution information requested from the display terminal is acquired by access from each of the
ステップＳ１２０２では、ステップＳ１２０１で取得した解像度情報に合わせて、図３の解像度変換部３０６にて、推奨画像データを解像度変換する。図１２のステップＳ４０７では、ステップＳ１２０２にて解像度変換後の推奨画像データを送信する。
In step S1202, the
以上、述べた様な構成により、画像管理者が、どの表示端末からそのシーンに最適な推奨画像を閲覧表示させても、表示機器内に特別な機能を必要とせず、簡易な構成でユーザーの利便性を高める効果がある。 With the configuration as described above, the image manager can browse and display the recommended image most suitable for the scene from any display terminal, and no special function is required in the display device. There is an effect of improving convenience.
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
<Other examples>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (12)
前記取得した合成画像データを送信する送信手段と
を備えることを特徴とする画像配信装置。 Acquisition means for acquiring composite image data generated from multi-viewpoint image data captured from a plurality of viewpoint positions, to which user evaluation values are assigned, and focused on a predetermined area;
An image distribution apparatus comprising: transmission means for transmitting the acquired composite image data.
前記送信した合成画像データに関連付けて記憶されているユーザー評価値を前記更新要求に応じて更新する更新手段と
をさらに備えることを特徴とする請求項１に記載の画像配信装置。 Receiving means for receiving an update request for the user evaluation value for the transmitted composite image data;
The image distribution apparatus according to claim 1, further comprising an update unit that updates a user evaluation value stored in association with the transmitted composite image data in response to the update request.
前記判定手段で合成画像データが記憶されていると判定された場合、該記憶されている合成画像データを前記送信手段で送信させ、
前記判定手段で合成画像データが記憶されていないと判定された場合、該指定された領域に合焦している合成画像データを生成させて前記送信手段に送信させる、制御手段と
をさらに備えることを特徴とする請求項１から４のいずれかに記載の画像配信装置。 When an arbitrary area of the transmitted composite image data is designated, a determination unit that determines whether composite image data focused on the designated area is stored;
When it is determined that the composite image data is stored by the determination means, the stored composite image data is transmitted by the transmission means,
And a control unit that generates composite image data focused on the designated area and transmits the composite image data to the transmission unit when the determination unit determines that the composite image data is not stored. The image distribution apparatus according to claim 1, wherein:
前記送信手段は、前記変換後の合成画像データを送信することを特徴とする請求項１から６のいずれかに記載の画像配信装置。 Further comprising conversion means for converting the composite image data so as to conform to the resolution of the transmission destination;
The image delivery apparatus according to claim 1, wherein the transmission unit transmits the converted composite image data.
前記再生要求に応じて、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを受信する受信手段と、
前記受信した合成画像データにユーザー評価値を付与する要求を送信する第２の送信手段と
を備えることを特徴とする画像表示装置。 First transmission means for transmitting a reproduction request for image data;
Receiving means for receiving composite image data generated from multi-viewpoint image data captured from a plurality of viewpoint positions and focused on a predetermined area in response to the reproduction request;
An image display apparatus comprising: a second transmission unit configured to transmit a request for assigning a user evaluation value to the received composite image data.
前記取得した合成画像データを送信する送信ステップと
を備えることを特徴とする画像配信方法。 An acquisition step of acquiring composite image data generated from multi-viewpoint image data captured from a plurality of viewpoint positions, to which user evaluation values are assigned, and focused on a predetermined area;
And a transmitting step of transmitting the acquired composite image data.
前記再生要求に応じて、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを受信する受信ステップと、
前記受信した合成画像データにユーザー評価値を付与する要求を送信する第２の送信ステップと
を備えることを特徴とする画像表示方法。 A first transmission step of transmitting a reproduction request for image data;
In response to the reproduction request, a reception step of receiving composite image data generated from multi-viewpoint image data captured from a plurality of viewpoint positions and focused on a predetermined area;
A second transmission step of transmitting a request for assigning a user evaluation value to the received composite image data.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012130863A JP2013255171A (en) | 2012-06-08 | 2012-06-08 | Image distribution apparatus and image display apparatus |
| US13/908,101 US20130329068A1 (en) | 2012-06-08 | 2013-06-03 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012130863A JP2013255171A (en) | 2012-06-08 | 2012-06-08 | Image distribution apparatus and image display apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013255171A true JP2013255171A (en) | 2013-12-19 |
Family
ID=49952325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012130863A Pending JP2013255171A (en) | 2012-06-08 | 2012-06-08 | Image distribution apparatus and image display apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013255171A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016522949A (en) * | 2014-04-29 | 2016-08-04 | 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． | PHOTO SYNCHRONIZATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM |
| JP2018018137A (en) * | 2016-07-25 | 2018-02-01 | 富士フイルム株式会社 | Image processor, image processing method, program and recording medium |
| JP2019053738A (en) * | 2018-10-10 | 2019-04-04 | キヤノン株式会社 | Image processing apparatus, image processing system, image processing method, and program |
-
2012
- 2012-06-08 JP JP2012130863A patent/JP2013255171A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016522949A (en) * | 2014-04-29 | 2016-08-04 | 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． | PHOTO SYNCHRONIZATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM |
| JP2018018137A (en) * | 2016-07-25 | 2018-02-01 | 富士フイルム株式会社 | Image processor, image processing method, program and recording medium |
| JP2019053738A (en) * | 2018-10-10 | 2019-04-04 | キヤノン株式会社 | Image processing apparatus, image processing system, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6805861B2 (en) | Image processing equipment, image processing system, image processing method and program | |
| US20210099669A1 (en) | Image capturing apparatus, communication system, data distribution method, and non-transitory recording medium | |
| CN113064684B (en) | Virtual reality equipment and VR scene screen capturing method | |
| US11743590B2 (en) | Communication terminal, image communication system, and method for displaying image | |
| US20220070412A1 (en) | Communication terminal, image communication system, method of displaying image, and recording medium | |
| US10382728B2 (en) | External device control method, imaging device control method, imaging system control method, external device, imaging device, and imaging system | |
| JP7469884B2 (en) | Image processing device, control method thereof, program, and storage medium | |
| JP6729680B2 (en) | Service providing system, service transfer system, service providing method, and program | |
| JP2013255171A (en) | Image distribution apparatus and image display apparatus | |
| CN100438577C (en) | Camera system | |
| CN107295247B (en) | Image recording apparatus and control method thereof | |
| US20190028558A1 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
| CN109074327B (en) | Service providing system, service delivery system, service providing method, and program | |
| JP2023140922A (en) | Display terminal, information processing system, communication system, display method, information processing method, communication method, and program | |
| JP2023121636A (en) | Information processing system, communication system, image sharing method, and program | |
| JP2012222618A (en) | Display control apparatus and display control method | |
| CN108885653B (en) | Service providing system, service delivery system, service providing method, and program | |
| JP6735566B2 (en) | Image management apparatus, image reproduction apparatus and control method thereof, program, and storage medium | |
| US20230308622A1 (en) | Display terminal, displaying method, and recording medium | |
| JP7472556B2 (en) | Imaging device, communication system, and content transmission method | |
| US20230326001A1 (en) | Display terminal, display method, and recording medium | |
| JP7130976B2 (en) | Display information creation device, imaging system and program | |
| JP2021132254A (en) | Control device, and control method and program thereof | |
| JP2023184430A (en) | Display terminal, communication system, display method, communication method, and program | |
| CN114283055A (en) | Virtual reality equipment and picture display method |