JP2006148344A - Edit condition setting apparatus and edit condition setting program for photo movie - Google Patents
Edit condition setting apparatus and edit condition setting program for photo movie Download PDFInfo
- Publication number
- JP2006148344A JP2006148344A JP2004333453A JP2004333453A JP2006148344A JP 2006148344 A JP2006148344 A JP 2006148344A JP 2004333453 A JP2004333453 A JP 2004333453A JP 2004333453 A JP2004333453 A JP 2004333453A JP 2006148344 A JP2006148344 A JP 2006148344A
- Authority
- JP
- Japan
- Prior art keywords
- image
- photo movie
- condition setting
- face
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、素材となる静止画から動画として観賞されるフォトムービーを作成するために必要な編集条件を設定するフォトムービーの編集条件設定装置及び編集条件設定プログラムに関する。 The present invention relates to a photo movie editing condition setting device and an editing condition setting program for setting editing conditions necessary for creating a photo movie to be viewed as a moving image from a still image as a material.
フォトムービーは、デジタルカメラ等を用いて記録された静止画を加工編集して特殊効果を施すことにより、素材の静止画を動画に変換したものである。この特殊効果には、静止画の一部の領域に注目してズームイン/ズームアウトする電子ズーム効果、画像の一部の領域をクローズアップした状態で画像をスクロールさせる電子パーン効果、画像を縮小表示して直線又は曲線状に移動させる移動効果、特定の一点を中心に画像を回転させる回転効果、歪み(スキュー)を与える歪曲効果、これらを組み合わせた複合効果等がある。 A photo movie is obtained by converting a still image of a material into a moving image by processing and editing a still image recorded using a digital camera or the like and applying a special effect. This special effect includes an electronic zoom effect that zooms in and out by focusing on a partial area of a still image, an electronic panning effect that scrolls the image while a partial area of the image is close-up, and a reduced image display Then, there are a moving effect for moving the image linearly or in a curved line, a rotating effect for rotating an image around a specific point, a distortion effect for giving distortion (skew), a combined effect combining these, and the like.
フォトムービーでは、これらの特殊効果を使用して静止画に対する視点を擬似的に変化させることにより、特定の注目被写体を演出することや、画像を躍動的に表現することができる。また、複数の画像を同時に表示するマルチ画面効果、アニメーション画像や装飾画像、字幕の合成による視覚効果が併用されることや、これらの特殊効果を与えずにスライドショーとして画像を表示するものなど、その表示形態には様々なものがある。なお、以下の説明では、これらの特殊効果をエフェクトと称する。 In a photo movie, by using these special effects to change the viewpoint of a still image in a pseudo manner, it is possible to produce a specific subject of interest and to express an image dynamically. In addition, multi-screen effects that display multiple images at the same time, animation images, decorative images, visual effects by combining subtitles, and those that display images as a slide show without giving these special effects, such as There are various display forms. In the following description, these special effects are referred to as effects.
特許文献1及び非特許文献1には、フォトムービーを作成するためのソフトウェアについて記載されている。これらのソフトウェアでは、フォトムービーの素材となる静止画を選択した後に、再生順序やエフェクトの種類等からなる編集条件を設定することでフォトムービーを作成することができる。作成されたフォトムービーは、これらのソフトウェア上で観賞することができる。また、フォトムービーの映像を汎用的なデジタル動画フォーマットに変換し、DVD等の光ディスクに記録すれば、上記ソフトウェアを用いることなく、家庭用DVDプレイヤー等でフォトムービーを観賞できる。 Patent Document 1 and Non-Patent Document 1 describe software for creating a photo movie. In these softwares, a photo movie can be created by selecting a still image as a material for the photo movie and then setting editing conditions such as a reproduction order and an effect type. The created photo movie can be viewed on these softwares. Also, if the video of the photo movie is converted into a general-purpose digital video format and recorded on an optical disc such as a DVD, the photo movie can be viewed on a home DVD player or the like without using the above software.
非特許文献1に記載されたソフトウェアには、全ての画像の編集条件をユーザーが設定できるマニュアル編集モードと、素材とする画像を選択するだけでフォトムービーが自動的に作成される自動編集モードが用意されている。自動編集モードでは、静止画の選択順で再生順序が決定され、各画像のエフェクトの種類等はプログラムにより自動で設定されるので、操作手順が非常に簡単になる。
しかしながら、上述の自動編集モードは、画像の内容に基づいて適切にエフェクトが設定されるものではないため、電子ズーム効果や電子パーン効果のように画像を拡大表示するエフェクトが選択されたときに、人物の被写体を無視した映像になることがあり、ユーザーの希望する作品が得られにくいという欠点がある。また、従来のマニュアル編集モードを使用してこのような事態を回避しようとすると、画像を拡大表示するために切り出される静止画の特定の一部を決める切り出し領域の位置や大きさをユーザーが詳細に設定しなければならず、各画像の人物を画面上でバランスよく表示させるためには、大変な手間がかかるという問題がある。 However, in the above-described automatic editing mode, the effect is not appropriately set based on the content of the image, so when an effect for enlarging an image such as an electronic zoom effect or an electronic panning effect is selected, There is a drawback that it may be difficult to obtain a work desired by the user because the video may ignore a human subject. Also, when trying to avoid such a situation using the conventional manual editing mode, the user details the position and size of the clipping region that determines the specific part of the still image that is clipped to enlarge the image. In order to display the person of each image in a balanced manner on the screen, there is a problem that it takes a lot of time and effort.
本発明は、上記問題点を考慮してなされたもので、マニュアル編集モードを用いて人物の被写体を見映えよく表示するために要する手間が従来に比べて軽減でき、ユーザーが希望する作品をより簡単に作成できるようにしたフォトムービーの編集条件設定装置及び編集条件設定プログラムを提供することを目的とする。 The present invention has been made in consideration of the above-mentioned problems, and the time required for displaying a human subject in a good-looking manner using the manual editing mode can be reduced as compared with the prior art. An object of the present invention is to provide a photo movie editing condition setting device and an editing condition setting program which can be easily created.
上記目的を達成するために、本発明は、静止画の一部を切り出してこれに加工編集処理を施して前記静止画を素材とするフォトムービーを作成する際に、前記静止画の一部を切り出す対象となる切り出し領域を前記フォトムービーの編集条件として設定するフォトムービーの編集条件設定装置において、前記静止画から人物の顔画像を検出する顔画像検出手段と、前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段とを備えたことを特徴とする。 In order to achieve the above-mentioned object, the present invention cuts out a part of a still image, applies a processing and editing process to the still image, and creates a photo movie using the still image as a material. In a photo movie editing condition setting device for setting a clipping region to be clipped as a photo movie editing condition, a face image detecting means for detecting a human face image from the still image, and detecting when detecting the face image And a cutout region determining means for determining the cutout region based on the position and size of the face image.
前記顔画像検出手段は、ディスプレイの表示画面に表示された前記静止画上で指定された特定の選択領域内の画像から前記顔画像を検出することを特徴とする。 The face image detecting means detects the face image from an image in a specific selection area designated on the still image displayed on a display screen of a display.
前記選択領域は、前記静止画上の少なくとも1つの任意のポイントが指定されることにより、指定されたポイントを基点とする所定の大きさの領域として画定されることを特徴とする。 The selection area is defined as an area having a predetermined size with the designated point as a base point by designating at least one arbitrary point on the still image.
前記顔画像検出手段によって顔画像が検出された静止画に対し、画質補正処理を行う第1の画質補正手段を備えたことを特徴とする。 The image processing apparatus includes a first image quality correction unit that performs image quality correction processing on the still image from which the face image is detected by the face image detection unit.
記憶媒体から前記静止画の画像データを読み出す画像読み出し手段と、前記編集条件の設定を行う前に、読み出された全ての画像データに画質補正処理を行う第2の画質補正手段とを備えたことを特徴とする。 Image reading means for reading image data of the still image from a storage medium, and second image quality correction means for performing image quality correction processing on all the read image data before setting the editing conditions It is characterized by that.
静止画の一部を切り出してこれに加工編集処理を施して前記静止画を素材とするフォトムービーを作成する際に、前記静止画の一部を切り出す対象となる切り出し領域を前記フォトムービーの編集条件として設定する処理をコンピュータに実行させるフォトムービーの編集条件設定プログラムにおいて、前記静止画から人物の顔画像を検出する顔画像検出手段と、前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段としてコンピュータを機能させることを特徴とする。 When a part of a still image is cut out and processed and edited to create a photo movie using the still image as a material, the cut-out area to be cut out of the part of the still image is edited in the photo movie. In a photo movie editing condition setting program that causes a computer to execute processing to be set as a condition, a face image detection unit that detects a face image of a person from the still image, and a position of the detected face image when the face image is detected And a computer functioning as a cutout area determining means for determining the cutout area based on the size.
本発明によれば、画像の拡大表示を伴う電子ズーム効果、電子パーン効果のように、切り出し領域を設定する必要のあるエフェクトに関する編集条件を設定する場合に、静止画から人物の顔画像を検出し、検出された顔画像の位置及び大きさの少なくとも一方に基づいて切り出し領域が自動で決定されるから、人物の顔を見映えよく画面内に収められる編集条件を簡単に設定できる。また、全ての編集条件をユーザーが設定する従来技術と異なり、画像の拡大倍率を過度に高くしたときに拡大表示された画像が粗くなることでフォトムービーの品質低下を引き起こす切り出し領域の設定ミスを防止する効果も得られる。 According to the present invention, a face image of a person is detected from a still image when setting an editing condition related to an effect that requires setting of a clipping region, such as an electronic zoom effect with an enlarged image display or an electronic panning effect. Since the cutout region is automatically determined based on at least one of the position and size of the detected face image, it is possible to easily set editing conditions that allow a person's face to look good and fit in the screen. Also, unlike the conventional technology in which all editing conditions are set by the user, there is a mistake in setting the clipping region that causes the quality of the photo movie to deteriorate due to the coarsened image when the image magnification is excessively high. The effect of preventing is also obtained.
また、画面上に表示された静止画上で特定の選択領域を指定し、指定された選択領域内の画像から顔画像を検出することにより、画像全体から顔画像を検出する場合に比べて顔画像の検出に要する時間を短縮できる。 In addition, by specifying a specific selection area on the still image displayed on the screen and detecting the face image from the image in the specified selection area, the face image is detected compared to the case of detecting the face image from the entire image. The time required for image detection can be shortened.
また、ユーザーにより選択領域を指定する操作がなされる際、静止画上の任意の1点が指定されることで指定されたポイントを基点とする所定の大きさの選択領域が画定されるから、選択領域を指定する操作を簡単にできる。 In addition, when an operation for designating a selection area is performed by the user, a selection area having a predetermined size with a designated point as a base point is defined by designating an arbitrary point on the still image. The operation of specifying the selection area can be simplified.
顔画像が検出された静止画に対して画質補正処理を行うことにより、顔画像が拡大表示された際の画像の粗さによるフォトムービーの品質の低下を小さくすることができる。 By performing image quality correction processing on the still image from which the face image is detected, it is possible to reduce the deterioration of the quality of the photo movie due to the roughness of the image when the face image is enlarged and displayed.
記憶媒体から読み出される全ての静止画に対して画質補正処理を行うことにより、顔画像の検出精度を高めることができるとともに、編集条件の設定時点でフォトムービーのおおよその品質を知ることができる。 By performing image quality correction processing on all still images read from the storage medium, it is possible to improve the accuracy of detection of face images and to know the approximate quality of a photo movie at the time of setting editing conditions.
図1において、フォトムービー注文受付システム10は、注文受付機11とフォトムービー出力機12とにより構成されている。注文受付機11とフォトムービー出力機12はDPE店等の同一店舗内に設置され、店舗の構内ネットワーク(LAN)により互いに通信可能に接続されている。なお、注文受付機11がフォトムービー出力機12に対して遠隔地に設置されていてもよく、この場合には、両者がインターネットを介して通信可能に接続されてもよい。
In FIG. 1, a photo movie order receiving system 10 includes an
注文受付機11は、顧客が注文内容を入力するための入力操作部15と、フォトムービーに使用する静止画や編集条件を設定するための設定画面等が表示される表示部16とを備えている。入力操作部15は、表示部16の表示画面と一体に設けられた透明なタッチパネルからなり、画面上に表示された選択キー等の位置に触れることで入力処理が行われる。メディア読取り部17は、顧客が持参した記憶媒体から画像データを読取るもので、メモリカード18とCD又はDVDの光ディスク19とからデータの読取りが可能である。メモリカード18は、デジタルカメラに着脱自在であり、撮影画像を保存するために用いられる。光ディスク19は、パーソナルコンピュータ等に保存された画像データがコピーされ、メモリカード18よりも多くの撮影画像を保存できる大容量記憶媒体である。
The
通信部21は、注文受付機11とフォトムービー出力機12との間でデータの送受信を行う。レシート出力部22は、顧客が商品を受け取る際の引換証となるレシート23を発行する。レシート23には、顧客の注文内容を識別するための識別情報が印刷されている。この識別情報は、注文番号、注文を受付けた受付機の識別コード、商品の受渡し日時及び受渡し店舗を示す情報等がバーコードと文字でそれぞれ記録されている。
The
制御部25及び編集条件設定部26は、注文受付機11に内蔵された記憶装置に格納されたオペレーティングシステムとフォトムービーの編集条件を設定する編集条件設定プログラムとをマイクロプロセサに実行させることによりそれぞれ実現される。この記憶装置は、例えばハードディスク記憶装置(HDD)又は多数のメモリチップからなるメモリユニットにより構成される。制御部25は、メディア読取り部17,通信部21等の各ハードウェアを制御し、入力操作部15でなされた操作に応じて各部の動作を管理する。
The
編集条件設定部26では、顧客の入力操作等によりフォトムービーに使用する各静止画についてエフェクトの有無やその種類等の編集条件を設定するための処理が行われる。編集条件設定部26は、予め用意されたシナリオテンプレートに従って全ての静止画のエフェクトを自動的に決定する自動編集モードと、顧客の手動設定により画像ごとにエフェクトの設定が行われるマニュアル編集モードとを有する。自動編集モードのシナリオテンプレートには、季節や年間行事等のテーマ別に複数種類のものが用意されており、旅行用のテンプレート、結婚式や卒業式用のテンプレート、正月、ひなまつり、七夕、クリスマス用のテンプレートなどがある。テンプレートごとに、撮影画像に合成される装飾画像の種類や、選ばれやすいエフェクトが異なっている。
The editing
プレビュー動画出力部28は、編集条件設定部26により設定された編集条件に基づいて、実際に作成されるフォトムービーと同様にエフェクトが付与されたプレビュー用フォトムービーを出力する。プレビュー動画出力部28は、メモリカード18や光ディスク19から読み出した撮影画像の画素数を小さくした低解像度画像を生成し、この低解像度画像からプレビュー用フォトムービーを作成する。低解像度画像を用いることで、プレビュー用フォトムービーの生成及び再生表示に要するマイクロプロセサの負荷が軽減される。プレビュー用フォトムービーは表示部16に表示され、その仕上がりの品質が顧客に伝えられる。
The preview moving
編集条件設定部26は、シナリオデータ生成部29と、切り出し領域設定部30と、顔画像検出部31とを有している。シナリオデータ生成部29は、画像の再生順序、各画像のエフェクトの有無やその種類等が指定された編集条件を組み込んだシナリオデータを作成する。シナリオデータは、エフェクトの種類やその詳細な設定内容が画像データのファイル名に関連付けされることにより構成される。シナリオデータは、注文情報の一部として静止画の画像データとともにフォトムービー出力機12に送信される。
The editing
切り出し領域設定部30は、静止画の一部を切り出して特殊効果を付与するための切り出し領域を設定する。この切り出し領域は、静止画の一部に注目してズームイン又はズームアウトを行うズームエフェクトや、クローズアップした状態で画像をスクロールさせるパーンエフェクト、静止画の一部を除いて暗転表示することにより静止画にスポットライトを当てたような効果を出すスポットライトエフェクト等、静止画中の特定の被写体を注目させる場合に使用されるエフェクトのパラメータである。
The cutout
例えば、ズームエフェクトでは、この切り出し領域により、ズームイン終了時の表示範囲、ズームアウト開始時の表示範囲が定められる。また、パーンエフェクトでは、パーンの開始及び終了時にクローズアップされる画像の抽出範囲が定められ、スポットライトエフェクトでは、明るく表示される領域が定められる。ズームエフェクトやパーンエフェクトでは、フォトムービーを再生表示する表示デバイスの画面のアスペクト比に基づいてアスペクト比が固定された矩形の切り出し領域が設定され、スポットライトエフェクトや他のエフェクトでは切り出し領域の形状を円形等の他の形状に指定することができる。なお、静止画全体を縮小又は等倍表示した状態から切り出し領域により定まる表示範囲の間で倍率を変化させて静止画を表示するズームエフェクトでは、1つの切り出し領域が設定される。クローズアップした状態で画像をスクロールさせるパーンエフェクトでは、複数の切り出し領域が設定される。これらの切り出し領域は、表示部16の画面上に切り出し枠F11(図4参照)として表示される。
For example, in the zoom effect, a display range at the end of zoom-in and a display range at the start of zoom-out are determined by the cutout area. In addition, in the Pann effect, an extraction range of an image to be closed up at the start and end of Pann is determined, and in the spotlight effect, a brightly displayed region is determined. In the zoom effect and pann effect, a rectangular cutout area with a fixed aspect ratio is set based on the aspect ratio of the screen of the display device that plays and displays the photo movie. In the spotlight effect and other effects, the shape of the cutout area is set. Other shapes such as a circle can be specified. Note that in the zoom effect in which the still image is displayed by changing the magnification between the display range determined by the cutout region from the state where the entire still image is reduced or displayed at the same magnification, one cutout region is set. In the Pann effect that scrolls an image in a close-up state, a plurality of cutout areas are set. These cutout areas are displayed on the screen of the
顔画像検出部31は、静止画中に存在する人物の顔画像を検出する。顔画像の検出が行われる際には、顔画像を検出する対象となる静止画上の特定の選択領域が顧客により指定され、この選択領域内部の顔画像が検出される。顔画像の検出処理は、静止画の画素ごとの色情報に基づいて肌色である皮膚が識別され、さらに瞳や眉毛、髪の有無から顔画像が識別される。また、顔の皮膚を示す肌色の画素と髪や眉毛、瞳を示す黒色の画素の配列パターンや、背景との輝度差等に基づき顔及び頭部の輪郭が識別され、顔の形状が特定される。
The face
切り出し領域設定部30には、顔画像検出部31により検出された人物の顔が見映えよく表示されるように、検出された顔画像に基づいて顔画像の天地左右の余白を最適にする切り出し領域を画定するための推奨余白データが記憶されている。様々な撮影シーンにより最適とされる余白が異なるため、推奨余白データは、素材の静止画が横長の画像である場合と縦長の画像である場合ごとに、検出された顔画像の数(人数)や、それぞれの顔の位置関係、顔画像が静止画全体に占める割合等の特徴情報に応じて分類されたものが予め用意される。切り出し領域設定部30は、指定された選択領域内から顔画像が検出されると、その特徴情報から推奨余白データを参照し、切り出し領域の位置及び大きさを決定する。
In the cutout
画質補正部32は、画像データに対して色調補正等の画質補正処理を行う。画質補正処理には、メディア読取り部17から読取られた全ての画像データに対して一律に行われるセットアップ補正処理と、顔画像検出部31により人物の顔が認識された際に行われる高品位処理とがある。セットアップ補正処理では、全ての画像に対し、グレーバランスの調整、肌色画素の調子を整える色合い調整、コントラスト調整等の基本的な画質補正処理が行われる。高品位処理は、ズームエフェクトやパーンエフェクトのように、顔画像検出部31により人物の顔が存在する静止画に対して行われるもので、撮影時のレンズ性能に起因する歪曲や周辺減光の補正、赤目補正処理、ノイズ低減処理、シャープネス補正、ジャギー低減処理等の画像の品質を高めるための画質補正処理が行われる。
The image
フォトムービー出力機12は、注文受付機11より送信された注文情報を受信する通信部35と、受信した注文情報が記憶される注文情報記憶部36と、注文情報に組み込まれたシナリオデータを解析し、送信された画像データに基づいてフォトムービーを出力するフォトムービー出力部37と、フォトムービーの映像を汎用的なデジタル動画フォーマットに準拠した映像に変換するビデオムービー変換部38とを備えている。なお、デジタル動画フォーマットの1つとして、フォトムービーをDVD映像として観賞できるように、MPEG2−DVD−Videoフォーマットが採用されている。
The photo
制御部39は、予め組み込まれた注文処理プログラムに基づいて各部を制御することにより、注文情報の処理から商品の仕上げまでの一連の流れを管理する。メディア記録部40は、CD又はDVD等の光ディスク41に対してフォトムービーのデータを記録する。ラベル印刷部42は、注文内容を識別するための識別情報とフォトムービーの内容を示すラベル画像を光ディスク41の表面にプリントする。
The
次にフォトムービー注文受付システム10の作用について説明する。図2において、注文受付機11のメディア読取り部17に、静止画の画像データが記憶されたメモリカード18又は光ディスク19の記憶媒体がセットされると、制御部39がセットされた記憶媒体を検知し、画像データの読み込みが開始される。
Next, the operation of the photo movie order receiving system 10 will be described. In FIG. 2, when the storage medium of the memory card 18 or the
記憶媒体から画像データがコピーされると、画質補正部32によって全ての画像データに対してセットアップ補正処理が行われる。また、セットアップ補正処理がなされた画像データからサムネイル画像が生成され、このサムネイル画像が表示部16に一覧表示される。表示されたサムネイル画像を参考にしてフォトムービーの素材として用いる画像を選択することができ、全ての画像を使用するか、一部の画像を使用するかを決定する操作がなされる。
When the image data is copied from the storage medium, the image
画像の選択が終了すると、選択された画像を用いてフォトムービーを自動で作成する自動編集モードと、再生順序やエフェクトの種類等を顧客が選択できるマニュアル編集モードのいずれかを選択する操作がなされる。自動編集モードが選択されると、編集条件設定部26により、サムネイル画像の配列順に再生順序が決められ、各画像のエフェクトの有無やその種類が決定される。このとき、年間行事や季節等のテーマ別に予め用意されたシナリオテンプレートを選ぶことができる。
When the selection of the image is completed, an operation for selecting either an automatic edit mode for automatically creating a photo movie using the selected image or a manual edit mode for allowing the customer to select a playback order, an effect type or the like is performed. The When the automatic editing mode is selected, the editing
マニュアル編集モードでは、画像の再生順序、各画像のエフェクトの有無、エフェクトの種類、エフェクトのかけ方を示す詳細設定等の編集条件を顧客が自ら設定する。読み込まれた画像のサムネイル画像が表示部16に一覧表示された状態で、入力操作部15を介して表示部16の画面上で画像の配列順を変更することにより画像の再生順序を決めることができる。また、所定の画像についてエフェクトを与えることを指定する項目が選択されることにより、そのエフェクトの詳細設定を行うためのステップに移る。
In the manual editing mode, the customer himself / herself sets editing conditions such as the playback order of images, the presence / absence of effects of each image, the type of effect, and detailed settings indicating how to apply the effect. In a state where thumbnail images of the read images are displayed as a list on the
エフェクトには、ズームエフェクト、パーンエフェクトのように拡大表示を伴うエフェクト、静止画の一部を除いて暗転させるスポットライトエフェクト、静止画を画面上に縮小表示して画面の端から端へ直線又は曲線状に移動させるムーブエフェクトや、前に表示された静止画を徐々に透明にして次に表示される画像を徐々に濃くするフェードインエフェクト、装飾画像や字幕を合成する合成エフェクト、これらを組み合わせた複合エフェクトなど、多くの種類のエフェクトが用意されている。以下の説明では、パーンエフェクトを選択した場合を例にして説明する。 The effects include zoom effects, effects with enlarged display such as pan effects, spotlight effects that darken the image except for a portion of the still image, and a straight line from the edge of the screen A move effect that moves in a curved line, a fade-in effect that gradually turns the previously displayed still image transparent and gradually darkens the next image displayed, a composite effect that combines decorative images and subtitles, etc. Many types of effects are available, such as combined effects. In the following description, the case where the Pann effect is selected will be described as an example.
図3及び図4において、パーンエフェクトが選択されると、パーン動作の基点を指定するステップに移る。パーンエフェクトでは、パーン動作の基点として、パーン開始位置を示す始点、終了位置を示す終点となる切り出し領域が指定され、必要に応じて始点と終点の間の中継点を指定することができる。図4(a)に示すように、表示部16の画面上には、エフェクトを指定した静止画を表示する編集ウインドウW1と、切り出し領域によって切り出される画像を表示するプレビューウインドウW2と、エフェクトの詳細設定を行うための設定ウインドウW3とが表示される。パーン動作の基点を指定する際には、編集ウインドウW1の画面上で人物の顔を指定する。
In FIG. 3 and FIG. 4, when the pan effect is selected, the process proceeds to a step of designating the base point of the pan operation. In the Pann effect, a cutout region that is a start point indicating a Pann start position and an end point indicating an end position is specified as a base point of the Pan operation, and a relay point between the start point and the end point can be specified as necessary. As shown in FIG. 4A, on the screen of the
編集ウインドウW1には、パーンエフェクトが指定された画像として、例えば、被写体A1及び被写体A2が写る画像が表示される。設定ウインドウW3には、パーン動作の始点、終点、中継点を指定するための設定キーK1,K2,K3がそれぞれ表示される。パーン動作の始点を指定するためには、設定キーK1が操作される。表示部16の画面上には、編集ウインドウW1上のポイントを指定するように促すメッセージが表示される。
In the editing window W1, for example, an image showing the subject A1 and the subject A2 is displayed as an image for which the panning effect is designated. The setting window W3 displays setting keys K1, K2, and K3 for designating the start point, end point, and relay point of the panning operation. In order to designate the starting point of the panning operation, the setting key K1 is operated. On the screen of the
パーン動作の始点が指定される際、顧客が被写体A1の顔をクローズアップすることを希望した場合には、被写体A1の顔の位置が指定される。編集ウインドウW1には、図4(b)に示すように、指定された座標を示すマークM1と、顧客により指定された選択領域を示すものとしてマークM1を中心とする矩形状をした一定の大きさの選択枠f1が表示される。なお、この選択枠f1は、顧客の入力操作によりその大きさや形状が変更できるようにしてもよい。 When the start point of the panning operation is designated, if the customer desires to close up the face of the subject A1, the position of the face of the subject A1 is designated. In the editing window W1, as shown in FIG. 4B, a mark M1 indicating the designated coordinates and a fixed size having a rectangular shape centering on the mark M1 as indicating the selection area designated by the customer. A selection frame f1 is displayed. Note that the size and shape of the selection frame f1 may be changed by a customer input operation.
顔画像検出部31は、選択枠f1の内部の顔検出処理を行う。顔検出処理により、選択枠f1の内部から人物の顔が検出されると、その輪郭が特定され、特定された輪郭に基づいて顔画像の認識範囲が反転表示される。また、人物の顔が検出されない場合には、顔の確からしさを定める閾値が低く設定され、顔検出処理がやり直される。顔検出処理を2回行っても、人物の顔が検出できない場合にはエラーメッセージが表示され、パーン動作の始点を指定するステップに戻る。
The face
選択枠f1から被写体A1の顔が検出されると、選択枠f1に含まれる人数が1人であることが特定される。切り出し領域設定部30は、被写体A1の顔の位置及び大きさと、検出された人数が一人であることに基づいて推奨余白データを参照し、最適な切り出し領域の位置及び大きさを算出する。この最適化された切り出し領域は、切り出し枠F11として表示される。なお、切り出し枠F11の中心は、顔の認識範囲の中心C1と同一である。プレビューウインドウW2には、切り出し枠F11によって切り出される画像が表示される。このようにして切り出し領域が決定し、パーン動作の始点の設定が終了する。
When the face of the subject A1 is detected from the selection frame f1, it is specified that the number of people included in the selection frame f1 is one. The cutout
次に、設定ウインドウW3の設定キーK2が操作されることにより、パーン動作の終点を指定するステップに移る。顧客が被写体A2の顔をクローズアップすることを希望した場合には、編集ウインドウW1上で被写体A2の顔が指定される。編集ウインドウW1には、指定された座標を示すマークM2と、顧客により指定された切り出し領域を示すものとしてマークM2を中心とする矩形状の選択枠f2が表示される。 Next, when the setting key K2 of the setting window W3 is operated, the process proceeds to a step of designating the end point of the panning operation. When the customer desires to close up the face of the subject A2, the face of the subject A2 is designated on the editing window W1. In the editing window W1, a mark M2 indicating the designated coordinates and a rectangular selection frame f2 centering on the mark M2 are displayed as indicating the clipping region designated by the customer.
顔画像検出部31は、選択枠f2について顔検出処理を行う。これにより、被写体A2の顔が検出される。また、被写体A2の顔の輪郭が特定され、顔画像の認識範囲が反転表示されるとともに、選択枠f2に含まれる人数が1人であることが特定される。切り出し領域設定部30は、検出された被写体A2の顔の位置及び大きさに基づいて推奨余白データを参照し、最適な切り出し領域の位置及び大きさを算出する。この最適化された切り出し領域は、切り出し枠F21として表示される。また、切り出し枠F21の中心は、被写体A2の顔の認識範囲の中心C2と同じになる。
The face
推奨余白データに基づいて決定された切り出し領域を示す切り出し枠F21は、図5(b)に斜線部で示す画像の外部領域H1を包含している。このため、被写体A2をクローズアップした映像は外部領域H1による黒帯部が混入することになる。このため、切り出し領域設定部30は、切り出し枠F21をその中心C2を維持したまま縮小し、外部領域H1を含まないように切り出し領域を修正する。この切り出し領域は、切り出し枠F22として表示される。プレビューウインドウW2には、切り出し枠F22によって切り出される画像が表示される。このようにして、パーン動作の終点が切り出し枠F22で示される切り出し領域により決定する。
The cutout frame F21 indicating the cutout area determined based on the recommended margin data includes the external area H1 of the image indicated by the hatched portion in FIG. For this reason, a black band portion due to the external region H1 is mixed in the image in which the subject A2 is close-up. For this reason, the cutout
パーンエフェクトの始点及び終点が切り出し枠F11,切り出し枠F22によってそれぞれ決定され、パーンエフェクトの詳細設定が終了すると、画質補正部32によりパーンエフェクトが指定された画像の高品位処理が行われる。高品位処理により、被写体A1及び被写体A2の顔を拡大表示したときに生じる画質の低下が小さくされ、フォトムービーの品質が損なわれることが防止される。
When the start point and end point of the pan effect are determined by the cut frame F11 and the cut frame F22, and the detailed setting of the pan effect is completed, the image
図6において、パーンエフェクトが設定されたフォトムービーの映像は、被写体A1の顔をクローズアップした映像から始まり(図6(a))、画面上で被写体A1から被写体A2に向かって画面が移動して擬似的なパーンが再現され(図6(b))、被写体A2の顔をクローズアップした映像に移行して1つのシーンが終了する(図6(c))。なお、パーンエフェクトでは、切り出し枠F11によって切り出された画像を画面全体に拡大して表示するため、切り出し枠F11が小さければその分だけ拡大倍率は大きくなり、切り出し枠F11が大きければ拡大倍率が小さくなる。また、パーン動作の始点と終点の少なくとも2つの切り出し領域が指定されるため、切り出し枠F11と切り出し枠F22の大きさが異なれば、パーン動作中に拡大倍率が変化する。 In FIG. 6, the image of the photo movie in which the pan effect is set starts from the image of the close-up of the face of the subject A1 (FIG. 6A), and the screen moves from the subject A1 to the subject A2 on the screen. As a result, a pseudo pann is reproduced (FIG. 6B), and the image is shifted to a close-up image of the face of the subject A2 to complete one scene (FIG. 6C). In the Pann effect, the image cut out by the cutout frame F11 is enlarged and displayed on the entire screen. Therefore, if the cutout frame F11 is small, the enlargement magnification is increased accordingly, and if the cutout frame F11 is large, the enlargement magnification is reduced. Become. In addition, since at least two cutout areas of the start and end points of the panning operation are specified, if the cutout frame F11 and the cutout frame F22 have different sizes, the enlargement magnification changes during the panning operation.
図2において、その他の画像についてもエフェクトの有無、その種類等の設定がなされ、全ての編集条件の入力が終了すると、プレビュー動画出力部28によりプレビュー用のフォトムービーが作成され、表示部16に表示される。顧客は、プレビュー用フォトムービーを確認し、編集条件を変更する必要がなければ次のステップに移る操作を行い、氏名や住所等の個人情報を入力するステップに移る。これらの入力処理が終了すると、シナリオデータ生成部29により全ての編集条件を記録したシナリオデータが作成される。また、制御部25は、シナリオデータ、画像データ、顧客の個人情報、注文内容を識別するための識別情報等をまとめた注文情報を作成し、通信部21を介して注文情報をフォトムービー出力機12に送信する。
In FIG. 2, the presence / absence and type of effects are set for other images, and when the input of all editing conditions is completed, a preview photo movie is created by the preview moving
注文情報の送信が終了すると、制御部39はレシート出力部22を作動させる。レシート出力部22が、注文内容の識別情報をプリントしたレシート23を発行すると、注文受付処理が終了する。
When the transmission of the order information is completed, the
注文情報を受信したフォトムービー出力機12では、注文情報に組み込まれたシナリオデータ及び画像データに基づいてフォトムービーが作成される。作成されたフォトムービーは、注文内容に基づき、DVD映像として観賞できるMPEG2−DVD−Videoフォーマット等の映像データに変換され、この映像データがメディア記録部40によりDVD等の光ディスク41に記録される。フォトムービーが記録された光ディスク41は、レシート23と引換に顧客に渡される。
The photo
以上のように、本発明の実施形態について説明したが、本発明は上記実施形態に限られるものではなく、例えば、注文受付機11とフォトムービー出力機12のように、編集条件の入力設定とフォトムービーの作成を別々の機器により分担して行うことに限らず、これらを1つの装置により行えるようにしてもよい。また、注文受付機11の機能と同等なアプリケーションプログラムを配布し、これを顧客が所有するパーソナルコンピュータに組み込むことにより、編集条件の入力設定とフォトムービーの注文を自宅からインターネット等の通信手段を介して行えるようにしてもよい。
As described above, the embodiment of the present invention has been described. However, the present invention is not limited to the above-described embodiment. For example, as in the
また、顔画像検出部31により複数の顔画像が複数検出された場合には、切り出し領域を決定する基準となる顔画像を指定するステップを追加することで、検出された顔画像の全て又は一部を自由に指定できるようにし、撮影シーンの多様な複数の静止画を素材とする場合であっても、簡単な操作でフォトムービーの編集条件を設定できるようにすることが好ましい。また、人物の顔画像を検出することに加え、人物の全身像、あるいは動物や植物、観光名所を例とする建造物や地形等が検出できるようにしてもよい。
In addition, when a plurality of face images are detected by the face
上記実施形態は、表示部16の画面と一体にしたタッチパネルによって入力操作部15を構成しているが、ポインティングデバイス等の他の入力装置により構成してもよい。選択枠f1,f2に示される特定の選択領域を指定する際には、上記実施形態に示すように静止画上の1点の座標を指定することに限らず、矩形の対角線上に位置する2つの座標を指定するようにしてもよい。また、選択領域を指定した後に人物の顔画像を検出することに限らず、画像全体から人物の顔を検出した後に選択領域を指定することにより適切な切り出し領域が決定されるようにしてもよい。この場合、静止画中に一人の顔画像しか検出されなければ自動的に最適化された切り出し領域を決定でき、その画像について選択できるエフェクトとして、必要な切り出し領域が1つであるズームエフェクトを候補として示し、複数の切り出し領域が必要なパーンエフェクトを予め除外するようにしてもよい。
In the above embodiment, the
また、商品形態としては、DVDメディアにビデオムービー形式のデータを記録したものに限らず、例えば、フォトムービーのビューワーソフトをユーザーに配布し、このビューワーソフトをインストールしたコンピュータ上で再生できる形式のデータを静止画の画像データとともに記録してもよい。また、素材となる静止画は、デジタルカメラで記録された画像の他に、プリント写真や写真フイルムをスキャナーで読取って得られた画像や、動画から抽出した1コマの画像であってもよい。 In addition, the product form is not limited to data recorded in a video movie format on DVD media. For example, photo movie viewer software is distributed to users, and data in a format that can be played back on a computer on which the viewer software is installed. May be recorded together with still image data. In addition to the image recorded by the digital camera, the still image as the material may be an image obtained by reading a printed photograph or photographic film with a scanner, or a single frame image extracted from a moving image.
10 フォトムービー注文受付システム
11 注文受付機
12 フォトムービー出力機
15 入力操作部
26 編集条件設定部
28 プレビュー動画出力部
29 シナリオデータ生成部
30 切り出し領域設定部
31 顔画像検出部
32 画質補正部
A1,A2 被写体
f1,f2 選択枠
F11,F21,F22 切り出し枠
W1 編集ウインドウ
W2 プレビューウインドウ
W3 設定ウインドウ
DESCRIPTION OF SYMBOLS 10 Photo movie
Claims (6)
前記静止画から人物の顔画像を検出する顔画像検出手段と、
前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段とを備えたことを特徴とするフォトムービーの編集条件設定装置。 When a part of a still image is cut out and processed and edited to create a photo movie using the still image as a material, the cut-out area to be cut out of the part of the still image is edited in the photo movie. In the photo movie editing condition setting device to be set as a condition,
Face image detecting means for detecting a human face image from the still image;
An editing condition setting device for photomovie, comprising: a cutout area determination unit that determines the cutout area based on the position and size of the detected face image when the face image is detected.
前記編集条件の設定を行う前に、読み出された全ての画像データに画質補正処理を行う第2の画質補正手段とを備えたことを特徴とする請求項1ないし4にいずれか1つ記載のフォトムービーの編集条件設定装置。 Image reading means for reading image data of the still image from a storage medium;
5. The apparatus according to claim 1, further comprising: a second image quality correction unit configured to perform image quality correction processing on all the read image data before setting the editing conditions. 6. Photo movie editing condition setting device.
前記静止画から人物の顔画像を検出する顔画像検出手段と、
前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段としてコンピュータを機能させることを特徴とするフォトムービーの編集条件設定プログラム。
When a part of a still image is cut out and processed and edited to create a photo movie using the still image as a material, the cut-out area to be cut out of the part of the still image is edited in the photo movie. In a photo movie editing condition setting program that causes a computer to execute processing to be set as a condition,
Face image detecting means for detecting a human face image from the still image;
An editing condition setting program for a photo movie, which causes a computer to function as a cutout area determination means for determining the cutout area based on the position and size of the detected face image when the face image is detected.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004333453A JP2006148344A (en) | 2004-11-17 | 2004-11-17 | Edit condition setting apparatus and edit condition setting program for photo movie |
US11/280,272 US20060115185A1 (en) | 2004-11-17 | 2005-11-17 | Editing condition setting device and program for photo movie |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004333453A JP2006148344A (en) | 2004-11-17 | 2004-11-17 | Edit condition setting apparatus and edit condition setting program for photo movie |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006148344A true JP2006148344A (en) | 2006-06-08 |
Family
ID=36627538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004333453A Pending JP2006148344A (en) | 2004-11-17 | 2004-11-17 | Edit condition setting apparatus and edit condition setting program for photo movie |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006148344A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309661A (en) * | 2005-05-02 | 2006-11-09 | Fuji Photo Film Co Ltd | Image reproducing apparatus and image reproducing program |
JP2008176350A (en) * | 2007-01-16 | 2008-07-31 | Seiko Epson Corp | Image printer and image processing method for image printer |
JP2008227918A (en) * | 2007-03-13 | 2008-09-25 | Ricoh Co Ltd | Imaging device |
JP2009129125A (en) * | 2007-11-22 | 2009-06-11 | C-Mix:Kk | Motion generation device and computer program |
JP2011244155A (en) * | 2010-05-17 | 2011-12-01 | Toshiba Corp | Electronic apparatus and image processing program |
US8150168B2 (en) | 2007-09-26 | 2012-04-03 | Kabushiki Kaisha Toshiba | Electronic apparatus and image display control method of the electronic apparatus |
KR101495077B1 (en) * | 2007-12-12 | 2015-02-24 | 삼성전자주식회사 | Apparatus and method for digital picturing image |
JP2016054524A (en) * | 2015-11-18 | 2016-04-14 | 株式会社ニコン | Program and display device |
JP2016122461A (en) * | 2016-02-18 | 2016-07-07 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, method of controlling the same, and program |
JP2018107834A (en) * | 2018-04-05 | 2018-07-05 | 株式会社ニコン | Reproduction presentation program and reproduction presentation device |
-
2004
- 2004-11-17 JP JP2004333453A patent/JP2006148344A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309661A (en) * | 2005-05-02 | 2006-11-09 | Fuji Photo Film Co Ltd | Image reproducing apparatus and image reproducing program |
JP2008176350A (en) * | 2007-01-16 | 2008-07-31 | Seiko Epson Corp | Image printer and image processing method for image printer |
JP2008227918A (en) * | 2007-03-13 | 2008-09-25 | Ricoh Co Ltd | Imaging device |
US8150168B2 (en) | 2007-09-26 | 2012-04-03 | Kabushiki Kaisha Toshiba | Electronic apparatus and image display control method of the electronic apparatus |
JP2009129125A (en) * | 2007-11-22 | 2009-06-11 | C-Mix:Kk | Motion generation device and computer program |
KR101495077B1 (en) * | 2007-12-12 | 2015-02-24 | 삼성전자주식회사 | Apparatus and method for digital picturing image |
JP2011244155A (en) * | 2010-05-17 | 2011-12-01 | Toshiba Corp | Electronic apparatus and image processing program |
JP2016054524A (en) * | 2015-11-18 | 2016-04-14 | 株式会社ニコン | Program and display device |
JP2016122461A (en) * | 2016-02-18 | 2016-07-07 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, method of controlling the same, and program |
JP2018107834A (en) * | 2018-04-05 | 2018-07-05 | 株式会社ニコン | Reproduction presentation program and reproduction presentation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20060115185A1 (en) | Editing condition setting device and program for photo movie | |
US7239347B2 (en) | Image display controlling method, image display controlling apparatus and image display controlling program | |
KR100714888B1 (en) | Image display method and image display device | |
JP4280656B2 (en) | Image display device and image display method thereof | |
JP3495826B2 (en) | Filing system and playback device | |
US20060114327A1 (en) | Photo movie creating apparatus and program | |
JP4534249B2 (en) | Imaging apparatus and program thereof | |
JP2005182196A (en) | Image display method and image display device | |
JP2009296634A (en) | Digital camera | |
JP2007521747A (en) | Image processing method and system | |
JP2007020029A (en) | Image processor and method, program and recording medium | |
JPH10243274A (en) | Image-photographing device | |
JP2006148344A (en) | Edit condition setting apparatus and edit condition setting program for photo movie | |
JP2002176613A (en) | Moving image editing unit, moving image editing method and recording medium | |
US20050237588A1 (en) | Printing order receiving method and apparatus and frame extraction method and apparatus | |
JP2006094053A (en) | Photo movie creating method and apparatus thereof, and photo movie creating program | |
JP6043753B2 (en) | Content reproduction system, server, portable terminal, content reproduction method, program, and recording medium | |
JP5361780B2 (en) | Image processing apparatus and image processing program | |
JP2008154047A (en) | Image processor, image processing method, program, storage medium | |
JP2006146428A (en) | Device and program for setting edition condition of photo-movie | |
JP2006217221A (en) | System and program for creating electronic album, and storage medium | |
JP2006350462A (en) | Album image preparation device and album image preparation program | |
JP2006157197A (en) | Photo movie generating apparatus and program | |
JP2007013467A (en) | Image compositing device and image compositing program | |
JP4724757B2 (en) | Image display method and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20070104 |