JP2006148344A - Edit condition setting apparatus and edit condition setting program for photo movie - Google Patents

Edit condition setting apparatus and edit condition setting program for photo movie Download PDF

Info

Publication number
JP2006148344A
JP2006148344A JP2004333453A JP2004333453A JP2006148344A JP 2006148344 A JP2006148344 A JP 2006148344A JP 2004333453 A JP2004333453 A JP 2004333453A JP 2004333453 A JP2004333453 A JP 2004333453A JP 2006148344 A JP2006148344 A JP 2006148344A
Authority
JP
Japan
Prior art keywords
image
photo movie
condition setting
face
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004333453A
Other languages
Japanese (ja)
Inventor
Takayuki Iida
孝之 飯田
Fumihiro Sonoda
文博 園田
Hajime Shintani
一 新谷
Hiroshi Yamaji
啓 山路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004333453A priority Critical patent/JP2006148344A/en
Priority to US11/280,272 priority patent/US20060115185A1/en
Publication of JP2006148344A publication Critical patent/JP2006148344A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an edit condition setting apparatus and an edit condition setting program for photo movies capable of relieving a load required for the entry of edit conditions carried out by a customer in the case of placing an order of the photo movie. <P>SOLUTION: The edit condition setting apparatus sets a cut-out region for an object of cutting out a still picture when the zoom effect or the pan effect of displaying part of the cut-out still picture with magnification is selected at the entry of edit conditions for the photo movie. The apparatus automatically sets the cut-out region on the basis of the position and the size of a face image by detecting the face image of a person from a particular object region designated by the customer in advance. The cut-out region has a proper margin in a way that the face of the person displayed with magnification looks good and the apparatus can easily create the photo movie with high quality wherein the image is zoomed or panned on the basis of the face of the person. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、素材となる静止画から動画として観賞されるフォトムービーを作成するために必要な編集条件を設定するフォトムービーの編集条件設定装置及び編集条件設定プログラムに関する。   The present invention relates to a photo movie editing condition setting device and an editing condition setting program for setting editing conditions necessary for creating a photo movie to be viewed as a moving image from a still image as a material.

フォトムービーは、デジタルカメラ等を用いて記録された静止画を加工編集して特殊効果を施すことにより、素材の静止画を動画に変換したものである。この特殊効果には、静止画の一部の領域に注目してズームイン/ズームアウトする電子ズーム効果、画像の一部の領域をクローズアップした状態で画像をスクロールさせる電子パーン効果、画像を縮小表示して直線又は曲線状に移動させる移動効果、特定の一点を中心に画像を回転させる回転効果、歪み(スキュー)を与える歪曲効果、これらを組み合わせた複合効果等がある。   A photo movie is obtained by converting a still image of a material into a moving image by processing and editing a still image recorded using a digital camera or the like and applying a special effect. This special effect includes an electronic zoom effect that zooms in and out by focusing on a partial area of a still image, an electronic panning effect that scrolls the image while a partial area of the image is close-up, and a reduced image display Then, there are a moving effect for moving the image linearly or in a curved line, a rotating effect for rotating an image around a specific point, a distortion effect for giving distortion (skew), a combined effect combining these, and the like.

フォトムービーでは、これらの特殊効果を使用して静止画に対する視点を擬似的に変化させることにより、特定の注目被写体を演出することや、画像を躍動的に表現することができる。また、複数の画像を同時に表示するマルチ画面効果、アニメーション画像や装飾画像、字幕の合成による視覚効果が併用されることや、これらの特殊効果を与えずにスライドショーとして画像を表示するものなど、その表示形態には様々なものがある。なお、以下の説明では、これらの特殊効果をエフェクトと称する。   In a photo movie, by using these special effects to change the viewpoint of a still image in a pseudo manner, it is possible to produce a specific subject of interest and to express an image dynamically. In addition, multi-screen effects that display multiple images at the same time, animation images, decorative images, visual effects by combining subtitles, and those that display images as a slide show without giving these special effects, such as There are various display forms. In the following description, these special effects are referred to as effects.

特許文献1及び非特許文献1には、フォトムービーを作成するためのソフトウェアについて記載されている。これらのソフトウェアでは、フォトムービーの素材となる静止画を選択した後に、再生順序やエフェクトの種類等からなる編集条件を設定することでフォトムービーを作成することができる。作成されたフォトムービーは、これらのソフトウェア上で観賞することができる。また、フォトムービーの映像を汎用的なデジタル動画フォーマットに変換し、DVD等の光ディスクに記録すれば、上記ソフトウェアを用いることなく、家庭用DVDプレイヤー等でフォトムービーを観賞できる。   Patent Document 1 and Non-Patent Document 1 describe software for creating a photo movie. In these softwares, a photo movie can be created by selecting a still image as a material for the photo movie and then setting editing conditions such as a reproduction order and an effect type. The created photo movie can be viewed on these softwares. Also, if the video of the photo movie is converted into a general-purpose digital video format and recorded on an optical disc such as a DVD, the photo movie can be viewed on a home DVD player or the like without using the above software.

非特許文献1に記載されたソフトウェアには、全ての画像の編集条件をユーザーが設定できるマニュアル編集モードと、素材とする画像を選択するだけでフォトムービーが自動的に作成される自動編集モードが用意されている。自動編集モードでは、静止画の選択順で再生順序が決定され、各画像のエフェクトの種類等はプログラムにより自動で設定されるので、操作手順が非常に簡単になる。
特開平10−200843号公報 株式会社デジタルステージ LIFE* with-Photo-Cinema [平成16年4月6日検索]インターネット<URL:http://www.digitalstage.net/jp/product/life/index.html>
The software described in Non-Patent Document 1 has a manual editing mode in which the user can set editing conditions for all images, and an automatic editing mode in which a photo movie is automatically created simply by selecting an image as a material. It is prepared. In the automatic editing mode, the playback order is determined according to the selection order of the still images, and the effect type of each image is automatically set by the program, so that the operation procedure becomes very simple.
Japanese Patent Laid-Open No. 10-200843 Digital Stage Co., Ltd. LIFE * with-Photo-Cinema [Search April 6, 2004] Internet <URL: http://www.digitalstage.net/jp/product/life/index.html>

しかしながら、上述の自動編集モードは、画像の内容に基づいて適切にエフェクトが設定されるものではないため、電子ズーム効果や電子パーン効果のように画像を拡大表示するエフェクトが選択されたときに、人物の被写体を無視した映像になることがあり、ユーザーの希望する作品が得られにくいという欠点がある。また、従来のマニュアル編集モードを使用してこのような事態を回避しようとすると、画像を拡大表示するために切り出される静止画の特定の一部を決める切り出し領域の位置や大きさをユーザーが詳細に設定しなければならず、各画像の人物を画面上でバランスよく表示させるためには、大変な手間がかかるという問題がある。   However, in the above-described automatic editing mode, the effect is not appropriately set based on the content of the image, so when an effect for enlarging an image such as an electronic zoom effect or an electronic panning effect is selected, There is a drawback that it may be difficult to obtain a work desired by the user because the video may ignore a human subject. Also, when trying to avoid such a situation using the conventional manual editing mode, the user details the position and size of the clipping region that determines the specific part of the still image that is clipped to enlarge the image. In order to display the person of each image in a balanced manner on the screen, there is a problem that it takes a lot of time and effort.

本発明は、上記問題点を考慮してなされたもので、マニュアル編集モードを用いて人物の被写体を見映えよく表示するために要する手間が従来に比べて軽減でき、ユーザーが希望する作品をより簡単に作成できるようにしたフォトムービーの編集条件設定装置及び編集条件設定プログラムを提供することを目的とする。   The present invention has been made in consideration of the above-mentioned problems, and the time required for displaying a human subject in a good-looking manner using the manual editing mode can be reduced as compared with the prior art. An object of the present invention is to provide a photo movie editing condition setting device and an editing condition setting program which can be easily created.

上記目的を達成するために、本発明は、静止画の一部を切り出してこれに加工編集処理を施して前記静止画を素材とするフォトムービーを作成する際に、前記静止画の一部を切り出す対象となる切り出し領域を前記フォトムービーの編集条件として設定するフォトムービーの編集条件設定装置において、前記静止画から人物の顔画像を検出する顔画像検出手段と、前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段とを備えたことを特徴とする。   In order to achieve the above-mentioned object, the present invention cuts out a part of a still image, applies a processing and editing process to the still image, and creates a photo movie using the still image as a material. In a photo movie editing condition setting device for setting a clipping region to be clipped as a photo movie editing condition, a face image detecting means for detecting a human face image from the still image, and detecting when detecting the face image And a cutout region determining means for determining the cutout region based on the position and size of the face image.

前記顔画像検出手段は、ディスプレイの表示画面に表示された前記静止画上で指定された特定の選択領域内の画像から前記顔画像を検出することを特徴とする。   The face image detecting means detects the face image from an image in a specific selection area designated on the still image displayed on a display screen of a display.

前記選択領域は、前記静止画上の少なくとも1つの任意のポイントが指定されることにより、指定されたポイントを基点とする所定の大きさの領域として画定されることを特徴とする。   The selection area is defined as an area having a predetermined size with the designated point as a base point by designating at least one arbitrary point on the still image.

前記顔画像検出手段によって顔画像が検出された静止画に対し、画質補正処理を行う第1の画質補正手段を備えたことを特徴とする。   The image processing apparatus includes a first image quality correction unit that performs image quality correction processing on the still image from which the face image is detected by the face image detection unit.

記憶媒体から前記静止画の画像データを読み出す画像読み出し手段と、前記編集条件の設定を行う前に、読み出された全ての画像データに画質補正処理を行う第2の画質補正手段とを備えたことを特徴とする。   Image reading means for reading image data of the still image from a storage medium, and second image quality correction means for performing image quality correction processing on all the read image data before setting the editing conditions It is characterized by that.

静止画の一部を切り出してこれに加工編集処理を施して前記静止画を素材とするフォトムービーを作成する際に、前記静止画の一部を切り出す対象となる切り出し領域を前記フォトムービーの編集条件として設定する処理をコンピュータに実行させるフォトムービーの編集条件設定プログラムにおいて、前記静止画から人物の顔画像を検出する顔画像検出手段と、前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段としてコンピュータを機能させることを特徴とする。   When a part of a still image is cut out and processed and edited to create a photo movie using the still image as a material, the cut-out area to be cut out of the part of the still image is edited in the photo movie. In a photo movie editing condition setting program that causes a computer to execute processing to be set as a condition, a face image detection unit that detects a face image of a person from the still image, and a position of the detected face image when the face image is detected And a computer functioning as a cutout area determining means for determining the cutout area based on the size.

本発明によれば、画像の拡大表示を伴う電子ズーム効果、電子パーン効果のように、切り出し領域を設定する必要のあるエフェクトに関する編集条件を設定する場合に、静止画から人物の顔画像を検出し、検出された顔画像の位置及び大きさの少なくとも一方に基づいて切り出し領域が自動で決定されるから、人物の顔を見映えよく画面内に収められる編集条件を簡単に設定できる。また、全ての編集条件をユーザーが設定する従来技術と異なり、画像の拡大倍率を過度に高くしたときに拡大表示された画像が粗くなることでフォトムービーの品質低下を引き起こす切り出し領域の設定ミスを防止する効果も得られる。   According to the present invention, a face image of a person is detected from a still image when setting an editing condition related to an effect that requires setting of a clipping region, such as an electronic zoom effect with an enlarged image display or an electronic panning effect. Since the cutout region is automatically determined based on at least one of the position and size of the detected face image, it is possible to easily set editing conditions that allow a person's face to look good and fit in the screen. Also, unlike the conventional technology in which all editing conditions are set by the user, there is a mistake in setting the clipping region that causes the quality of the photo movie to deteriorate due to the coarsened image when the image magnification is excessively high. The effect of preventing is also obtained.

また、画面上に表示された静止画上で特定の選択領域を指定し、指定された選択領域内の画像から顔画像を検出することにより、画像全体から顔画像を検出する場合に比べて顔画像の検出に要する時間を短縮できる。   In addition, by specifying a specific selection area on the still image displayed on the screen and detecting the face image from the image in the specified selection area, the face image is detected compared to the case of detecting the face image from the entire image. The time required for image detection can be shortened.

また、ユーザーにより選択領域を指定する操作がなされる際、静止画上の任意の1点が指定されることで指定されたポイントを基点とする所定の大きさの選択領域が画定されるから、選択領域を指定する操作を簡単にできる。   In addition, when an operation for designating a selection area is performed by the user, a selection area having a predetermined size with a designated point as a base point is defined by designating an arbitrary point on the still image. The operation of specifying the selection area can be simplified.

顔画像が検出された静止画に対して画質補正処理を行うことにより、顔画像が拡大表示された際の画像の粗さによるフォトムービーの品質の低下を小さくすることができる。   By performing image quality correction processing on the still image from which the face image is detected, it is possible to reduce the deterioration of the quality of the photo movie due to the roughness of the image when the face image is enlarged and displayed.

記憶媒体から読み出される全ての静止画に対して画質補正処理を行うことにより、顔画像の検出精度を高めることができるとともに、編集条件の設定時点でフォトムービーのおおよその品質を知ることができる。   By performing image quality correction processing on all still images read from the storage medium, it is possible to improve the accuracy of detection of face images and to know the approximate quality of a photo movie at the time of setting editing conditions.

図1において、フォトムービー注文受付システム10は、注文受付機11とフォトムービー出力機12とにより構成されている。注文受付機11とフォトムービー出力機12はDPE店等の同一店舗内に設置され、店舗の構内ネットワーク(LAN)により互いに通信可能に接続されている。なお、注文受付機11がフォトムービー出力機12に対して遠隔地に設置されていてもよく、この場合には、両者がインターネットを介して通信可能に接続されてもよい。   In FIG. 1, a photo movie order receiving system 10 includes an order receiving machine 11 and a photo movie output machine 12. The order acceptance machine 11 and the photo movie output machine 12 are installed in the same store such as a DPE store, and are connected to each other via a local network (LAN) of the store. In addition, the order reception machine 11 may be installed in a remote place with respect to the photo movie output machine 12, and in this case, both may be communicably connected via the Internet.

注文受付機11は、顧客が注文内容を入力するための入力操作部15と、フォトムービーに使用する静止画や編集条件を設定するための設定画面等が表示される表示部16とを備えている。入力操作部15は、表示部16の表示画面と一体に設けられた透明なタッチパネルからなり、画面上に表示された選択キー等の位置に触れることで入力処理が行われる。メディア読取り部17は、顧客が持参した記憶媒体から画像データを読取るもので、メモリカード18とCD又はDVDの光ディスク19とからデータの読取りが可能である。メモリカード18は、デジタルカメラに着脱自在であり、撮影画像を保存するために用いられる。光ディスク19は、パーソナルコンピュータ等に保存された画像データがコピーされ、メモリカード18よりも多くの撮影画像を保存できる大容量記憶媒体である。   The order reception machine 11 includes an input operation unit 15 for a customer to input order details, and a display unit 16 on which a still image used for a photo movie, a setting screen for setting editing conditions, and the like are displayed. Yes. The input operation unit 15 includes a transparent touch panel provided integrally with the display screen of the display unit 16, and input processing is performed by touching a position of a selection key or the like displayed on the screen. The media reading unit 17 reads image data from a storage medium brought by the customer, and can read data from the memory card 18 and a CD or DVD optical disk 19. The memory card 18 is detachable from the digital camera, and is used for storing captured images. The optical disk 19 is a large-capacity storage medium in which image data stored in a personal computer or the like is copied and can store more photographed images than the memory card 18.

通信部21は、注文受付機11とフォトムービー出力機12との間でデータの送受信を行う。レシート出力部22は、顧客が商品を受け取る際の引換証となるレシート23を発行する。レシート23には、顧客の注文内容を識別するための識別情報が印刷されている。この識別情報は、注文番号、注文を受付けた受付機の識別コード、商品の受渡し日時及び受渡し店舗を示す情報等がバーコードと文字でそれぞれ記録されている。   The communication unit 21 transmits and receives data between the order receiving machine 11 and the photo movie output machine 12. The receipt output unit 22 issues a receipt 23 that serves as an exchange certificate when the customer receives the product. The receipt 23 is printed with identification information for identifying the order contents of the customer. In this identification information, the order number, the identification code of the accepting machine that accepted the order, the delivery date and time of the product, information indicating the delivery store, etc. are recorded in bar code and characters, respectively.

制御部25及び編集条件設定部26は、注文受付機11に内蔵された記憶装置に格納されたオペレーティングシステムとフォトムービーの編集条件を設定する編集条件設定プログラムとをマイクロプロセサに実行させることによりそれぞれ実現される。この記憶装置は、例えばハードディスク記憶装置(HDD)又は多数のメモリチップからなるメモリユニットにより構成される。制御部25は、メディア読取り部17,通信部21等の各ハードウェアを制御し、入力操作部15でなされた操作に応じて各部の動作を管理する。   The control unit 25 and the editing condition setting unit 26 cause the microprocessor to execute an operating system stored in a storage device built in the order receiving machine 11 and an editing condition setting program for setting photo movie editing conditions. Realized. This storage device is constituted by, for example, a hard disk storage device (HDD) or a memory unit including a large number of memory chips. The control unit 25 controls the hardware such as the media reading unit 17 and the communication unit 21 and manages the operation of each unit according to the operation performed by the input operation unit 15.

編集条件設定部26では、顧客の入力操作等によりフォトムービーに使用する各静止画についてエフェクトの有無やその種類等の編集条件を設定するための処理が行われる。編集条件設定部26は、予め用意されたシナリオテンプレートに従って全ての静止画のエフェクトを自動的に決定する自動編集モードと、顧客の手動設定により画像ごとにエフェクトの設定が行われるマニュアル編集モードとを有する。自動編集モードのシナリオテンプレートには、季節や年間行事等のテーマ別に複数種類のものが用意されており、旅行用のテンプレート、結婚式や卒業式用のテンプレート、正月、ひなまつり、七夕、クリスマス用のテンプレートなどがある。テンプレートごとに、撮影画像に合成される装飾画像の種類や、選ばれやすいエフェクトが異なっている。   The editing condition setting unit 26 performs processing for setting editing conditions such as the presence / absence of an effect and the type of each still image used for the photo movie by a customer's input operation or the like. The editing condition setting unit 26 includes an automatic editing mode in which effects of all still images are automatically determined according to a prepared scenario template, and a manual editing mode in which effects are set for each image by a customer's manual setting. Have. There are several types of scenario templates for the automatic editing mode for different themes such as seasons and annual events. Templates for travel, templates for weddings and graduations, New Year, Hinamatsuri, Tanabata, Christmas There are templates. The type of decoration image to be combined with the photographed image and the effect that can be easily selected are different for each template.

プレビュー動画出力部28は、編集条件設定部26により設定された編集条件に基づいて、実際に作成されるフォトムービーと同様にエフェクトが付与されたプレビュー用フォトムービーを出力する。プレビュー動画出力部28は、メモリカード18や光ディスク19から読み出した撮影画像の画素数を小さくした低解像度画像を生成し、この低解像度画像からプレビュー用フォトムービーを作成する。低解像度画像を用いることで、プレビュー用フォトムービーの生成及び再生表示に要するマイクロプロセサの負荷が軽減される。プレビュー用フォトムービーは表示部16に表示され、その仕上がりの品質が顧客に伝えられる。   The preview moving image output unit 28 outputs a preview photo movie to which an effect is applied in the same manner as a photo movie actually created based on the editing conditions set by the editing condition setting unit 26. The preview moving image output unit 28 generates a low resolution image in which the number of pixels of the captured image read from the memory card 18 or the optical disk 19 is reduced, and creates a preview photo movie from the low resolution image. By using the low-resolution image, the load on the microprocessor required to generate and display the preview photo movie is reduced. The preview photo movie is displayed on the display unit 16, and the quality of the finished product is transmitted to the customer.

編集条件設定部26は、シナリオデータ生成部29と、切り出し領域設定部30と、顔画像検出部31とを有している。シナリオデータ生成部29は、画像の再生順序、各画像のエフェクトの有無やその種類等が指定された編集条件を組み込んだシナリオデータを作成する。シナリオデータは、エフェクトの種類やその詳細な設定内容が画像データのファイル名に関連付けされることにより構成される。シナリオデータは、注文情報の一部として静止画の画像データとともにフォトムービー出力機12に送信される。   The editing condition setting unit 26 includes a scenario data generation unit 29, a cutout region setting unit 30, and a face image detection unit 31. The scenario data generation unit 29 creates scenario data incorporating editing conditions in which the image playback order, the presence / absence of the effect of each image, and the type thereof are specified. The scenario data is configured by associating the effect type and its detailed setting contents with the file name of the image data. The scenario data is transmitted to the photo movie output machine 12 together with still image data as part of the order information.

切り出し領域設定部30は、静止画の一部を切り出して特殊効果を付与するための切り出し領域を設定する。この切り出し領域は、静止画の一部に注目してズームイン又はズームアウトを行うズームエフェクトや、クローズアップした状態で画像をスクロールさせるパーンエフェクト、静止画の一部を除いて暗転表示することにより静止画にスポットライトを当てたような効果を出すスポットライトエフェクト等、静止画中の特定の被写体を注目させる場合に使用されるエフェクトのパラメータである。   The cutout area setting unit 30 sets a cutout area for cutting out a part of a still image and adding a special effect. This cropping area is displayed by zooming in and out, focusing on a part of the still image, a panning effect that scrolls the image in a close-up state, and darkened by excluding part of the still image. This is a parameter of an effect used when a specific subject in a still image is noticed, such as a spotlight effect that produces an effect as if a spotlight was applied to an image.

例えば、ズームエフェクトでは、この切り出し領域により、ズームイン終了時の表示範囲、ズームアウト開始時の表示範囲が定められる。また、パーンエフェクトでは、パーンの開始及び終了時にクローズアップされる画像の抽出範囲が定められ、スポットライトエフェクトでは、明るく表示される領域が定められる。ズームエフェクトやパーンエフェクトでは、フォトムービーを再生表示する表示デバイスの画面のアスペクト比に基づいてアスペクト比が固定された矩形の切り出し領域が設定され、スポットライトエフェクトや他のエフェクトでは切り出し領域の形状を円形等の他の形状に指定することができる。なお、静止画全体を縮小又は等倍表示した状態から切り出し領域により定まる表示範囲の間で倍率を変化させて静止画を表示するズームエフェクトでは、1つの切り出し領域が設定される。クローズアップした状態で画像をスクロールさせるパーンエフェクトでは、複数の切り出し領域が設定される。これらの切り出し領域は、表示部16の画面上に切り出し枠F11(図4参照)として表示される。   For example, in the zoom effect, a display range at the end of zoom-in and a display range at the start of zoom-out are determined by the cutout area. In addition, in the Pann effect, an extraction range of an image to be closed up at the start and end of Pann is determined, and in the spotlight effect, a brightly displayed region is determined. In the zoom effect and pann effect, a rectangular cutout area with a fixed aspect ratio is set based on the aspect ratio of the screen of the display device that plays and displays the photo movie. In the spotlight effect and other effects, the shape of the cutout area is set. Other shapes such as a circle can be specified. Note that in the zoom effect in which the still image is displayed by changing the magnification between the display range determined by the cutout region from the state where the entire still image is reduced or displayed at the same magnification, one cutout region is set. In the Pann effect that scrolls an image in a close-up state, a plurality of cutout areas are set. These cutout areas are displayed on the screen of the display unit 16 as a cutout frame F11 (see FIG. 4).

顔画像検出部31は、静止画中に存在する人物の顔画像を検出する。顔画像の検出が行われる際には、顔画像を検出する対象となる静止画上の特定の選択領域が顧客により指定され、この選択領域内部の顔画像が検出される。顔画像の検出処理は、静止画の画素ごとの色情報に基づいて肌色である皮膚が識別され、さらに瞳や眉毛、髪の有無から顔画像が識別される。また、顔の皮膚を示す肌色の画素と髪や眉毛、瞳を示す黒色の画素の配列パターンや、背景との輝度差等に基づき顔及び頭部の輪郭が識別され、顔の形状が特定される。   The face image detection unit 31 detects a face image of a person present in a still image. When a face image is detected, a specific selection area on the still image to be detected is designated by the customer, and the face image inside this selection area is detected. In the face image detection process, the skin color is identified based on the color information for each pixel of the still image, and the face image is identified based on the presence or absence of pupils, eyebrows, and hair. In addition, the face and head contours are identified based on the arrangement pattern of skin-colored pixels indicating the skin of the face and black pixels indicating the hair, eyebrows, and pupils, the brightness difference from the background, etc., and the shape of the face is specified. The

切り出し領域設定部30には、顔画像検出部31により検出された人物の顔が見映えよく表示されるように、検出された顔画像に基づいて顔画像の天地左右の余白を最適にする切り出し領域を画定するための推奨余白データが記憶されている。様々な撮影シーンにより最適とされる余白が異なるため、推奨余白データは、素材の静止画が横長の画像である場合と縦長の画像である場合ごとに、検出された顔画像の数(人数)や、それぞれの顔の位置関係、顔画像が静止画全体に占める割合等の特徴情報に応じて分類されたものが予め用意される。切り出し領域設定部30は、指定された選択領域内から顔画像が検出されると、その特徴情報から推奨余白データを参照し、切り出し領域の位置及び大きさを決定する。   In the cutout area setting unit 30, a cutout that optimizes the left and right margins of the face image based on the detected face image so that the face of the person detected by the face image detection unit 31 is displayed with good appearance. The recommended margin data for defining the area is stored. Since the optimum margin differs depending on various shooting scenes, the recommended margin data is the number of detected face images (number of people) for each case where the still image of the material is a horizontally long image and a vertically long image. Also, those classified according to feature information such as the positional relationship of each face and the ratio of the face image to the entire still image are prepared in advance. When a face image is detected from the designated selection area, the cutout area setting unit 30 refers to the recommended margin data from the feature information and determines the position and size of the cutout area.

画質補正部32は、画像データに対して色調補正等の画質補正処理を行う。画質補正処理には、メディア読取り部17から読取られた全ての画像データに対して一律に行われるセットアップ補正処理と、顔画像検出部31により人物の顔が認識された際に行われる高品位処理とがある。セットアップ補正処理では、全ての画像に対し、グレーバランスの調整、肌色画素の調子を整える色合い調整、コントラスト調整等の基本的な画質補正処理が行われる。高品位処理は、ズームエフェクトやパーンエフェクトのように、顔画像検出部31により人物の顔が存在する静止画に対して行われるもので、撮影時のレンズ性能に起因する歪曲や周辺減光の補正、赤目補正処理、ノイズ低減処理、シャープネス補正、ジャギー低減処理等の画像の品質を高めるための画質補正処理が行われる。   The image quality correction unit 32 performs image quality correction processing such as color tone correction on the image data. The image quality correction process includes a set-up correction process that is uniformly performed on all the image data read from the media reading unit 17 and a high-quality process that is performed when a human face is recognized by the face image detection unit 31. There is. In the setup correction process, basic image quality correction processes such as gray balance adjustment, color tone adjustment for adjusting the tone of skin color pixels, and contrast adjustment are performed on all images. The high-quality processing is performed on a still image in which a human face is present by the face image detection unit 31 like a zoom effect or a pann effect, and distortion or peripheral light reduction due to lens performance at the time of shooting is performed. Image quality correction processing for improving image quality such as correction, red-eye correction processing, noise reduction processing, sharpness correction, and jaggy reduction processing is performed.

フォトムービー出力機12は、注文受付機11より送信された注文情報を受信する通信部35と、受信した注文情報が記憶される注文情報記憶部36と、注文情報に組み込まれたシナリオデータを解析し、送信された画像データに基づいてフォトムービーを出力するフォトムービー出力部37と、フォトムービーの映像を汎用的なデジタル動画フォーマットに準拠した映像に変換するビデオムービー変換部38とを備えている。なお、デジタル動画フォーマットの1つとして、フォトムービーをDVD映像として観賞できるように、MPEG2−DVD−Videoフォーマットが採用されている。   The photo movie output machine 12 analyzes the scenario data embedded in the order information, the communication unit 35 that receives the order information transmitted from the order receiving machine 11, the order information storage unit 36 that stores the received order information. In addition, a photo movie output unit 37 that outputs a photo movie based on the transmitted image data, and a video movie conversion unit 38 that converts the photo movie video into a video based on a general-purpose digital video format are provided. . As one of the digital moving image formats, the MPEG2-DVD-Video format is adopted so that a photo movie can be viewed as a DVD image.

制御部39は、予め組み込まれた注文処理プログラムに基づいて各部を制御することにより、注文情報の処理から商品の仕上げまでの一連の流れを管理する。メディア記録部40は、CD又はDVD等の光ディスク41に対してフォトムービーのデータを記録する。ラベル印刷部42は、注文内容を識別するための識別情報とフォトムービーの内容を示すラベル画像を光ディスク41の表面にプリントする。   The control unit 39 manages a series of flow from order information processing to product finishing by controlling each unit based on an order processing program incorporated in advance. The media recording unit 40 records photomovie data on an optical disc 41 such as a CD or a DVD. The label printing unit 42 prints identification information for identifying the order contents and a label image indicating the contents of the photo movie on the surface of the optical disc 41.

次にフォトムービー注文受付システム10の作用について説明する。図2において、注文受付機11のメディア読取り部17に、静止画の画像データが記憶されたメモリカード18又は光ディスク19の記憶媒体がセットされると、制御部39がセットされた記憶媒体を検知し、画像データの読み込みが開始される。   Next, the operation of the photo movie order receiving system 10 will be described. In FIG. 2, when the storage medium of the memory card 18 or the optical disc 19 storing still image data is set in the media reading unit 17 of the order receiving machine 11, the control unit 39 detects the set storage medium. Then, reading of the image data is started.

記憶媒体から画像データがコピーされると、画質補正部32によって全ての画像データに対してセットアップ補正処理が行われる。また、セットアップ補正処理がなされた画像データからサムネイル画像が生成され、このサムネイル画像が表示部16に一覧表示される。表示されたサムネイル画像を参考にしてフォトムービーの素材として用いる画像を選択することができ、全ての画像を使用するか、一部の画像を使用するかを決定する操作がなされる。   When the image data is copied from the storage medium, the image quality correction unit 32 performs setup correction processing on all the image data. Also, thumbnail images are generated from the image data that has undergone the setup correction process, and the thumbnail images are displayed as a list on the display unit 16. An image to be used as a photo movie material can be selected with reference to the displayed thumbnail image, and an operation of determining whether to use all images or a part of images is performed.

画像の選択が終了すると、選択された画像を用いてフォトムービーを自動で作成する自動編集モードと、再生順序やエフェクトの種類等を顧客が選択できるマニュアル編集モードのいずれかを選択する操作がなされる。自動編集モードが選択されると、編集条件設定部26により、サムネイル画像の配列順に再生順序が決められ、各画像のエフェクトの有無やその種類が決定される。このとき、年間行事や季節等のテーマ別に予め用意されたシナリオテンプレートを選ぶことができる。   When the selection of the image is completed, an operation for selecting either an automatic edit mode for automatically creating a photo movie using the selected image or a manual edit mode for allowing the customer to select a playback order, an effect type or the like is performed. The When the automatic editing mode is selected, the editing condition setting unit 26 determines the playback order in the order in which thumbnail images are arranged, and determines the presence / absence and type of effect for each image. At this time, scenario templates prepared in advance according to themes such as annual events and seasons can be selected.

マニュアル編集モードでは、画像の再生順序、各画像のエフェクトの有無、エフェクトの種類、エフェクトのかけ方を示す詳細設定等の編集条件を顧客が自ら設定する。読み込まれた画像のサムネイル画像が表示部16に一覧表示された状態で、入力操作部15を介して表示部16の画面上で画像の配列順を変更することにより画像の再生順序を決めることができる。また、所定の画像についてエフェクトを与えることを指定する項目が選択されることにより、そのエフェクトの詳細設定を行うためのステップに移る。   In the manual editing mode, the customer himself / herself sets editing conditions such as the playback order of images, the presence / absence of effects of each image, the type of effect, and detailed settings indicating how to apply the effect. In a state where thumbnail images of the read images are displayed as a list on the display unit 16, it is possible to determine the reproduction order of the images by changing the arrangement order of the images on the screen of the display unit 16 via the input operation unit 15. it can. Further, when an item designating that an effect is to be applied to a predetermined image is selected, the process proceeds to a step for performing detailed setting of the effect.

エフェクトには、ズームエフェクト、パーンエフェクトのように拡大表示を伴うエフェクト、静止画の一部を除いて暗転させるスポットライトエフェクト、静止画を画面上に縮小表示して画面の端から端へ直線又は曲線状に移動させるムーブエフェクトや、前に表示された静止画を徐々に透明にして次に表示される画像を徐々に濃くするフェードインエフェクト、装飾画像や字幕を合成する合成エフェクト、これらを組み合わせた複合エフェクトなど、多くの種類のエフェクトが用意されている。以下の説明では、パーンエフェクトを選択した場合を例にして説明する。   The effects include zoom effects, effects with enlarged display such as pan effects, spotlight effects that darken the image except for a portion of the still image, and a straight line from the edge of the screen A move effect that moves in a curved line, a fade-in effect that gradually turns the previously displayed still image transparent and gradually darkens the next image displayed, a composite effect that combines decorative images and subtitles, etc. Many types of effects are available, such as combined effects. In the following description, the case where the Pann effect is selected will be described as an example.

図3及び図4において、パーンエフェクトが選択されると、パーン動作の基点を指定するステップに移る。パーンエフェクトでは、パーン動作の基点として、パーン開始位置を示す始点、終了位置を示す終点となる切り出し領域が指定され、必要に応じて始点と終点の間の中継点を指定することができる。図4(a)に示すように、表示部16の画面上には、エフェクトを指定した静止画を表示する編集ウインドウW1と、切り出し領域によって切り出される画像を表示するプレビューウインドウW2と、エフェクトの詳細設定を行うための設定ウインドウW3とが表示される。パーン動作の基点を指定する際には、編集ウインドウW1の画面上で人物の顔を指定する。   In FIG. 3 and FIG. 4, when the pan effect is selected, the process proceeds to a step of designating the base point of the pan operation. In the Pann effect, a cutout region that is a start point indicating a Pann start position and an end point indicating an end position is specified as a base point of the Pan operation, and a relay point between the start point and the end point can be specified as necessary. As shown in FIG. 4A, on the screen of the display unit 16, an edit window W1 that displays a still image in which an effect is designated, a preview window W2 that displays an image cut out by a cutout area, and the details of the effect A setting window W3 for setting is displayed. When designating the base point of the panning operation, the person's face is designated on the screen of the editing window W1.

編集ウインドウW1には、パーンエフェクトが指定された画像として、例えば、被写体A1及び被写体A2が写る画像が表示される。設定ウインドウW3には、パーン動作の始点、終点、中継点を指定するための設定キーK1,K2,K3がそれぞれ表示される。パーン動作の始点を指定するためには、設定キーK1が操作される。表示部16の画面上には、編集ウインドウW1上のポイントを指定するように促すメッセージが表示される。   In the editing window W1, for example, an image showing the subject A1 and the subject A2 is displayed as an image for which the panning effect is designated. The setting window W3 displays setting keys K1, K2, and K3 for designating the start point, end point, and relay point of the panning operation. In order to designate the starting point of the panning operation, the setting key K1 is operated. On the screen of the display unit 16, a message prompting the user to specify a point on the editing window W1 is displayed.

パーン動作の始点が指定される際、顧客が被写体A1の顔をクローズアップすることを希望した場合には、被写体A1の顔の位置が指定される。編集ウインドウW1には、図4(b)に示すように、指定された座標を示すマークM1と、顧客により指定された選択領域を示すものとしてマークM1を中心とする矩形状をした一定の大きさの選択枠f1が表示される。なお、この選択枠f1は、顧客の入力操作によりその大きさや形状が変更できるようにしてもよい。   When the start point of the panning operation is designated, if the customer desires to close up the face of the subject A1, the position of the face of the subject A1 is designated. In the editing window W1, as shown in FIG. 4B, a mark M1 indicating the designated coordinates and a fixed size having a rectangular shape centering on the mark M1 as indicating the selection area designated by the customer. A selection frame f1 is displayed. Note that the size and shape of the selection frame f1 may be changed by a customer input operation.

顔画像検出部31は、選択枠f1の内部の顔検出処理を行う。顔検出処理により、選択枠f1の内部から人物の顔が検出されると、その輪郭が特定され、特定された輪郭に基づいて顔画像の認識範囲が反転表示される。また、人物の顔が検出されない場合には、顔の確からしさを定める閾値が低く設定され、顔検出処理がやり直される。顔検出処理を2回行っても、人物の顔が検出できない場合にはエラーメッセージが表示され、パーン動作の始点を指定するステップに戻る。   The face image detection unit 31 performs a face detection process inside the selection frame f1. When a face of a person is detected from the inside of the selection frame f1 by the face detection process, the outline is specified, and the recognition range of the face image is highlighted based on the specified outline. If no human face is detected, the threshold for determining the likelihood of the face is set low, and the face detection process is repeated. If the face of the person cannot be detected even after performing the face detection process twice, an error message is displayed and the process returns to the step of designating the start point of the panning operation.

選択枠f1から被写体A1の顔が検出されると、選択枠f1に含まれる人数が1人であることが特定される。切り出し領域設定部30は、被写体A1の顔の位置及び大きさと、検出された人数が一人であることに基づいて推奨余白データを参照し、最適な切り出し領域の位置及び大きさを算出する。この最適化された切り出し領域は、切り出し枠F11として表示される。なお、切り出し枠F11の中心は、顔の認識範囲の中心C1と同一である。プレビューウインドウW2には、切り出し枠F11によって切り出される画像が表示される。このようにして切り出し領域が決定し、パーン動作の始点の設定が終了する。   When the face of the subject A1 is detected from the selection frame f1, it is specified that the number of people included in the selection frame f1 is one. The cutout area setting unit 30 refers to the recommended margin data based on the position and size of the face of the subject A1 and the detected number of people, and calculates the optimum position and size of the cutout area. This optimized cutout area is displayed as a cutout frame F11. The center of the cutout frame F11 is the same as the center C1 of the face recognition range. In the preview window W2, an image cut out by the cutout frame F11 is displayed. In this way, the cutout area is determined, and the setting of the start point of the panning operation is completed.

次に、設定ウインドウW3の設定キーK2が操作されることにより、パーン動作の終点を指定するステップに移る。顧客が被写体A2の顔をクローズアップすることを希望した場合には、編集ウインドウW1上で被写体A2の顔が指定される。編集ウインドウW1には、指定された座標を示すマークM2と、顧客により指定された切り出し領域を示すものとしてマークM2を中心とする矩形状の選択枠f2が表示される。   Next, when the setting key K2 of the setting window W3 is operated, the process proceeds to a step of designating the end point of the panning operation. When the customer desires to close up the face of the subject A2, the face of the subject A2 is designated on the editing window W1. In the editing window W1, a mark M2 indicating the designated coordinates and a rectangular selection frame f2 centering on the mark M2 are displayed as indicating the clipping region designated by the customer.

顔画像検出部31は、選択枠f2について顔検出処理を行う。これにより、被写体A2の顔が検出される。また、被写体A2の顔の輪郭が特定され、顔画像の認識範囲が反転表示されるとともに、選択枠f2に含まれる人数が1人であることが特定される。切り出し領域設定部30は、検出された被写体A2の顔の位置及び大きさに基づいて推奨余白データを参照し、最適な切り出し領域の位置及び大きさを算出する。この最適化された切り出し領域は、切り出し枠F21として表示される。また、切り出し枠F21の中心は、被写体A2の顔の認識範囲の中心C2と同じになる。   The face image detection unit 31 performs face detection processing for the selection frame f2. Thereby, the face of the subject A2 is detected. Further, the outline of the face of the subject A2 is specified, the recognition range of the face image is highlighted, and the number of persons included in the selection frame f2 is specified as one. The cutout area setting unit 30 refers to the recommended margin data based on the detected position and size of the face of the subject A2, and calculates the optimum position and size of the cutout area. This optimized cutout area is displayed as a cutout frame F21. The center of the cutout frame F21 is the same as the center C2 of the face recognition range of the subject A2.

推奨余白データに基づいて決定された切り出し領域を示す切り出し枠F21は、図5(b)に斜線部で示す画像の外部領域H1を包含している。このため、被写体A2をクローズアップした映像は外部領域H1による黒帯部が混入することになる。このため、切り出し領域設定部30は、切り出し枠F21をその中心C2を維持したまま縮小し、外部領域H1を含まないように切り出し領域を修正する。この切り出し領域は、切り出し枠F22として表示される。プレビューウインドウW2には、切り出し枠F22によって切り出される画像が表示される。このようにして、パーン動作の終点が切り出し枠F22で示される切り出し領域により決定する。   The cutout frame F21 indicating the cutout area determined based on the recommended margin data includes the external area H1 of the image indicated by the hatched portion in FIG. For this reason, a black band portion due to the external region H1 is mixed in the image in which the subject A2 is close-up. For this reason, the cutout region setting unit 30 reduces the cutout frame F21 while maintaining the center C2, and corrects the cutout region so as not to include the external region H1. This cutout area is displayed as a cutout frame F22. In the preview window W2, an image cut out by the cutout frame F22 is displayed. In this way, the end point of the panning operation is determined by the cutout area indicated by the cutout frame F22.

パーンエフェクトの始点及び終点が切り出し枠F11,切り出し枠F22によってそれぞれ決定され、パーンエフェクトの詳細設定が終了すると、画質補正部32によりパーンエフェクトが指定された画像の高品位処理が行われる。高品位処理により、被写体A1及び被写体A2の顔を拡大表示したときに生じる画質の低下が小さくされ、フォトムービーの品質が損なわれることが防止される。   When the start point and end point of the pan effect are determined by the cut frame F11 and the cut frame F22, and the detailed setting of the pan effect is completed, the image quality correction unit 32 performs high-quality processing of the image for which the pan effect is specified. The high-quality processing reduces the deterioration in image quality that occurs when the faces of the subject A1 and the subject A2 are enlarged and prevents the quality of the photo movie from being impaired.

図6において、パーンエフェクトが設定されたフォトムービーの映像は、被写体A1の顔をクローズアップした映像から始まり(図6(a))、画面上で被写体A1から被写体A2に向かって画面が移動して擬似的なパーンが再現され(図6(b))、被写体A2の顔をクローズアップした映像に移行して1つのシーンが終了する(図6(c))。なお、パーンエフェクトでは、切り出し枠F11によって切り出された画像を画面全体に拡大して表示するため、切り出し枠F11が小さければその分だけ拡大倍率は大きくなり、切り出し枠F11が大きければ拡大倍率が小さくなる。また、パーン動作の始点と終点の少なくとも2つの切り出し領域が指定されるため、切り出し枠F11と切り出し枠F22の大きさが異なれば、パーン動作中に拡大倍率が変化する。   In FIG. 6, the image of the photo movie in which the pan effect is set starts from the image of the close-up of the face of the subject A1 (FIG. 6A), and the screen moves from the subject A1 to the subject A2 on the screen. As a result, a pseudo pann is reproduced (FIG. 6B), and the image is shifted to a close-up image of the face of the subject A2 to complete one scene (FIG. 6C). In the Pann effect, the image cut out by the cutout frame F11 is enlarged and displayed on the entire screen. Therefore, if the cutout frame F11 is small, the enlargement magnification is increased accordingly, and if the cutout frame F11 is large, the enlargement magnification is reduced. Become. In addition, since at least two cutout areas of the start and end points of the panning operation are specified, if the cutout frame F11 and the cutout frame F22 have different sizes, the enlargement magnification changes during the panning operation.

図2において、その他の画像についてもエフェクトの有無、その種類等の設定がなされ、全ての編集条件の入力が終了すると、プレビュー動画出力部28によりプレビュー用のフォトムービーが作成され、表示部16に表示される。顧客は、プレビュー用フォトムービーを確認し、編集条件を変更する必要がなければ次のステップに移る操作を行い、氏名や住所等の個人情報を入力するステップに移る。これらの入力処理が終了すると、シナリオデータ生成部29により全ての編集条件を記録したシナリオデータが作成される。また、制御部25は、シナリオデータ、画像データ、顧客の個人情報、注文内容を識別するための識別情報等をまとめた注文情報を作成し、通信部21を介して注文情報をフォトムービー出力機12に送信する。   In FIG. 2, the presence / absence and type of effects are set for other images, and when the input of all editing conditions is completed, a preview photo movie is created by the preview moving image output unit 28, and is displayed on the display unit 16. Is displayed. The customer confirms the preview photo movie, and if there is no need to change the editing conditions, the customer moves to the next step, and moves to the step of inputting personal information such as name and address. When these input processes are completed, the scenario data generation unit 29 creates scenario data in which all editing conditions are recorded. Further, the control unit 25 creates order information in which scenario data, image data, customer personal information, identification information for identifying order contents, and the like are collected, and the order information is transmitted to the photo movie output machine via the communication unit 21. 12 to send.

注文情報の送信が終了すると、制御部39はレシート出力部22を作動させる。レシート出力部22が、注文内容の識別情報をプリントしたレシート23を発行すると、注文受付処理が終了する。   When the transmission of the order information is completed, the control unit 39 operates the receipt output unit 22. When the receipt output unit 22 issues a receipt 23 on which the order content identification information is printed, the order receiving process ends.

注文情報を受信したフォトムービー出力機12では、注文情報に組み込まれたシナリオデータ及び画像データに基づいてフォトムービーが作成される。作成されたフォトムービーは、注文内容に基づき、DVD映像として観賞できるMPEG2−DVD−Videoフォーマット等の映像データに変換され、この映像データがメディア記録部40によりDVD等の光ディスク41に記録される。フォトムービーが記録された光ディスク41は、レシート23と引換に顧客に渡される。   The photo movie output machine 12 that has received the order information creates a photo movie based on the scenario data and the image data incorporated in the order information. The created photo movie is converted into video data such as MPEG2-DVD-Video format that can be viewed as a DVD video based on the contents of the order, and this video data is recorded on the optical disk 41 such as a DVD by the media recording unit 40. The optical disc 41 on which the photo movie is recorded is delivered to the customer in exchange for the receipt 23.

以上のように、本発明の実施形態について説明したが、本発明は上記実施形態に限られるものではなく、例えば、注文受付機11とフォトムービー出力機12のように、編集条件の入力設定とフォトムービーの作成を別々の機器により分担して行うことに限らず、これらを1つの装置により行えるようにしてもよい。また、注文受付機11の機能と同等なアプリケーションプログラムを配布し、これを顧客が所有するパーソナルコンピュータに組み込むことにより、編集条件の入力設定とフォトムービーの注文を自宅からインターネット等の通信手段を介して行えるようにしてもよい。   As described above, the embodiment of the present invention has been described. However, the present invention is not limited to the above-described embodiment. For example, as in the order receiving machine 11 and the photo movie output machine 12, the editing condition input setting and the like. The creation of a photo movie is not limited to being performed by separate devices, but may be performed by a single device. In addition, by distributing an application program equivalent to the function of the order receiving machine 11 and incorporating it into a personal computer owned by the customer, editing condition input settings and photo movie orders can be sent from home via communication means such as the Internet. You may be able to do it.

また、顔画像検出部31により複数の顔画像が複数検出された場合には、切り出し領域を決定する基準となる顔画像を指定するステップを追加することで、検出された顔画像の全て又は一部を自由に指定できるようにし、撮影シーンの多様な複数の静止画を素材とする場合であっても、簡単な操作でフォトムービーの編集条件を設定できるようにすることが好ましい。また、人物の顔画像を検出することに加え、人物の全身像、あるいは動物や植物、観光名所を例とする建造物や地形等が検出できるようにしてもよい。   In addition, when a plurality of face images are detected by the face image detection unit 31, a step of designating a face image serving as a reference for determining a cutout region is added, so that all or one of the detected face images can be specified. It is preferable to be able to freely specify the part and to set the editing conditions of the photo movie with a simple operation even when a plurality of still images of a shooting scene are used as materials. Further, in addition to detecting a person's face image, it may be possible to detect a whole body image of a person, or a building or terrain such as an animal, a plant, or a tourist attraction.

上記実施形態は、表示部16の画面と一体にしたタッチパネルによって入力操作部15を構成しているが、ポインティングデバイス等の他の入力装置により構成してもよい。選択枠f1,f2に示される特定の選択領域を指定する際には、上記実施形態に示すように静止画上の1点の座標を指定することに限らず、矩形の対角線上に位置する2つの座標を指定するようにしてもよい。また、選択領域を指定した後に人物の顔画像を検出することに限らず、画像全体から人物の顔を検出した後に選択領域を指定することにより適切な切り出し領域が決定されるようにしてもよい。この場合、静止画中に一人の顔画像しか検出されなければ自動的に最適化された切り出し領域を決定でき、その画像について選択できるエフェクトとして、必要な切り出し領域が1つであるズームエフェクトを候補として示し、複数の切り出し領域が必要なパーンエフェクトを予め除外するようにしてもよい。   In the above embodiment, the input operation unit 15 is configured by a touch panel integrated with the screen of the display unit 16, but may be configured by another input device such as a pointing device. When specifying a specific selection area shown in the selection frames f1 and f2, it is not limited to specifying the coordinates of one point on the still image as shown in the above-described embodiment, but 2 located on the diagonal of the rectangle. Two coordinates may be designated. In addition to detecting a person's face image after designating a selection area, an appropriate cutout area may be determined by designating a selection area after detecting a human face from the entire image. . In this case, if only one face image is detected in the still image, the optimized clipping region can be automatically determined, and a zoom effect with one necessary clipping region is selected as an effect that can be selected for the image. In other words, the Pann effect that requires a plurality of cutout areas may be excluded in advance.

また、商品形態としては、DVDメディアにビデオムービー形式のデータを記録したものに限らず、例えば、フォトムービーのビューワーソフトをユーザーに配布し、このビューワーソフトをインストールしたコンピュータ上で再生できる形式のデータを静止画の画像データとともに記録してもよい。また、素材となる静止画は、デジタルカメラで記録された画像の他に、プリント写真や写真フイルムをスキャナーで読取って得られた画像や、動画から抽出した1コマの画像であってもよい。   In addition, the product form is not limited to data recorded in a video movie format on DVD media. For example, photo movie viewer software is distributed to users, and data in a format that can be played back on a computer on which the viewer software is installed. May be recorded together with still image data. In addition to the image recorded by the digital camera, the still image as the material may be an image obtained by reading a printed photograph or photographic film with a scanner, or a single frame image extracted from a moving image.

フォトムービー注文受付システムの概略構成図である。It is a schematic block diagram of a photo movie order reception system. 注文受付機の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of an order reception machine. 切り出し枠設定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a cutting frame setting process. パーンエフェクトの始点設定時における画面の様子を示す説明図である。It is explanatory drawing which shows the mode of the screen at the time of the start point setting of a pan effect. パーンエフェクトの終点設定時における画面の様子を示す説明図である。It is explanatory drawing which shows the mode of the screen at the time of the end point setting of a pan effect. フォトムービーの映像の移り変わりを示す説明図である。It is explanatory drawing which shows the transition of the image | video of a photo movie.

符号の説明Explanation of symbols

10 フォトムービー注文受付システム
11 注文受付機
12 フォトムービー出力機
15 入力操作部
26 編集条件設定部
28 プレビュー動画出力部
29 シナリオデータ生成部
30 切り出し領域設定部
31 顔画像検出部
32 画質補正部
A1,A2 被写体
f1,f2 選択枠
F11,F21,F22 切り出し枠
W1 編集ウインドウ
W2 プレビューウインドウ
W3 設定ウインドウ
DESCRIPTION OF SYMBOLS 10 Photo movie order reception system 11 Order reception machine 12 Photo movie output machine 15 Input operation part 26 Editing condition setting part 28 Preview moving image output part 29 Scenario data generation part 30 Cutout area setting part 31 Face image detection part 32 Image quality correction part A1, A2 Subject f1, f2 selection frame F11, F21, F22 Cutout frame W1 Edit window W2 Preview window W3 Setting window

Claims (6)

静止画の一部を切り出してこれに加工編集処理を施して前記静止画を素材とするフォトムービーを作成する際に、前記静止画の一部を切り出す対象となる切り出し領域を前記フォトムービーの編集条件として設定するフォトムービーの編集条件設定装置において、
前記静止画から人物の顔画像を検出する顔画像検出手段と、
前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段とを備えたことを特徴とするフォトムービーの編集条件設定装置。
When a part of a still image is cut out and processed and edited to create a photo movie using the still image as a material, the cut-out area to be cut out of the part of the still image is edited in the photo movie. In the photo movie editing condition setting device to be set as a condition,
Face image detecting means for detecting a human face image from the still image;
An editing condition setting device for photomovie, comprising: a cutout area determination unit that determines the cutout area based on the position and size of the detected face image when the face image is detected.
前記顔画像検出手段は、ディスプレイの表示画面に表示された前記静止画上で指定された特定の選択領域内の画像から前記顔画像を検出することを特徴とする請求項1記載のフォトムービーの編集条件設定装置。   2. The photomovie according to claim 1, wherein the face image detecting means detects the face image from an image in a specific selection area designated on the still image displayed on a display screen of a display. Editing condition setting device. 前記選択領域は、前記静止画上の少なくとも1つの任意のポイントが指定されることにより、指定されたポイントを基点とする所定の大きさの領域として画定されることを特徴とする請求項2記載のフォトムービーの編集条件設定装置。   3. The selection area is defined as an area having a predetermined size with a specified point as a base point by specifying at least one arbitrary point on the still image. Photo movie editing condition setting device. 前記顔画像検出手段によって顔画像が検出された静止画に対し、画質補正処理を行う第1の画質補正手段を備えたことを特徴とする請求項1ないし3にいずれか1つ記載のフォトムービーの編集条件設定装置。   4. The photo movie according to claim 1, further comprising first image quality correction means for performing image quality correction processing on a still image in which a face image is detected by the face image detection means. Editing condition setting device. 記憶媒体から前記静止画の画像データを読み出す画像読み出し手段と、
前記編集条件の設定を行う前に、読み出された全ての画像データに画質補正処理を行う第2の画質補正手段とを備えたことを特徴とする請求項1ないし4にいずれか1つ記載のフォトムービーの編集条件設定装置。
Image reading means for reading image data of the still image from a storage medium;
5. The apparatus according to claim 1, further comprising: a second image quality correction unit configured to perform image quality correction processing on all the read image data before setting the editing conditions. 6. Photo movie editing condition setting device.
静止画の一部を切り出してこれに加工編集処理を施して前記静止画を素材とするフォトムービーを作成する際に、前記静止画の一部を切り出す対象となる切り出し領域を前記フォトムービーの編集条件として設定する処理をコンピュータに実行させるフォトムービーの編集条件設定プログラムにおいて、
前記静止画から人物の顔画像を検出する顔画像検出手段と、
前記顔画像の検出時に、検出された顔画像の位置及び大きさに基づいて前記切り出し領域を決定する切り出し領域決定手段としてコンピュータを機能させることを特徴とするフォトムービーの編集条件設定プログラム。
When a part of a still image is cut out and processed and edited to create a photo movie using the still image as a material, the cut-out area to be cut out of the part of the still image is edited in the photo movie. In a photo movie editing condition setting program that causes a computer to execute processing to be set as a condition,
Face image detecting means for detecting a human face image from the still image;
An editing condition setting program for a photo movie, which causes a computer to function as a cutout area determination means for determining the cutout area based on the position and size of the detected face image when the face image is detected.
JP2004333453A 2004-11-17 2004-11-17 Edit condition setting apparatus and edit condition setting program for photo movie Pending JP2006148344A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004333453A JP2006148344A (en) 2004-11-17 2004-11-17 Edit condition setting apparatus and edit condition setting program for photo movie
US11/280,272 US20060115185A1 (en) 2004-11-17 2005-11-17 Editing condition setting device and program for photo movie

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004333453A JP2006148344A (en) 2004-11-17 2004-11-17 Edit condition setting apparatus and edit condition setting program for photo movie

Publications (1)

Publication Number Publication Date
JP2006148344A true JP2006148344A (en) 2006-06-08

Family

ID=36627538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004333453A Pending JP2006148344A (en) 2004-11-17 2004-11-17 Edit condition setting apparatus and edit condition setting program for photo movie

Country Status (1)

Country Link
JP (1) JP2006148344A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309661A (en) * 2005-05-02 2006-11-09 Fuji Photo Film Co Ltd Image reproducing apparatus and image reproducing program
JP2008176350A (en) * 2007-01-16 2008-07-31 Seiko Epson Corp Image printer and image processing method for image printer
JP2008227918A (en) * 2007-03-13 2008-09-25 Ricoh Co Ltd Imaging device
JP2009129125A (en) * 2007-11-22 2009-06-11 C-Mix:Kk Motion generation device and computer program
JP2011244155A (en) * 2010-05-17 2011-12-01 Toshiba Corp Electronic apparatus and image processing program
US8150168B2 (en) 2007-09-26 2012-04-03 Kabushiki Kaisha Toshiba Electronic apparatus and image display control method of the electronic apparatus
KR101495077B1 (en) * 2007-12-12 2015-02-24 삼성전자주식회사 Apparatus and method for digital picturing image
JP2016054524A (en) * 2015-11-18 2016-04-14 株式会社ニコン Program and display device
JP2016122461A (en) * 2016-02-18 2016-07-07 キヤノンマーケティングジャパン株式会社 Information processing device, information processing system, method of controlling the same, and program
JP2018107834A (en) * 2018-04-05 2018-07-05 株式会社ニコン Reproduction presentation program and reproduction presentation device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309661A (en) * 2005-05-02 2006-11-09 Fuji Photo Film Co Ltd Image reproducing apparatus and image reproducing program
JP2008176350A (en) * 2007-01-16 2008-07-31 Seiko Epson Corp Image printer and image processing method for image printer
JP2008227918A (en) * 2007-03-13 2008-09-25 Ricoh Co Ltd Imaging device
US8150168B2 (en) 2007-09-26 2012-04-03 Kabushiki Kaisha Toshiba Electronic apparatus and image display control method of the electronic apparatus
JP2009129125A (en) * 2007-11-22 2009-06-11 C-Mix:Kk Motion generation device and computer program
KR101495077B1 (en) * 2007-12-12 2015-02-24 삼성전자주식회사 Apparatus and method for digital picturing image
JP2011244155A (en) * 2010-05-17 2011-12-01 Toshiba Corp Electronic apparatus and image processing program
JP2016054524A (en) * 2015-11-18 2016-04-14 株式会社ニコン Program and display device
JP2016122461A (en) * 2016-02-18 2016-07-07 キヤノンマーケティングジャパン株式会社 Information processing device, information processing system, method of controlling the same, and program
JP2018107834A (en) * 2018-04-05 2018-07-05 株式会社ニコン Reproduction presentation program and reproduction presentation device

Similar Documents

Publication Publication Date Title
US20060115185A1 (en) Editing condition setting device and program for photo movie
US7239347B2 (en) Image display controlling method, image display controlling apparatus and image display controlling program
KR100714888B1 (en) Image display method and image display device
JP4280656B2 (en) Image display device and image display method thereof
JP3495826B2 (en) Filing system and playback device
US20060114327A1 (en) Photo movie creating apparatus and program
JP4534249B2 (en) Imaging apparatus and program thereof
JP2005182196A (en) Image display method and image display device
JP2009296634A (en) Digital camera
JP2007521747A (en) Image processing method and system
JP2007020029A (en) Image processor and method, program and recording medium
JPH10243274A (en) Image-photographing device
JP2006148344A (en) Edit condition setting apparatus and edit condition setting program for photo movie
JP2002176613A (en) Moving image editing unit, moving image editing method and recording medium
US20050237588A1 (en) Printing order receiving method and apparatus and frame extraction method and apparatus
JP2006094053A (en) Photo movie creating method and apparatus thereof, and photo movie creating program
JP6043753B2 (en) Content reproduction system, server, portable terminal, content reproduction method, program, and recording medium
JP5361780B2 (en) Image processing apparatus and image processing program
JP2008154047A (en) Image processor, image processing method, program, storage medium
JP2006146428A (en) Device and program for setting edition condition of photo-movie
JP2006217221A (en) System and program for creating electronic album, and storage medium
JP2006350462A (en) Album image preparation device and album image preparation program
JP2006157197A (en) Photo movie generating apparatus and program
JP2007013467A (en) Image compositing device and image compositing program
JP4724757B2 (en) Image display method and image processing apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070104