JP2012019387A - Image layout setting method and device - Google Patents
Image layout setting method and device Download PDFInfo
- Publication number
- JP2012019387A JP2012019387A JP2010155733A JP2010155733A JP2012019387A JP 2012019387 A JP2012019387 A JP 2012019387A JP 2010155733 A JP2010155733 A JP 2010155733A JP 2010155733 A JP2010155733 A JP 2010155733A JP 2012019387 A JP2012019387 A JP 2012019387A
- Authority
- JP
- Japan
- Prior art keywords
- image
- aspect ratio
- layout
- allowable
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、コマ割りされたテンプレート上の各コマに、複数の原画像から様々な形状でレイアウト画像を切り出して貼り付ける際に、原画像から重要オブジェクトが切り落とされることなく、レイアウトに多様性があり、かつ主観評価が高くなるようにレイアウト画像を自動的に切り出してレイアウトを設定できる画像レイアウト設定方法および装置に関する。 In the present invention, when a layout image is cut out and pasted in various shapes from a plurality of original images to each frame on the frame-divided template, important objects are not cut off from the original image, and the layout has diversity. The present invention relates to an image layout setting method and apparatus capable of automatically cutting out a layout image and setting the layout so that the subjective evaluation is high.
コマ割りされた出力ページ（レイアウトテンプレート）の各コマに、原画像から各コマ形状に合わせて切り出した画像領域を貼り付ける画像レイアウトが注目されている。本発明の発明者等による特許文献１には、デジタルカメラで撮影された画像のように、時系列の要素を含む複数の画像に対して、予め注目領域R1および推奨領域R2を指定し、各画像から対応するコマ形状に合わせて、注目領域R1は必ず表示され、推奨領域R2はなるべく表示されるようにレイアウト画像を切り出し、時系列を維持してコミック風にレイアウトする技術が開示されている。 An image layout in which an image area cut out from an original image according to each frame shape is attached to each frame of the frame-divided output page (layout template) has attracted attention. In Patent Document 1 by the inventors of the present invention, a region of interest R1 and a recommended region R2 are designated in advance for a plurality of images including time-series elements such as images taken with a digital camera, A technique is disclosed in which a layout image is cut out so that the attention area R1 is always displayed and the recommended area R2 is displayed as much as possible in accordance with the corresponding frame shape, and the layout is maintained in a comic style while maintaining the time series. .
図２０は、特許文献１による画像の切り出し方法を示した図であり、原画像を対象に、必ず表示させたい必須の領域が注目領域R1として指定されると共に、この注目領域R1と少なくとも一部が重なり、表示することが推奨される領域が推奨領域R2として指定される。そして、各画像をレイアウトテンプレート上に表示させる際は、各レイアウトテンプレートの各コマの形状と当該コマに表示される画像の形状との乖離度が求められる。この際、画像形状はアスペクト比で定義され、各コマのアスペクト比が、注目領域R1や推奨領域R2を表示可能なアスペクト比範囲から外れるほど乖離度が大きくされる。 FIG. 20 is a diagram illustrating an image clipping method according to Patent Document 1. An essential area that is necessarily displayed for an original image is designated as an attention area R1, and at least a part of the attention area R1. An area that is recommended to be displayed is specified as the recommended area R2. When each image is displayed on the layout template, the degree of divergence between the shape of each frame of each layout template and the shape of the image displayed on the frame is obtained. At this time, the image shape is defined by the aspect ratio, and the degree of deviation increases as the aspect ratio of each frame deviates from the aspect ratio range in which the attention area R1 and the recommended area R2 can be displayed.
このように、特許文献１では原画像に注目領域R1および推奨領域R2を予め指定することで画像の切り出し形状（アスペクト比）に自由度を持たせることができ、かつ切り出し自由度の高い画像を切り出し自由度の低い画像のバッファとして機能させることができるので、コマ形状の異なる様々なレイアウトテンプレートへの画像レイアウトが容易になり、その結果、主観評価の高いレイアウトテンプレート選びの多様性を向上させることが可能になる。 As described above, in Patent Document 1, by specifying the attention area R1 and the recommended area R2 in the original image in advance, the cutout shape (aspect ratio) of the image can have a degree of freedom, and an image with a high degree of cutout freedom can be obtained. Since it can function as a buffer for images with a low degree of clipping, image layout to various layout templates with different frame shapes is facilitated, and as a result, the diversity of layout template selection with high subjective evaluation is improved. Is possible.
また、本発明の発明者等による非特許文献１には、各コマの形状と各コマに貼り付けられる画像のアスペクト比範囲とに基づいて、次式(1)によりコマごとに評価値（乖離度）Eiを算出し、次式(2)でレイアウト全体を評価する方法が開示されている。
Further, in Non-Patent Document 1 by the inventors of the present invention, based on the shape of each frame and the aspect ratio range of the image pasted on each frame, the evaluation value (divergence) is calculated for each frame by the following equation (1). Degree) Ei is calculated, and a method for evaluating the entire layout by the following equation (2) is disclosed.
Ei (aspect)= max(log(Amin_i/Ap_i)、log(Ap_i/Amax_i)、0) …(1)
Ei (aspect) = max (log (Amin_i / Ap_i), log (Ap_i / Amax_i), 0)… (1)
E＝αΣαi・Ei(aspect)+βΣβi・Ei(importance) …(2)
E = αΣαi · Ei (aspect) + βΣβi · Ei (importance)… (2)
ここで、アスペクト比Aは幅(W)／高さ(H)で定義され、Amin_iは、原画像Iiから切り出せる画像領域の最小(最も縦長な)アスペクト比であり、Amax_iは、原画像Iiから切り出せる画像領域の最大(最も横長な)アスペクト比である。Ap_iはコマiのアスペクト比を示し、コマiのアスペクト比Ap_iがAmin_i〜Amax_iのときに評価値Ei＝０となり、この範囲から外れるにつれて大きな乖離度が与えられる。画像によりEi＝０を取り得る範囲は異なり、Ei＝０の範囲が広い画像はバッファの役割を果たすので、変形したくない他の画像の形状を保ちやすくできる。α、βは、それぞれ形状および重要度の重みであり、形状評価の他、重要度評価Ei(importance)等も行える。αi、βiは、それぞれ画像ごとの形状および重要度の重みであり、重要視したい画像(乖離を許したくない画像)には大きな値が与えられる。 Here, the aspect ratio A is defined by width (W) / height (H), Amin_i is the minimum (most vertically long) aspect ratio of the image area that can be cut out from the original image Ii, and Amax_i is the original image Ii This is the maximum (most horizontal) aspect ratio of the image area that can be cut out from. Ap_i indicates the aspect ratio of the frame i, and the evaluation value Ei = 0 when the aspect ratio Ap_i of the frame i is Amin_i to Amax_i, and a greater degree of divergence is given as the value deviates from this range. The range in which Ei = 0 can vary depending on the image, and an image having a wide range of Ei = 0 serves as a buffer. Therefore, it is possible to easily maintain the shape of another image that is not desired to be deformed. α and β are weights of shape and importance, respectively, and importance evaluation Ei (importance) can be performed in addition to shape evaluation. αi and βi are the weights of the shape and the importance for each image, respectively, and a large value is given to an image that is desired to be important (an image that is not allowed to deviate).
特許文献２には、ページ内の最大のコマ数を示す情報である上限コマ数情報、各コマの隙間を示す情報である隙間情報、内枠と外枠の余白を示す余白情報等をコマ割条件情報として設定すると、全ての条件を満足するコマ割りを自動的に生成する手法が提案されている。 In Patent Document 2, upper frame number information that is information indicating the maximum number of frames in a page, gap information that is information indicating gaps between frames, margin information that indicates margins of inner frames and outer frames, and the like are divided into frames. When set as condition information, a method of automatically generating a frame division that satisfies all conditions has been proposed.
非特許文献２には、入力画像からHaar-Like特徴を用いたAdaBoost法により矩形の物体領域を検出し、さらに入力画像から顕著性マップ(Saliency Map)を定義して物体領域を自動抽出する方法が開示されている。 Non-Patent Document 2 describes a method of detecting a rectangular object region from an input image by the AdaBoost method using Haar-Like features, and further defining a saliency map from the input image to automatically extract the object region. Is disclosed.
非特許文献３には、Visual Attention Modelなどから得た顕著性マップを用いて注目領域ROI(Region of Interest)を決定し、ROIをレイアウトテンプレート上に順不同でレイアウトとする技術が開示されている。 Non-Patent Document 3 discloses a technique of determining a region of interest ROI (Region of Interest) using a saliency map obtained from a Visual Attention Model, etc., and arranging the ROI in a random order on a layout template.
非特許文献４には、原画像にラプラシアンフィルタ、ガボールフィルタあるいはソベルフィルタといったエッジ検出用の微分フィルタを適用してポテンシャルマップ(energy function)を作成し、このポテンシャルマップ上でシーム(縫い目)や直線に沿ってエネルギを累積し、総エネルギが最も低いシームや直線を削除することで画像を変形（アスペクト比を変化）させるシームカービングが開示されている。 In Non-Patent Document 4, a potential map (energy function) is created by applying an edge detection differential filter such as a Laplacian filter, a Gabor filter or a Sobel filter to an original image, and a seam or a straight line is created on the potential map. The seam carving is disclosed in which the image is deformed (the aspect ratio is changed) by accumulating energy along the line and deleting the seam or straight line having the lowest total energy.
非特許文献５には、非特許文献４のシームカービングや、画像の両端を切り落とすCroppingなど、各種の画像編集を組み合わせて画像を変形させる技術が開示されている。非特許文献６，７には、ポテンシャルマップを作成する際に使用可能な顕著性マップを生成する技術が開示されている。 Non-Patent Document 5 discloses a technique for deforming an image by combining various types of image editing, such as seam carving in Non-Patent Document 4 and Cropping for cutting off both ends of an image. Non-Patent Documents 6 and 7 disclose a technique for generating a saliency map that can be used when creating a potential map.
特許文献１では、注目領域R1に関しては自動設定を行えるが、重要オブジェクトの一部しか注目領域R1として設定されないことが多いため、レイアウト用に切り出しを行うとオブジェクトの一部が切り落とされやすい。すなわち、不自然な切り落としが行われ易い。 In Patent Document 1, although the attention area R1 can be automatically set, only a part of the important object is often set as the attention area R1, and therefore, when cutting out for layout, a part of the object is easily cut off. That is, unnatural cut-out is easily performed.
また、特許文献１は、重要な領域の切り落としを防ぎ、かつレイアウトの多様性を増すための推奨領域R2を設定して適切な切り出し形状範囲を形状乖離度の評価関数に反映し、適切な画像に形状自由度のバッファの役割を持たせることで各画像の形状乖離度を小さくするのが特徴だが、推奨領域R2は手動で設定する必要があった。また、切り出し領域の形状や割合に指定がなく、得られたレイアウトに多様性がないことも多く存在する。さらに、許容範囲の設定は手動でも難しく、保存したい元の画像の形状が保持されないことも多い。 Further, Patent Document 1 sets a recommended region R2 for preventing important regions from being cut off and increasing the variety of layouts, and reflecting an appropriate cut shape range in the evaluation function of the shape divergence degree. The feature is that the shape divergence degree of each image is reduced by providing a buffer of shape flexibility, but the recommended region R2 has to be set manually. In addition, there are many cases where the shape and ratio of the cut-out area are not specified and the obtained layout has no diversity. Furthermore, setting the allowable range is difficult even manually, and the shape of the original image to be saved is often not retained.
このように、特許文献１では、レイアウト中のコマ形状の多様性やレイアウト群の多様性を保ちつつ、不自然な切り出しが行われにくい、常に見た目のよく主観評価の高いレイアウトを得たい要望がある。 As described above, in Patent Document 1, there is a demand for obtaining a layout with a high appearance and a high subjective evaluation that is not easily cut out unnaturally while maintaining a variety of frame shapes and layout groups in a layout. is there.
特許文献２では、切り出し領域や切り出し形状を指定できない。したがって、無理やりレイアウトのコマに画像を当てはめると、重要な領域が切り落とされ易いという技術課題があった。 In Patent Document 2, a cutout region and a cutout shape cannot be specified. Therefore, there is a technical problem that if an image is forcibly applied to a frame having a layout, an important area is easily cut off.
本発明の目的は、上記した従来技術の課題を解決し、コマ割りされたテンプレート上の各コマに、複数の原画像から様々な形状でレイアウト画像を切り出して貼り付ける際に、原画像から重要オブジェクトが切り落とされることなく、レイアウトに多様性があり、かつテンプレート上での主観評価が高くなるようにレイアウト画像を自動的に切り出してレイアウトできる画像レイアウト設定方法および装置を提供することにある。 The object of the present invention is to solve the above-mentioned problems of the prior art, and when the layout image is cut out and pasted in various shapes from a plurality of original images to each frame on the framed template, it is important from the original image An object of the present invention is to provide an image layout setting method and apparatus capable of automatically cutting out and laying out a layout image so that the layout is diverse and the subjective evaluation on the template is high without the object being cut off.
上記の目的を達成するために、本発明は、複数の原画像をコマ割りされたテンプレートの対応する各コマの形状に応じたレイアウト画像に変形させて各コマにレイアウトする画像レイアウト設定装置において、以下のような手段を講じた点に特徴がある。 In order to achieve the above object, the present invention provides an image layout setting device that transforms a plurality of original images into layout images corresponding to the shape of each corresponding frame of a frame-divided template and lays out each frame. It is characterized by the following measures.
(1)レイアウト画像に含ませたい横長画像および縦長画像の少なくとも一方のアスペクト比および割合をレイアウト条件として設定するレイアウト条件設定手段と、原画像ごとにアスペクト比の変更を許容できる許容アスペクト比範囲を探索する許容アスペクト比範囲探索手段と、レイアウト画像のアスペクト比が前記許容アスペクト比範囲から外れるほど低い評価を与える評価関数を設定する評価関数設定手段と、各レイアウト画像を、そのアスペクト比に基づいて前記評価関数により評価し、その総和で画像レイアウトを評価するレイアウト評価手段とを具備した。 (1) Layout condition setting means for setting the aspect ratio and ratio of at least one of the landscape image and portrait image to be included in the layout image as layout conditions, and the allowable aspect ratio range that allows the change of the aspect ratio for each original image Based on the aspect ratio, an allowable aspect ratio range searching means for searching, an evaluation function setting means for setting an evaluation function that gives a lower evaluation as the aspect ratio of the layout image deviates from the allowable aspect ratio range, and each layout image Layout evaluation means for evaluating with the evaluation function and evaluating the image layout with the sum of the evaluation functions.
(2)評価関数は、アスペクト比が許容アスペクト比範囲内のレイアウト画像を一律に高く評価するようにした。 (2) The evaluation function uniformly evaluates layout images whose aspect ratio is within the allowable aspect ratio range.
(3)許容アスペクト比範囲探索手段は、原画像の一部のアスペクト比が特異的であり、他の原画像のアスペクト比と大きく異なっていると、当該一部の原画像の許容アスペクト比範囲を前記特異的なアスペクト比を含む狭い範囲に設定するようにした。 (3) Allowable aspect ratio range search means, when the aspect ratio of a part of the original image is specific and greatly different from the aspect ratio of the other original image, the allowable aspect ratio range of the part of the original image Is set to a narrow range including the specific aspect ratio.
(4)許容アスペクト比範囲探索手段は、原画像ごとにポテンシャルマップを作成する手段と、ポテンシャルを変形させ、当該変形により失われる損失エネルギ量と変形後のアスペクト比との対応関係を求める手段と、損失エネルギ量が所定の基準値を下回るアスペクト比の範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備した。 (4) Permissible aspect ratio range search means includes means for creating a potential map for each original image, means for deforming the potential, and obtaining a correspondence relationship between the loss energy amount lost by the deformation and the aspect ratio after deformation. And means for setting an aspect ratio range in which the loss energy amount is lower than a predetermined reference value as an allowable aspect ratio range of the original image.
(5)許容アスペクト比範囲探索手段は、原画像から重要領域を識別する手段と、原画像において、その重要領域の幅を各画像の左右端まで拡張した横長形状のアスペクト比Amaxを算出する手段と、原画像において、その重要領域の高さを各画像の上下端まで拡張した縦長形状のアスペクト比Aminを算出する手段と、前記アスペクト比AmaxからAminまでの範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備した。 (5) Permissible aspect ratio range searching means includes means for identifying an important area from the original image, and means for calculating an aspect ratio Amax of a horizontally long shape in which the width of the important area is extended to the left and right ends of each image in the original image. And calculating the aspect ratio Amin of the vertically long shape in which the height of the important region is extended to the upper and lower ends of each image in the original image, and the range from the aspect ratio Amax to Amin is the allowable aspect ratio of the original image Means for setting as a range.
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
(1)原画像をレイアウト画像へ変形させる際の許容アスペクト比範囲が設定されるので、原画像のアスペクト比が一律ないしは同等であっても、そのレイアウト画像についてはアスペクト比を縦長から横長まで多様に分散させることができ、また原画像ごとに、変形後のレイアウト画像を評価する評価関数が設定され、画像レイアウトが各レイアウト画像の評価値の総和として評価されるので、主観評価が高く、コマ形状の配置に多様性のある画像レイアウトを自動的に設定できるようになる。 (1) Since the allowable aspect ratio range when transforming an original image into a layout image is set, even if the aspect ratio of the original image is uniform or equivalent, the aspect ratio of the layout image varies from portrait to landscape An evaluation function that evaluates the transformed layout image is set for each original image, and the image layout is evaluated as the sum of the evaluation values of each layout image. It is possible to automatically set a variety of image layouts in shape arrangement.
(2)原画像ごとに、許容できるアスペクト比の変更範囲が許容アスペクト比範囲として設定され、レイアウト画像のアスペクト比が許容アスペクト比範囲内であれば一律に高い評価が与えられるので、画像レイアウトの多様性を拡げることができる。 (2) For each original image, an allowable aspect ratio change range is set as an allowable aspect ratio range, and if the aspect ratio of the layout image is within the allowable aspect ratio range, a uniform high evaluation is given. Diversity can be expanded.
(3)複数の原画像の中に、アスペクト比が他の原画像と大きく異なる特異的な少数の原画像が含まれていると、当該原画像の許容アスペクト比範囲が原画像のアスペクト比を含む狭い範囲に設定されるので、レイアウト画像のアスペクト比に撮影者の意図を反映できるようになる。 (3) When multiple original images contain a small number of specific original images whose aspect ratio is significantly different from other original images, the allowable aspect ratio range of the original images will reduce the aspect ratio of the original images. Since it is set to a narrow range including it, the photographer's intention can be reflected in the aspect ratio of the layout image.
(4)レイアウト画像の評価関数は、変形によるポテンシャルマップの損失エネルギ量が小さいほど評価が高くなるように設定されるので、原画像をレイアウト画像に変形させる際に重要な画像領域が切り落とされてしまう可能性が低くなる。 (4) Since the evaluation function of the layout image is set so that the evaluation becomes higher as the amount of energy loss of the potential map due to deformation is smaller, the important image area is cut off when the original image is transformed into the layout image. Is less likely to end up.
(5)原画像をレイアウト画像に変形させる際に、重要領域がレイアウト画像に残るように変形が行われるので、レイアウト画像から重要な画像領域が切り落とされてしまう可能性が低くなる。 (5) When the original image is transformed into the layout image, the transformation is performed so that the important area remains in the layout image, so that the possibility that the important image area is cut off from the layout image is reduced.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る画像レイアウト設定装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a main part of an image layout setting apparatus according to an embodiment of the present invention. Here, illustration of components unnecessary for the description of the present invention is omitted.
画像入力部１には、デジタルカメラや携帯電話のカメラ機能（携帯カメラ）で撮影された静止画のように、撮影日時や連番のファイル名など、時系列等の順序情報を含む多数の画像から、出力ページのレイアウトテンプレート上に表示できる枚数分（１０枚程度）の静止画像が入力される。なお、画像入力部１に入力される画像は、デジタルカメラで撮影された静止画像に限定されるものではなく、スキャナで読み取られた静止画像や、動画像を構成するフレーム画像（以下、原画像Iiで代表する）であっても良い。また、本発明では順序情報を含まない画像もレイアウト設定の対象とすることが可能であり、その場合、画像Iiおよび後述する各種変数の添え字iは、順序を意味しない単なる識別情報として扱われる。 The image input unit 1 includes a number of images including order information such as time series such as shooting date / time and sequential file names, such as still images shot by a camera function (portable camera) of a digital camera or a mobile phone. Thus, as many still images (about 10) as can be displayed on the layout template of the output page are input. Note that the image input to the image input unit 1 is not limited to a still image captured by a digital camera, but is a still image read by a scanner or a frame image (hereinafter referred to as an original image) constituting a moving image. It may be represented by Ii). In the present invention, an image that does not include order information can also be set as a layout setting target. In this case, the image Ii and subscripts i of various variables described later are treated as simple identification information that does not mean the order. .
レイアウト条件設定部２には、各原画像Iiから注目領域(ROI)を含むレイアウト画像を様々な形状で切り出してレイアウトテンプレートに貼り付けたときに主観評価が高くなるレイアウト条件として、レイアウト画像に占める横長画像の割合R1または枚数N1、縦長画像の割合R2または枚数N2、各横長画像が満足すべきアスペクト比A1（横長アスペクト比）、および各縦長画像が満足すべきアスペクト比A2（縦長アスペクト比）が設定されている。 The layout condition setting unit 2 occupies a layout image as a layout condition that increases subjective evaluation when a layout image including a region of interest (ROI) is cut out from each original image Ii in various shapes and pasted to a layout template. Horizontal image ratio R1 or number N1, vertical image ratio R2 or number N2, aspect ratio A1 (horizontal aspect ratio) that each horizontal image should satisfy, and aspect ratio A2 (vertical aspect ratio) that each vertical image should satisfy Is set.
許容アスペクト比範囲探索部３は、後に詳述するように、各原画像Iiを、可能な限りROIが切り落とされたり、あるいは画像の類似性が損なわれたりしないように変形できるアスペクト比の範囲（以下、許容アスペクト比範囲）を探索する。 As will be described in detail later, the allowable aspect ratio range search unit 3 can transform each original image Ii so that the ROI is not cut off as much as possible or the similarity of the images is not lost ( Hereinafter, the allowable aspect ratio range) is searched.
図２１(a)は、許容アスペクト比範囲の概念を説明するための図であり、原画像Iiを、そのアスペクト比が変化するように様々な変形手法で変形させたとき、オリジナルのアスペクト比Abaseに対して変形後のアスペクト比が大きく異なると、ROIが切り落とされたり、画像の類似性が損なわれたりしてしまう。したがって、原画像をレイアウトテンプレートのコマ形状に合わせてレイアウト画像に変形させる際も、そのアスペクト比は、ROIが切り落とされたり、原画像とそのレイアウト画像との間で類似性が損なわれたりしない範囲内に制限することが望ましい。 FIG. 21 (a) is a diagram for explaining the concept of the allowable aspect ratio range. When the original image Ii is deformed by various deformation methods so that the aspect ratio changes, the original aspect ratio Abase is illustrated. On the other hand, if the aspect ratio after deformation is greatly different, the ROI is cut off or the similarity of images is lost. Therefore, when transforming an original image into a layout image that conforms to the frame shape of the layout template, the aspect ratio is within the range where ROI is not cut off or the similarity between the original image and the layout image is not lost. It is desirable to restrict it to within.
そこで、本発明では各原画像Iiに対して様々な画像変形手法を駆使してアスペクト比変更を伴う画像変形を試みながら、変形後の画像からROIが切り落とされる程度や、画像の類似性が損なわれる程度を、変形手法ごとに定量的に計測し、この計測結果から許容アスペクト比範囲を探索するようにしている。 Therefore, in the present invention, various original image transformation methods are used for each original image Ii, and the degree of ROI being cut off from the deformed image and the similarity of the image are impaired while trying to perform image deformation that involves changing the aspect ratio. The degree of distortion is quantitatively measured for each deformation method, and an allowable aspect ratio range is searched from the measurement result.
本実施形態では、許容アスペクト比範囲探索部３が、第１探索部（形状保護画像抽出部）３ａ、第２探索部３ｂおよび第３探索部３ｃを備え、各原画像Iiに対して、その撮影意図や構図等を考慮しながら様々な変形手法を適用し、前記レイアウト条件を満足できる許容アスペクト比範囲が原画像Iiごとに探索される。 In the present embodiment, the allowable aspect ratio range search unit 3 includes a first search unit (shape protected image extraction unit) 3a, a second search unit 3b, and a third search unit 3c, and for each original image Ii, Various deformation methods are applied in consideration of shooting intention, composition, and the like, and an allowable aspect ratio range that can satisfy the layout condition is searched for each original image Ii.
前記第１探索部３ａは、各原画像Iiの許容アスペクト比範囲を各画像Iiの撮影意図から探索する。すなわち、コマ形状の配置に多様性のあるレイアウトを実現するためには、各原画像Iiに対して許容アスペクト比範囲を広範に設定することが望ましい。しかしながら、例えばデジカメ画像は、その多くが横長画像となるので、その中に少数の縦長画像が含まれていれば、当該縦長画像は撮影者が積極的に縦長を望んだ画像である可能性が極めて高い。同様に、携帯カメラ画像は、その多くが縦長画像となるので、その中に少数の横長画像が含まれていれば、当該横長画像は撮影者が積極的に横長を望んだ画像である可能性が極めて高い。 The first search unit 3a searches for an allowable aspect ratio range of each original image Ii based on the intention of photographing each image Ii. That is, in order to realize a layout having a variety of frame-shaped arrangements, it is desirable to set a wide allowable aspect ratio range for each original image Ii. However, for example, since many digital camera images are horizontally long images, if a small number of vertically long images are included therein, the vertically long image may be an image that the photographer positively desires vertically long. Extremely expensive. Similarly, since many of the portable camera images are vertically long images, if a small number of horizontally long images are included therein, the horizontally long image may be an image that the photographer positively desires horizontally long. Is extremely high.
そして、このような縦長画像（または、横長画像）はレイアウトの際にも縦長（横長）を維持することが望ましく、その許容アスペクト比範囲は縦長（横長）が維持される狭い範囲内に限定すべきである。そこで、前記第１探索部３ａは原画像Iiのアスペクト比Abaseに基づいて、たとえばクラスタリングによりアスペクト比が特異的な原画像Ixを識別し、撮影意図を優先させる観点から、その許容アスペクト比範囲を横長または縦長が維持される比較的狭い範囲に限定する。 Such a vertically long image (or horizontally long image) is desirably maintained vertically (landscape) during layout, and its allowable aspect ratio range is limited to a narrow range in which the portrait (landscape) is maintained. Should. Therefore, the first search unit 3a identifies the original image Ix having a specific aspect ratio by, for example, clustering based on the aspect ratio Abase of the original image Ii, and sets the allowable aspect ratio range from the viewpoint of giving priority to the shooting intention. It is limited to a relatively narrow range in which landscape or portrait is maintained.
前記第２探索部３ｂは、各原画像Iiから不要な画像領域を削除することでアスペクト比を変更できる範囲を許容アスペクト比範囲として探索する。これに対して、前記第３探索部３ｃは、前記第２探索部３ｂだけでは前記レイアウト条件を満足できる許容アスペクト比範囲を探索できないときに、ROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりすることを、ある程度許容してアスペクト比をダイナミックに変更できる範囲を許容アスペクト比範囲として探索する。 The second search unit 3b searches a range in which the aspect ratio can be changed by deleting an unnecessary image area from each original image Ii as an allowable aspect ratio range. On the other hand, when the third search unit 3c cannot search for an allowable aspect ratio range that can satisfy the layout condition only by the second search unit 3b, the ROI is cut off or the similarity of the image is edited. A range in which the aspect ratio can be dynamically changed with some allowance for damage before and after is searched as an allowable aspect ratio range.
評価関数設定部４は、後に詳述するように、原画像Iiをレイアウトテンプレート上の対応するコマ形状のアスペクト比に合わせて変形させたときの当該変形後のレイアウト画像の評価値をアスペクト比の関数として算出する評価関数を画像ごとに設定する。図２１(b)は、前記許容アスペクト比範囲と評価関数との関係を示しており、本実施形態では、前記許容アスペクト比範囲内の変形に対しては高い評価が与えられ、当該範囲から外れるほど評価が低下する。 As will be described in detail later, the evaluation function setting unit 4 determines the evaluation value of the layout image after the deformation when the original image Ii is deformed according to the corresponding aspect ratio of the frame shape on the layout template. An evaluation function calculated as a function is set for each image. FIG. 21 (b) shows the relationship between the allowable aspect ratio range and the evaluation function. In this embodiment, a high evaluation is given to the deformation within the allowable aspect ratio range, and the value falls outside the range. The lower the evaluation.
レイアウト評価部５は、各原画像Iiをレイアウトテンプレートの各コマ形状に合わせて変形させて得られるレイアウト画像の評価値を前記評価関数に基づいてコマごとに求め、その一ページ分の総和に基づいて画像レイアウトを評価する。 The layout evaluation unit 5 obtains an evaluation value of a layout image obtained by deforming each original image Ii according to each frame shape of the layout template for each frame based on the evaluation function, and based on the sum total of one page. To evaluate the image layout.
前記許容アスペクト比探索部３は、前記許容アスペクト比範囲を各探索部３ａ，３ｂ，３ｃに固有の画像変形手法ごとに探索し、前記レイアウト評価部５は、各原画像を対応するコマ形状のアスペクト比に合わせて所定の変形手法で変形させて得られる各レイアウト画像を、当該所定の変形方式に対応した評価関数で評価する。 The allowable aspect ratio search unit 3 searches the allowable aspect ratio range for each image deformation method unique to each search unit 3a, 3b, 3c, and the layout evaluation unit 5 selects each original image in a corresponding frame shape. Each layout image obtained by being deformed by a predetermined deformation method according to the aspect ratio is evaluated by an evaluation function corresponding to the predetermined deformation method.
なお、対数計算は処理負荷が重いため、上式(2)の評価関数の代わりに次式(3)を用いても良い。
Since logarithmic calculation has a heavy processing load, the following equation (3) may be used instead of the evaluation function of the above equation (2).
if Amin_i> Ap_i, Ei(aspect) = (Amin_i-Ap_i)
else if Ap_i>Amax_i, Ei(aspect)=Ap_i-Amin_i
else Ei(aspect)=0…(3)
if Amin_i> Ap_i, Ei (aspect) = (Amin_i-Ap_i)
else if Ap_i> Amax_i, Ei (aspect) = Ap_i-Amin_i
else Ei (aspect) = 0… (3)
また、Eを切り落とした面積の総和で評価しても良い。原画像の面積を揃えてから、切り落とした面積を計算し、それをコマごとに足し、値が大きいほど悪い評価とする。画像に重要度が設定されている場合は、切り落とした面積に重要度を乗じてから、コマごとにその値を足すと良い。 Also, the total area obtained by cutting off E may be evaluated. After aligning the area of the original image, the cut-out area is calculated and added to each frame, and the larger the value, the worse the evaluation. When importance is set for an image, it is preferable to multiply the cut area by the importance and then add the value for each frame.
図２は、本発明の一実施形態の動作を示したメインフローである。ステップＳ１では、前記レイアウト条件設定部２においてレイアウト条件が設定される。本実施形態では、レイアウト画像に含まれるべき横長画像に要求されるアスペクト比(横長アスペクト比A1＞＝１)および縦長画像に要求されるアスペクト比（縦長アスペクト比A2＜１）が設定される。本実施形態ではアスペクト比を（幅W／高さH）で表すものとする。なお、以下の説明では、アスペクト比A1を横長、アスペクト比A2を縦長とするが、A1,A2が離れた値ならば、双方とも横長または縦長のアスペクト比としても良い。 FIG. 2 is a main flow showing the operation of one embodiment of the present invention. In step S1, the layout condition setting unit 2 sets layout conditions. In the present embodiment, an aspect ratio (horizontal aspect ratio A1> = 1) required for a horizontally long image to be included in a layout image and an aspect ratio (vertical aspect ratio A2 <1) required for a vertically long image are set. In this embodiment, the aspect ratio is represented by (width W / height H). In the following description, the aspect ratio A1 is horizontally long and the aspect ratio A2 is vertically long. However, as long as A1 and A2 are separated from each other, both may be horizontally or vertically long aspect ratios.
ステップＳ２では、前記レイアウト条件設定部２において、前記横長アスペクト比A1を満足する横長画像がレイアウト画像に占める割合R1または枚数N1が設定される。ステップＳ３では、前記縦長アスペクト比A2を満足する縦長画像がレイアウト画像に占める割合R2または枚数N2が設定される。このとき、１ページにレイアウトされる原画像Iiが3枚以上であるならば、縦長画像は少なくとも１枚は設定することが望ましい。また、コミック風のレイアウトを望むならば、縦長アスペクト比A2の画像割合を１〜３割、横長アスペクト比A1の画像割合を４割以上に設定することが望ましい。 In step S2, the layout condition setting unit 2 sets the ratio R1 or the number N1 of the horizontal images that satisfy the horizontal aspect ratio A1 in the layout image. In step S3, the ratio R2 or the number N2 of the vertically long image satisfying the vertically long aspect ratio A2 in the layout image is set. At this time, if there are three or more original images Ii laid out on one page, it is desirable to set at least one vertically long image. Also, if a comic style layout is desired, it is desirable to set the image ratio of the vertical aspect ratio A2 to 1-30% and the image ratio of the horizontal aspect ratio A1 to 40% or more.
ステップＳ４では、前記画像入力部１において、複数の画像が今回の原画像Iiとして取り込まれる。ここでは、M枚の原画像Ii(i＝1,2,3…M)が選択されたものとして説明を続ける。ステップＳ５では、今回の原画像Iiが前記レイアウト条件を満足しているか否か、すなわち、横長アスペクト比A1を満足する画像および縦長アスペクト比A2を満足する画像が、それぞれ前記所定の割合R1，R2または枚数N1，N2だけ含まれているか否かが判定される。なお、テンプレートにレイアウト画像を嵌め込み易くするために、前記割合R1，R2または枚数N1，N2にプラスαした値（R1＋αr1，R2＋αr2，N1＋αn1，N2＋αn2）をレイアウト条件としても良い。 In step S4, the image input unit 1 captures a plurality of images as the current original image Ii. Here, the description will be continued assuming that M original images Ii (i = 1, 2, 3... M) are selected. In step S5, whether or not the current original image Ii satisfies the layout condition, that is, an image that satisfies the horizontal aspect ratio A1 and an image that satisfies the vertical aspect ratio A2 are the predetermined ratios R1 and R2, respectively. Alternatively, it is determined whether or not only the numbers N1 and N2 are included. In order to make it easy to fit the layout image into the template, the ratio R1, R2 or the number N1, N2 plus α (R1 + αr1, R2 + αr2, N1 + αn1, N2 + αn2) may be used as the layout condition.
ここで、原画像Iiがデジカメ画像やビデオのフレーム画像であれば、その大部分が横長画像なので、前記縦長アスペクト比A2を満足する画像が不足している可能性が高い。また、原画像が携帯カメラ画像であれば、その大部分が縦長画像なので、前記横長アスペクト比A1を満足する画像が不足している可能性が高い。このように、原画像Iiが前記レイアウト条件を満足していなければステップＳ６以降へ進み、前記許容アスペクト比範囲探索部３において、原画像Iiごとに許容アスペクト比範囲が探索、登録される。 Here, if the original image Ii is a digital camera image or a video frame image, since most of the image is a horizontally long image, there is a high possibility that an image satisfying the vertically long aspect ratio A2 is insufficient. If the original image is a portable camera image, most of the image is a vertically long image, so there is a high possibility that an image satisfying the landscape aspect ratio A1 is insufficient. As described above, if the original image Ii does not satisfy the layout condition, the process proceeds to step S6 and subsequent steps, and the allowable aspect ratio range search unit 3 searches and registers the allowable aspect ratio range for each original image Ii.
図３は、前記許容アスペクト比範囲探索部３による許容アスペクト比範囲の探索方法を示した図である。ここでは、原画像Iiがデジタルカメラで撮影された１０枚の画像I1〜I10であり、そのアスペクト比が同図(a)の通りであって、９枚の横長画像と１枚の縦長画像とで構成されているものとして説明する。 FIG. 3 is a diagram showing a method for searching for an allowable aspect ratio range by the allowable aspect ratio range search unit 3. Here, the original image Ii is 10 images I1 to I10 taken with a digital camera, and the aspect ratio thereof is as shown in FIG. 9 (a), with 9 landscape images and 1 portrait image. The explanation will be made assuming that
ステップＳ６では、前記第１探索部３ａにより、横長または縦長でのレイアウトが積極的に意図された原画像（形状保護画像）Ixが識別され、当該形状保護画像Ixに対して狭い許容アスペクト比範囲が設定される。 In step S6, the first search unit 3a identifies an original image (shape protected image) Ix that is actively intended for a horizontal or vertical layout, and has a narrow allowable aspect ratio range with respect to the shape protected image Ix. Is set.
図４は、前記第１探索部３ａの動作を示したフローチャートであり、ステップＳ２１では、今回の原画像Iiが、そのアスペクト比に基づいてクラスタリングされる。ステップＳ２２では、前記クラスタリングの結果に基づいて、アスペクト比が特異的な原画像が形状保護画像Ixとして識別される。本実施形態では１０枚のうち画像I7の１枚のみが縦長画像、他が横長画像なので、当該画像I7が形状保護画像Ixとして識別される。このような識別は、クラスタの要素数が全体の要素数に対して一定割合以下になることで実現できる。クラスタリング手法としては、たとえばK-meansが考えられ、初期の２つの画像を最も縦長な画像、最も横長画像としても良い。あるいは単純に、縦長アスペクト比を持つ画像，横長アスペクト比を持つ画像でクラスタリングしても良い。 FIG. 4 is a flowchart showing the operation of the first search unit 3a. In step S21, the current original image Ii is clustered based on the aspect ratio. In step S22, an original image having a specific aspect ratio is identified as a shape-protected image Ix based on the result of the clustering. In the present embodiment, since only one of the ten images I7 is a vertically long image and the other is a horizontally long image, the image I7 is identified as the shape protected image Ix. Such identification can be realized when the number of elements in the cluster is equal to or less than a certain percentage of the total number of elements. As a clustering technique, for example, K-means can be considered, and the initial two images may be the most vertically long image and the most horizontally long image. Alternatively, it may be simply clustered with an image having a vertically long aspect ratio and an image having a horizontally long aspect ratio.
ステップＳ２３では、形状保護画像Ixが横長画像および縦長画像のいずれであるのかが判定される。ここでは縦長画像と判定されるのでステップＳ２５へ進む。ステップＳ２５では、図５(a)に一例を示したように、形状保護画像I7の許容アスペクト比範囲が、原画のアスペクト比Abaseから前記縦長アスペクト比A2までの範囲に設定される。なお、形状保護画像I7が横長画像であればステップＳ２４へ進み、図５(b)に示したように、その許容アスペクト比範囲は原画のアスペクト比Abaseから前記横長アスペクト比A1までの範囲に設定される。 In step S23, it is determined whether the shape-protected image Ix is a horizontally long image or a vertically long image. Here, since it is determined to be a vertically long image, the process proceeds to step S25. In step S25, as shown in FIG. 5A, the allowable aspect ratio range of the shape-protected image I7 is set to a range from the aspect ratio Abase of the original image to the portrait aspect ratio A2. If the shape-protected image I7 is a landscape image, the process proceeds to step S24, and as shown in FIG. 5B, the allowable aspect ratio range is set to a range from the aspect ratio Abase of the original image to the landscape aspect ratio A1. Is done.
図２のフローチャートへ戻り、ステップＳ７では、前記許容アスペクト比探索部３の第２探索部３ｂにおいて、前記形状保護画像I7を除く全ての原画像Iiを対象に、そのROIが切り落とされたり、あるいは変形の前後で画像の類似性が損なわれたりしない許容アスペクト比範囲が探索される。本実施形態では、各原画像Iiから重要ではない領域を切り捨てるのみで対応できる許容アスペクト比範囲が探索される。 Returning to the flowchart of FIG. 2, in step S7, the ROI of all the original images Ii excluding the shape-protected image I7 is cut off in the second search unit 3b of the allowable aspect ratio search unit 3 or An allowable aspect ratio range in which the similarity of images is not impaired before and after the deformation is searched. In the present embodiment, an allowable aspect ratio range that can be dealt with by simply discarding an unimportant area from each original image Ii is searched.
次いで、図６のフローチャートを参照して、前記第２探索部３ｂで実行される許容アスペクト比範囲の第２探索方法（その１）を詳細に説明する。 Next, the second search method (part 1) of the allowable aspect ratio range executed by the second search unit 3b will be described in detail with reference to the flowchart of FIG.
ステップＳ４１では、前記形状保護画像I7を除く全ての原画像Iiの中から今回の注目画像Itが一つ選択される。ステップＳ４２では、注目画像ItのポテンシャルマップPtが作成される。図７は、東京タワーを被写体とする画像[同図(a)]およびそのポテンシャルマップPt[同図(b)]の一例を示している。 In step S41, one current attention image It is selected from all original images Ii excluding the shape-protected image I7. In step S42, a potential map Pt of the target image It is created. FIG. 7 shows an example of an image [the figure (a)] and the potential map Pt [the figure (b)] having Tokyo Tower as a subject.
このようなポテンシャルマップPtは、前記非特許文献４に開示されたシームカービング(Seam Carving)法を用いて作成することができ、ラプラシアンフィルタ、ガボールフィルタあるいはソベルフィルタといったエッジ検出用の微分フィルタが代表的である。なお、ポテンシャルマップPtの代わりに、非特許文献６，７に開示されている顕著性マップを用いても良い。 Such a potential map Pt can be created by using the Seam Carving method disclosed in Non-Patent Document 4, and a differential filter for edge detection such as a Laplacian filter, a Gabor filter or a Sobel filter is representative. Is. Note that the saliency map disclosed in Non-Patent Documents 6 and 7 may be used instead of the potential map Pt.
なお、微分フィルタでは周期的な細かいテクスチャのエッジも高いエネルギを持ちやすいが、顕著性マップでは、そのような周期的なテクスチャは高いエネルギを持ちにくいマップを作成可能なため、両者に重みをかけて加算したものをポテンシャルマップとしても良い。その際、全ての画像において、顕著性マップの総エネルギ値で割ったのちで重みをかけて加算を行うと、周期的なテクスチャ等の影響をさらに低くすることができる。ただし、非特許文献６は注目領域外が反転して高エネルギを持つこともあり、逆に大きな誤差が足されて重要領域が削除されやすくなる可能性があるので、安全に切り落としを行える範囲を調べるには微分フィルタだけでも良い。 Note that the edge of fine periodic textures tends to have high energy in the differential filter, but in the saliency map, such periodic textures can create maps that do not have high energy, so both are weighted. It is good also as a potential map what added. At that time, if all the images are divided by the total energy value of the saliency map and then subjected to addition with weighting, the influence of periodic texture or the like can be further reduced. However, in Non-Patent Document 6, there is a possibility that the outside of the attention area is reversed and has high energy, and conversely, a large error may be added and the important area may be easily deleted. In order to investigate, only the differential filter may be used.
ステップＳ４３では、注目画像ItのポテンシャルマップPtを横長方向および縦長方向へ段階的に変形させ、変形後のアスペクト比と当該変形により生じる損失エネルギ量Eとの対応関係が算出、記録される。なお、ポテンシャルマップは画像の総エネルギで予め割っておいても良い。本実施形態では、ポテンシャルマップPtを横長方向へ変形させる際はピクセルが水平方向に一列ずつ削除され、垂直方向へ変形させる際はピクセルが垂直方向に一列ずつ削除される。ピクセルの削除列は、損失エネルギが最小となる列から順次に選択される。また、ピクセルの削除列は直線に限定されず、非特許文献４で提案されているようなシーム(縫い目)であっても良い。 In step S43, the potential map Pt of the image of interest It is deformed stepwise in the horizontal and vertical directions, and the correspondence between the deformed aspect ratio and the loss energy amount E caused by the deformation is calculated and recorded. Note that the potential map may be divided in advance by the total energy of the image. In the present embodiment, when the potential map Pt is deformed in the horizontally long direction, the pixels are deleted one by one in the horizontal direction, and when the potential map Pt is deformed in the vertical direction, the pixels are deleted one by one in the vertical direction. The deleted columns of pixels are sequentially selected from the column with the least loss energy. Further, the pixel deletion row is not limited to a straight line, and may be a seam (seam) as proposed in Non-Patent Document 4.
図７(c)は、同図(b)のポテンシャルマップPtに基づいて算出されたアスペクト比Aと損失エネルギ量Eとの対応関係を示した図であり、横軸は変形後のアスペクト比A、縦軸は損失エネルギ量Eを示している。前記損失エネルギ量Eは、変形前後でのポテンシャルマップの総エネルギの差分、すなわち削除列のエネルギの累積和でも良いが、削除した各列の損失エネルギとすれば、変形によるエネルギの損失量が強く反映されるので、より望ましい。 FIG. 7 (c) is a diagram showing the correspondence between the aspect ratio A calculated based on the potential map Pt in FIG. 7 (b) and the loss energy amount E, and the horizontal axis is the aspect ratio A after deformation. The vertical axis represents the loss energy amount E. The loss energy amount E may be the difference between the total energy of the potential map before and after deformation, that is, the cumulative sum of the energy of the deleted rows, but if the loss energy of each deleted row is used, the amount of energy loss due to deformation is strong. Because it is reflected, it is more desirable.
また、ピクセルの削除列を画像の最上段から下方へ、また最下段から上方へ順次に選択して最終的にz列を削除するのであれば、最上段から削除する列数aと最下段から削除する列数bとの和がzとなる組み合わせのうち、損失エネルギの総和が最小となるa，bの組み合わせをポテンシャルマップPtから総当たりで求めて削除列を決めるようにしても良い。この際、ポテンシャルマップPtのインテグラルイメージを予め作成しておけば計算を高速化できる。 In addition, if the deletion column of pixels is sequentially selected from the top to the bottom of the image and sequentially from the bottom to the top, and the z column is finally deleted, the number of columns to be deleted from the top and the bottom Of the combinations in which the sum of the number of columns to be deleted b is z, the combination of a and b that minimizes the total sum of the loss energy may be obtained from the brute force map Pt to determine the deleted columns. At this time, if an integral image of the potential map Pt is created in advance, the calculation can be speeded up.
あるいは、処理負荷を軽減するために、最上段から下方へ、または最下段から上方へ削除列を選択し、損失エネルギのより少ない方を採用するようにしても良い。この場合も、損失エネルギ量Eは削除列のエネルギの累積和であっても良いし、あるいは削除列のエネルギであっても良い。さらに、削除した列の損失エネルギとして、損失エネルギを削除したピクセル数で割った値を用いても良い。 Alternatively, in order to reduce the processing load, the deletion row may be selected from the top to the bottom or from the bottom to the top, and the one with less loss energy may be employed. In this case as well, the loss energy amount E may be the cumulative sum of the energy in the deletion sequence, or may be the energy in the deletion sequence. Furthermore, a value obtained by dividing the loss energy by the number of deleted pixels may be used as the loss energy of the deleted row.
以上のようにして求まる損失エネルギEは、図７(c)に示したように、被写体が東京タワーのように縦長であると、アスペクト比を縦長方向へ変形させた場合の損失エネルギ量が、横長方向へ変形させた場合の損失エネルギ量よりも小さくなることが判る。例えば、アスペクト比を±０．５だけ変化させたとき、縦長方向へ変形させた場合の損失エネルギ量が「２」程度であるのに対して、横長方向へ変形させた場合の損失エネルギ量は「８」程度であり、４倍近くになっている。 As shown in FIG. 7C, the energy loss E obtained as described above is the amount of energy loss when the aspect ratio is changed in the longitudinal direction when the subject is vertically long like Tokyo Tower. It turns out that it becomes smaller than the amount of energy loss when it is deformed in the landscape direction. For example, when the aspect ratio is changed by ± 0.5, the loss energy amount when deformed in the longitudinal direction is about “2”, whereas the loss energy amount when deformed in the landscape direction is It is about “8”, which is nearly 4 times.
なお、図８に示したように、原画像[同図(a)]の被写体がハーバーブリッジのように横長であると、前記東京タワーの場合と異なり、その損失エネルギ量とアスペクト比Aとの対応関係[同図(c)]は、アスペクト比を横長方向へ変形させた場合の損失エネルギ量が縦長方向へ変形させた場合の損失エネルギ量よりも小さくなることが判る。 In addition, as shown in FIG. 8, when the subject of the original image [FIG. (A)] is horizontally long like a Harbor Bridge, unlike the case of Tokyo Tower, the loss energy amount and the aspect ratio A The correspondence relationship [(c)] shows that the loss energy amount when the aspect ratio is deformed in the horizontally long direction is smaller than the loss energy amount when the aspect ratio is deformed in the vertically long direction.
さらに、図９に示したように、被写体に横長オブジェクトと縦長オブジェクトとが混在している[同図(a)]と、その損失エネルギ量とアスペクト比Aとの対応関係[同図(c)]では、アスペクト比を横長方向へ変形させた場合も縦長方向へ変形させた場合も同等になることが判る。 Further, as shown in FIG. 9, the subject is a mixture of a horizontally long object and a vertically long object [FIG. 9 (a)], and the correspondence between the loss energy amount and the aspect ratio A [FIG. 9 (c)]. ], It can be seen that the aspect ratio is the same when the aspect ratio is changed in the horizontal direction and when the aspect ratio is changed in the vertical direction.
図６へ戻り、ステップＳ４４では、原画像Iiの全てに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ４１へ戻り、注目画像Itを他の原画像Iiに切り替えながら上記の各処理が繰り返される。原画像Iiの全てに関して上記の処理が完了するとステップＳ４５へ進み、各原画像Iiに関して、前記アスペクト比Aと損失エネルギ量Eとの対応関係に基づいて許容アスペクト比範囲が探索される。 Returning to FIG. 6, in step S <b> 44, it is determined whether or not the above processing has been completed for all of the original images Ii. If not completed, the process returns to step S41, and the above processes are repeated while switching the image of interest It to another original image Ii. When the above processing is completed for all the original images Ii, the process proceeds to step S45, and an allowable aspect ratio range is searched for each original image Ii based on the correspondence between the aspect ratio A and the loss energy amount E.
図１０は、前記許容アスペクト比範囲の探索方法の一例を示した図であり、本実施形態では、損失エネルギ量Eの閾値Eref1が、各原画像IiからROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりしない値に予め定義され、原画像Iiを縦長方向および横長方向に変形させたときに損失エネルギ量Eが前記Eref1を越えないアスペクト比Aの上下限値Amax，Aminの範囲が許容アスペクト比範囲とされる。 FIG. 10 is a diagram showing an example of the search method for the allowable aspect ratio range. In the present embodiment, the threshold Eref1 of the loss energy amount E is used to cut off the ROI from each original image Ii or the similarity of images. Is defined in advance so as not to be damaged before and after editing, and when the original image Ii is deformed vertically and horizontally, the loss energy amount E does not exceed Eref1, and the upper and lower limits Amax, Amin of the aspect ratio A Is the allowable aspect ratio range.
ステップＳ４６では、原画像Iiの全ての許容アスペクト比範囲が参照され、許容アスペクト比範囲が前記横長アスペクト比A1または縦長アスペクト比A2を満足する画像が識別されて登録される。 In step S46, all the allowable aspect ratio ranges of the original image Ii are referred to, and an image whose allowable aspect ratio range satisfies the horizontal aspect ratio A1 or the vertical aspect ratio A2 is identified and registered.
図１１は、前記第２探索手法の他の一例（その２）の手順を示したフローチャートであり、ここでは、原画像Iiから左右または上下の端部を所定の幅で順次に切り落として損失エネルギ量の総和を計算し、この総和が所定の上限値内に収まるアスペクト比の範囲が許容アスペクト比範囲とされる。 FIG. 11 is a flowchart showing the procedure of another example (part 2) of the second search method. Here, the left and right or upper and lower ends of the original image Ii are sequentially cut off at a predetermined width, and the energy loss is shown. The sum of the quantities is calculated, and the aspect ratio range in which the sum falls within a predetermined upper limit value is set as the allowable aspect ratio range.
ステップＳ６１では、前記形状保持画像I7を除く全ての原画像Iiの中から今回の注目画像Itが選択される。ステップＳ６２では、図１２(a)，(b)に示したように、注目画像Itの上下端が所定の幅で切り落とされる。ステップＳ６３では、切り落とされた画像領域のエネルギ量が損失エネルギ量Elost1として算出される。ステップＳ６４で、損失エネルギ総量ΣＥlost1に今回の損失エネルギ量Elast1が加算されて損失エネルギ総量ΣＥlost1が更新される。 In step S61, the current attention image It is selected from all original images Ii excluding the shape holding image I7. In step S62, as shown in FIGS. 12A and 12B, the upper and lower ends of the target image It are cut off with a predetermined width. In step S63, the energy amount of the image region that has been cut off is calculated as a loss energy amount Elost1. In step S64, the current loss energy amount Elast1 is added to the total loss energy amount ΣElost1, thereby updating the total loss energy amount ΣElost1.
ステップＳ６５では、注目画像Itが前記横長アスペクト比A1まで変形されたか否かが判定され、初めはA1まで変形されていないと判定されるのでステップＳ６７へ進む。ステップＳ６７では、現在までの損失エネルギ総量ΣＥlost1が上限値Elost_ref1に達しているか否かが判定される。この上限値Elost_ref1も、各原画像IiからROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりしない値に予め定義されている。達していないと判定されればステップＳ６２へ戻り、図１２(c)に示したように、さらに注目画像Itの上下端が所定の幅で切り落とされ、上記の各処理が繰り返される。 In step S65, it is determined whether or not the target image It has been deformed to the landscape aspect ratio A1, and it is initially determined that it has not been deformed to A1, so the process proceeds to step S67. In step S67, it is determined whether or not the total loss energy ΣElost1 up to the present has reached the upper limit value Elost_ref1. This upper limit value Elost_ref1 is also defined in advance as a value that does not cut off the ROI from each original image Ii and does not impair the similarity of images before and after editing. If it is determined that it has not reached, the process returns to step S62, and as shown in FIG. 12C, the upper and lower ends of the image of interest It are further cut off with a predetermined width, and the above-described processes are repeated.
その後、ステップＳ６５において、注目画像Itが横長アスペクト比A1まで変形されたと判定されるとステップＳ６６へ進み、当該横長アスペクト比A1が許容アスペクト比範囲の上限値Amaxとされる。また、横長アスペクト比A1まで変形される前に、前記ステップＳ６７において損失エネルギ総量ΣＥlost1が上限値Elost_refに達したと判定されるとステップＳ６８へ進み、現在のアスペクト比が許容アスペクト比範囲の上限値Amaxとされる。 Thereafter, when it is determined in step S65 that the target image It has been deformed to the horizontal aspect ratio A1, the process proceeds to step S66, where the horizontal aspect ratio A1 is set to the upper limit value Amax of the allowable aspect ratio range. If it is determined in step S67 that the total loss energy ΣElost1 has reached the upper limit value Elost_ref before being transformed to the horizontal aspect ratio A1, the process proceeds to step S68, where the current aspect ratio is the upper limit value of the allowable aspect ratio range. Amax.
ステップＳ６９では、図１２(a)，(d)に示したように、前記ステップＳ６１で選択された今回の注目画像Itの左右端が所定の幅で切り落とされる。ステップＳ７０では、切り落とされた画像領域のエネルギ量が損失エネルギ量Elost2として算出される。ステップＳ７１で、損失エネルギ総量ΣＥlost2に今回の損失エネルギ量Elast2が加算されて損失エネルギ総量ΣＥlost2が更新される。 In step S69, as shown in FIGS. 12A and 12D, the left and right ends of the current attention image It selected in step S61 are cut off with a predetermined width. In step S70, the energy amount of the image area that has been cut off is calculated as a loss energy amount Elost2. In step S71, the current loss energy amount Elast2 is added to the total loss energy amount ΣElost2 to update the total loss energy amount ΣElost2.
ステップＳ７２では、注目画像が縦長アスペクト比A2まで変形されたか否かが判定され、初めは変形されていないと判定されるのでステップＳ７４へ進む。ステップＳ７４では、現在までの損失エネルギ総量ΣＥlost2が上限値Elost_ref2に達しているか否かが判定される。この上限値Elost_ref2も、各原画像IiからROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりしない値に予め定義されている。達していないと判定されればステップＳ６９へ戻り、図１２(e)に示したように、さらに注目画像の左右端が所定の幅で切り落とされ、上記の各処理が繰り替えられる。 In step S72, it is determined whether or not the image of interest has been deformed to the vertically long aspect ratio A2, and since it is initially determined that it has not been deformed, the process proceeds to step S74. In step S74, it is determined whether or not the total loss energy ΣElost2 up to the present has reached the upper limit value Elost_ref2. This upper limit value Elost_ref2 is also defined in advance as a value that does not cause ROI to be cut off from each original image Ii and that similarity of images is not lost before and after editing. If it is determined that it has not reached, the process returns to step S69, and as shown in FIG. 12 (e), the left and right ends of the image of interest are further cut off with a predetermined width, and the above-described processes are repeated.
その後、ステップＳ７２において、注目画像Itが縦長アスペクト比A2まで変形されたと判定されるとステップＳ７３へ進み、当該縦長アスペクト比A2が許容アスペクト比範囲の下限値Aminとされる。また、縦長アスペクト比A2まで変形される前に、前記ステップＳ７４において、損失エネルギ総量ΣＥlost1が上限値Elost_refに達したと判定されるとステップＳ７５へ進み、現在のアスペクト比が許容アスペクト比範囲の下限値Aminとされる。 Thereafter, when it is determined in step S72 that the image of interest It has been deformed to the vertically long aspect ratio A2, the process proceeds to step S73, where the vertically long aspect ratio A2 is set as the lower limit value Amin of the allowable aspect ratio range. If it is determined in step S74 that the total loss energy ΣElost1 has reached the upper limit value Elost_ref before being transformed to the vertical aspect ratio A2, the process proceeds to step S75, where the current aspect ratio is the lower limit of the allowable aspect ratio range. The value is Amin.
ステップＳ７６では、原画像Iiの全てに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ６１へ戻り、注目画像Itを他の原画像Iiに切り替えながら上記の各処理が繰り返される。 In step S76, it is determined whether or not the above processing has been completed for all of the original images Ii. If not completed, the process returns to step S61, and the above processes are repeated while switching the image of interest It to another original image Ii.
図２へ戻り、ステップＳ８では、前記許容アスペクト比範囲が前記レイアウト条件を満足しているか否かが判定される。満足していればステップＳ１０へ進んで評価関数が設定される。これに対して、図３(b)に示したように、前記許容アスペクト比範囲が横長アスペクト比A1を満足する画像数および縦長アスペクト比A2を満足する画像数の少なくとも一方が前記レイアウト条件を満足していなければ、図２のステップＳ９へ進む。 Returning to FIG. 2, in step S8, it is determined whether or not the allowable aspect ratio range satisfies the layout condition. If satisfied, the process proceeds to step S10 and an evaluation function is set. In contrast, as shown in FIG. 3B, at least one of the number of images in which the allowable aspect ratio range satisfies the horizontal aspect ratio A1 and the number of images that satisfies the vertical aspect ratio A2 satisfies the layout condition. If not, the process proceeds to step S9 in FIG.
ステップＳ９では、前記許容アスペクト比探索部３の第３探索部３ｃにおいて、前記形状保護画像I7を含む全ての原画像Iiを対象に、少なくとも一つのダイナミック探索手法が適用されて許容アスペクト比範囲が拡張される。 In step S9, in the third search unit 3c of the allowable aspect ratio search unit 3, at least one dynamic search method is applied to all original images Ii including the shape-protected image I7, and the allowable aspect ratio range is set. Expanded.
上記の第２探索部３ｂでは、各原画像Iiから不要な部分を削除することでアスペクト比を変更する探索手法を採用し、ROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりすることはなかったが、この第３探索部３cでは、ROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりすることを、ある程度許容してアスペクト比をダイナミックに変更するダイナミック探索手法が採用される。以下、４つのダイナミック探索手法について説明するが、各探索手法は単独で用いられても良いし、あるいは複数の探索手法を適宜の優先順位で組み合わせて用いるようにしても良い。 The second search unit 3b employs a search method that changes the aspect ratio by deleting unnecessary portions from each original image Ii, and ROI is cut off or image similarity is lost before and after editing. However, in the third search unit 3c, the dynamic ratio is dynamically changed so that the ROI is cut off or the similarity of the image is lost before and after editing to some extent. A search technique is adopted. Hereinafter, four dynamic search methods will be described, but each search method may be used alone, or a plurality of search methods may be used in combination with an appropriate priority.
図１３は、第１ダイナミック探索手法の手順を示したフローチャートであり、ここでは、許容アスペクト比範囲の上下限値Amax，Aminを決定する前記損失エネルギEの閾値を、前記第２探索部３ｂで設定された閾値Eref1よりも緩い閾値Eref2(Eref1＜Eref2)とすることで各画像の許容アスペクト比範囲が拡張される。 FIG. 13 is a flowchart showing the procedure of the first dynamic search method. Here, the threshold of the loss energy E for determining the upper and lower limits Amax and Amin of the allowable aspect ratio range is set by the second search unit 3b. By setting the threshold value Eref2 (Eref1 <Eref2) that is looser than the set threshold value Eref1, the allowable aspect ratio range of each image is expanded.
ステップＳ１０１では、不足しているアスペクト比に近いアスペクト比の原画像Iiの中から注目画像Itの集合が選抜される。すなわち、横長アスペクト比A1が不足していれば、原画像Iiのうち横長画像のみが選抜され、縦長画像は排除される。ステップＳ１０２では、選抜された画像集合から今回の注目画像Itが選択される。ステップＳ１０３では、損失エネルギ量Eが前記閾値Eref2に達するまで、上記と同様に画像編集が実施されてアスペクト比と損失エネルギ量Eとの関係が求められる。 In step S101, a set of attention images It is selected from the original images Ii having an aspect ratio close to the insufficient aspect ratio. That is, if the landscape aspect ratio A1 is insufficient, only the landscape image is selected from the original image Ii, and the portrait image is excluded. In step S102, the current attention image It is selected from the selected image set. In step S103, image editing is performed in the same manner as described above until the loss energy amount E reaches the threshold value Eref2, and the relationship between the aspect ratio and the loss energy amount E is obtained.
ステップＳ１０４では、損失エネルギ量Eが閾値Eref2となった時点での許容アスペクト比範囲が前記不足しているアスペクト比を満足しているか否かが判定される。満足していればステップＳ１０５へ進み、当該注目画像Itが今回の編集手法と共に登録される。ステップＳ１０６では、前記選抜された画像集合の全てに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１０２へ戻り、注目画像を他の画像に切り替えながら上記の各処理が繰り返される。 In step S104, it is determined whether or not the allowable aspect ratio range at the time when the loss energy amount E reaches the threshold value Eref2 satisfies the insufficient aspect ratio. If satisfied, the process proceeds to step S105, and the target image It is registered together with the current editing method. In step S106, it is determined whether or not the above processing has been completed for all of the selected image sets. If not completed, the process returns to step S102, and the above processes are repeated while switching the image of interest to another image.
図１４は、第３探索部３cによる第２ダイナミック探索手法の手順を示したフローチャートであり、ここでは、原画像Iiから重要オブジェクトが抽出され、この重要オブジェクトが欠けないようにアスペクト比を変更できる範囲が許容アスペクト比範囲とされる。 FIG. 14 is a flowchart showing the procedure of the second dynamic search method by the third search unit 3c. Here, an important object is extracted from the original image Ii, and the aspect ratio can be changed so that the important object is not lost. The range is the allowable aspect ratio range.
ステップＳ１２１では、今回の注目画像Itが選択される。ステップＳ１２２では、図１５(a)，(b)に示したように、注目画像Itの中から重要オブジェクトが抽出される。本実施形態では、顔領域、立姿領域および肌色領域などの人領域、ならびに顕著領域が重要オブジェクトとして抽出される。顕著領域よりも顔領域、立姿領域に関する人の検出の方が信頼性が高いため、信頼性の高い人領域を優先させると良い。半分より上に顔領域が存在する場合には、体や頭の領域を推定して重要オブジェクトを抽出しても良い。 In step S121, the current attention image It is selected. In step S122, as shown in FIGS. 15A and 15B, an important object is extracted from the target image It. In the present embodiment, human regions such as a face region, a standing region, and a skin color region, and a saliency region are extracted as important objects. Since the detection of a person related to the face area and the standing area is more reliable than the saliency area, it is preferable to give priority to a highly reliable person area. When a face area exists above half, an important object may be extracted by estimating a body or head area.
ステップＳ１２３，１２４では、図１５(c)に示したように、重要オブジェクトの矩形枠を左右方向に原画像の左辺および右辺まで拡張した形状Iaのアスペクト比が許容アスペクト比範囲の上限値Amaxとされ、重要オブジェクトの矩形枠を上下方向に原画像の上辺および下辺まで拡張した形状Ibのアスペクト比が許容アスペクト比範囲の下限値Aminとされる。 In steps S123 and S124, as shown in FIG. 15C, the aspect ratio of the shape Ia obtained by extending the rectangular frame of the important object in the horizontal direction to the left and right sides of the original image is the upper limit value Amax of the allowable aspect ratio range. The aspect ratio of the shape Ib obtained by extending the rectangular frame of the important object in the vertical direction to the upper side and the lower side of the original image is set as the lower limit value Amin of the allowable aspect ratio range.
ステップＳ１２５では、前記許容アスペクト比範囲が不足アスペクト比を満足しているか否かが判定される。満足していればステップＳ１２６へ進み、当該注目画像が今回の編集手法と共に登録される。ステップＳ１２７では、全ての画像に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１２１へ戻り、注目画像Itを他の画像に切り替えながら上記の各処理が繰り返される。 In step S125, it is determined whether or not the allowable aspect ratio range satisfies the insufficient aspect ratio. If satisfied, the process proceeds to step S126, and the target image is registered together with the current editing method. In step S127, it is determined whether or not the above processing has been completed for all images. If not completed, the process returns to step S121, and the above-described processes are repeated while the attention image It is switched to another image.
なお、ここでは人領域および顕著領域をいずれも重要オブジェクトとして同等に扱うものとして説明したが、本発明はこれのみに限定されるものではなく、例えば、顕著領域よりも人領域を優先させ、人領域の矩形枠から探索された許容アスペクト比範囲が不足アスペクト比を満足できないときに、改めて顕著領域の矩形枠から許容アスペクト比範囲を探索するようにしても良い。また、人および顕著領域を囲った領域を重要オブジェクトとしても良い。 Although the human area and the saliency area have been described as being treated equally as important objects here, the present invention is not limited to this. For example, the human area is given priority over the saliency area. When the allowable aspect ratio range searched from the rectangular frame of the area cannot satisfy the insufficient aspect ratio, the allowable aspect ratio range may be searched again from the rectangular frame of the remarkable area. An area surrounding a person and a saliency area may be an important object.
図１６は、第３探索部３cによる第３ダイナミック探索手法の手順を示したフローチャートであり、ここでは、三分割法の構図である画像を対象に許容アスペクト比範囲が探索される。 FIG. 16 is a flowchart showing a procedure of the third dynamic search method by the third search unit 3c. Here, an allowable aspect ratio range is searched for an image having a composition of the three-division method.
ステップＳ１４１では、今回の注目画像Itが選択される。ステップＳ１４２では、図１７(a)に示したよう、注目画像Itのポテンシャルマップに基づいて水平境界が検出される。ステップＳ１４３では、図１７(b)に示したように、前記水平境界で区切られた横長領域ごとにエネルギ分布が求められる。ステップＳ１４４では、前記エネルギ分布に基づいて、今回の注目画像Itが三分割法の構図であるか否かが判定される。 In step S141, the current attention image It is selected. In step S142, a horizontal boundary is detected based on the potential map of the target image It as shown in FIG. In step S143, as shown in FIG. 17B, an energy distribution is obtained for each horizontally long region divided by the horizontal boundary. In step S144, based on the energy distribution, it is determined whether or not the current attention image It has a composition of the three-division method.
三分割法の構図であればステップＳ１４５へ進み、図１７(c)に示したように、高さが原画像の高さに等しく、アスペクト比が前記縦長アスペクト比A2である矩形領域が画像の中央部に設定される。なお、図１７(d)に示したように、注目画像Itが重要領域を含んでいるような場合には、前記縦長アスペクト比A2の矩形領域に前記重要領域が含されるように、その設定位置を左右方向へシフトしたり、あるいはアスペクト比を横長方向へ変更したりしても良い。 If the composition is a three-division method, the process proceeds to step S145, and as shown in FIG. 17C, a rectangular area whose height is equal to the height of the original image and whose aspect ratio is the portrait aspect ratio A2 is the image area. Set in the center. As shown in FIG. 17 (d), when the target image It includes an important area, the setting is made so that the important area is included in the rectangular area having the longitudinal aspect ratio A2. The position may be shifted in the left-right direction, or the aspect ratio may be changed in the landscape direction.
ステップＳ１４６では、図１７(e)に示したように、前記A2から原画像のアスペクト比Abaseまでの範囲が許容アスペクト比範囲に設定される。ステップＳ１４７では、全ての画像に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１４１へ戻り、注目画像Itを他の画像に切り替えながら上記の各処理が繰り返される。 In step S146, as shown in FIG. 17E, the range from the A2 to the aspect ratio Abase of the original image is set as the allowable aspect ratio range. In step S147, it is determined whether or not the above processing has been completed for all images. If not completed, the process returns to step S141, and the above processes are repeated while switching the image of interest It to another image.
図１８は、第３探索部３cによる第４ダイナミック探索手法の手順を示したフローチャートであり、ここでは、不足するアスペクト比の矩形枠で各原画像が一様にスキャンされ、損失エネルギ量が最少となるスキャン位置のアスペクト比が許容アスペクト比範囲とされる。 FIG. 18 is a flowchart showing the procedure of the fourth dynamic search method by the third search unit 3c. Here, each original image is uniformly scanned with a rectangular frame having an insufficient aspect ratio, and the amount of energy loss is minimized. The aspect ratio of the scan position becomes the allowable aspect ratio range.
ステップＳ１６１では、不足しているアスペクト比に合わせて矩形枠が設定される。すなわち、横長アスペクト比A1の画像が不足していればアスペクト比A1の矩形枠が設定され、縦長アスペクト比A2の画像が不足していればアスペクト比A2の矩形枠が設定される。 In step S161, a rectangular frame is set according to the insufficient aspect ratio. That is, a rectangular frame having an aspect ratio A1 is set if an image having a horizontal aspect ratio A1 is insufficient, and a rectangular frame having an aspect ratio A2 is set if an image having a vertical aspect ratio A2 is insufficient.
ステップＳ１６２では、今回の注目画像Itが選択される。ステップＳ１６３では、図１９に示したように、今回の注目画像Itが前記矩形枠でスキャンされ、矩形枠以外の画像領域のエネルギ総和が損失エネルギ量として求められる。 In step S162, the current attention image It is selected. In step S163, as shown in FIG. 19, the current attention image It is scanned with the rectangular frame, and the energy sum of the image area other than the rectangular frame is obtained as the loss energy amount.
同図(a)は、不足しているアスペクト比が横長アスペクト比A1であり、注目画像Itがアスペクト比A1の矩形枠で上端から下方へスキャンされる様子を示している。同図(b)は、不足しているアスペクト比が縦長アスペクト比A2であり、注目画像Itがアスペクト比A2の矩形枠で右端から左方へスキャンされる様子を示している。 FIG. 4A shows a state in which the insufficient aspect ratio is the horizontal aspect ratio A1, and the target image It is scanned downward from the upper end with a rectangular frame having the aspect ratio A1. FIG. 4B shows a state in which the insufficient aspect ratio is the vertically long aspect ratio A2, and the target image It is scanned from the right end to the left in a rectangular frame with the aspect ratio A2.
ステップＳ１６４では、前記損失エネルギ量が最少となる矩形枠の位置が識別されて登録される。ステップＳ１６５では、全ての画像に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１６２へ戻り、注目画像を切り替えながら上記の各処理が繰り返される。ステップＳ１６６では、以上のようにして識別された矩形枠の中から、不足するアスペクト比に応じたＮベストが前記損失エネルギ量に基づいて選択される。 In step S164, the position of the rectangular frame that minimizes the amount of energy loss is identified and registered. In step S165, it is determined whether or not the above processing has been completed for all images. If not completed, the process returns to step S162, and the above processes are repeated while switching the target image. In step S166, the N best corresponding to the insufficient aspect ratio is selected from the rectangular frames identified as described above based on the loss energy amount.
図２へ戻り、ステップＳ１０では、前記評価関数設定部４において、原画像Iiごとに前記レイアウト条件を満足できる変形手法でアスペクト比を変更したときの評価値をアスペクト比ごとに算出する評価関数が構築される。図２０(a)は、前記評価関数の一例を示した図であり、本実施形態では、評価が高くなるほど評価値が小さくなる関数が採用され、評価値は、前記許容アスペクト範囲(Amin〜Amax)では「０」となり、この範囲から外れるほど大きくなるように設定される。 Returning to FIG. 2, in step S <b> 10, the evaluation function setting unit 4 calculates an evaluation value for each aspect ratio when the aspect ratio is changed by a deformation method that satisfies the layout conditions for each original image Ii. Built. FIG. 20A is a diagram showing an example of the evaluation function. In this embodiment, a function is adopted in which the evaluation value decreases as the evaluation increases, and the evaluation value is within the allowable aspect range (Amin to Amax). ) Is “0”, and is set so as to increase as the value falls outside this range.
なお、前記第１段探索部３ａで探索された横長の形状保持画像に関しては、図２０(b)に示したように、横長アスペクト比A1からオリジナルのアスペクト比Abaseまでがゼロ（最高値）とされ、Abaseから縦長方向へ変形されるほど評価が低下するように設定される。これに対して、縦長の形状保持画像に関しては、図２０(c)に示したように、縦長アスペクト比A2からオリジナルのアスペクト比Abaseまでがゼロ（最高値）とされ、Abaseから横長方向へ変形されるほど評価が低下するように設定される。 For the horizontally long shape-preserved image searched by the first stage search unit 3a, as shown in FIG. 20 (b), the width from the horizontally long aspect ratio A1 to the original aspect ratio Abase is zero (maximum value). It is set so that the evaluation decreases as it is deformed from Abase in the longitudinal direction. On the other hand, as shown in FIG. 20 (c), a vertically long shape-maintained image is zero (maximum value) from the vertically long aspect ratio A2 to the original aspect ratio Abase, and is deformed from Abase to the horizontally long direction. It is set so that the evaluation is lowered as it is done.
さらに、前記第４ダイナミック探索手法により探索された許容アスペクト比範囲に関しては、図２０(d)に示したように、各矩形枠のアスペクト比A1またはA2のみがゼロ（最高値）となり、当該アスペクト比A1，A2から外れるほど評価が低下するように設定される。 Further, regarding the allowable aspect ratio range searched by the fourth dynamic search method, only the aspect ratio A1 or A2 of each rectangular frame becomes zero (maximum value) as shown in FIG. It is set so that the evaluation decreases as the ratio deviates from the ratios A1 and A2.
図２へ戻り、ステップＳ１１では、前記レイアウト評価部５において、コマ割りの異なる様々なレイアウトテンプレートの各コマに、前記各原画像Iiを所定の規則（例えば、原画像の時系列）またはランダムに割り振り、各原画像Iiのアスペクト比を各コマ形状に合わせて変更したときの評価値が画像ごとに求められ、その一ページ分の総和に基づいて各画像レイアウトが評価される。 Returning to FIG. 2, in step S <b> 11, the layout evaluation unit 5 assigns each original image Ii to each frame of various layout templates having different frame divisions according to a predetermined rule (for example, time series of the original image) or randomly. An evaluation value is obtained for each image when allocation and the aspect ratio of each original image Ii are changed in accordance with each frame shape, and each image layout is evaluated based on the sum total of one page.
１…画像入力部，２…レイアウト条件設定部，３…許容アスペクト比範囲探索部，４…評価関数設定部，５…レイアウト評価部 DESCRIPTION OF SYMBOLS 1 ... Image input part, 2 ... Layout condition setting part, 3 ... Permissible aspect-ratio range search part, 4 ... Evaluation function setting part, 5 ... Layout evaluation part
Claims (14)
レイアウト画像に含ませたい横長画像および縦長画像の少なくとも一方のアスペクト比および割合をレイアウト条件として設定するレイアウト条件設定手段と、
原画像ごとにアスペクト比の変更を許容できる許容アスペクト比範囲を探索する許容アスペクト比範囲探索手段と、
レイアウト画像のアスペクト比が前記許容アスペクト比範囲から外れるほど低い評価を与える評価関数を設定する評価関数設定手段と、
レイアウト画像を、そのアスペクト比に基づいて前記評価関数により評価し、その総和で画像レイアウトを評価するレイアウト評価手段とを具備したことを特徴とする画像レイアウト設定装置。 In an image layout setting device that transforms a plurality of original images into layout images corresponding to the shape of each corresponding frame of a frame-divided template and lays out each frame,
Layout condition setting means for setting an aspect ratio and a ratio of at least one of a landscape image and a portrait image to be included in the layout image as layout conditions;
An allowable aspect ratio range searching means for searching for an allowable aspect ratio range in which change of the aspect ratio is allowed for each original image;
An evaluation function setting means for setting an evaluation function that gives an evaluation as low as the aspect ratio of the layout image is out of the allowable aspect ratio range;
An image layout setting device comprising: a layout evaluation unit that evaluates a layout image by the evaluation function based on an aspect ratio thereof and evaluates an image layout by a sum of the layout functions.
前記レイアウト評価手段は、原画像を各探索手段に固有の変形方式で変形させて得られるレイアウト画像を、当該固有の変形方式に対応した評価関数で評価することを特徴とする請求項１に記載の画像レイアウト設定装置。 The allowable aspect ratio search means includes at least one search means for deforming each original image by a unique deformation method so that the aspect ratio is changed, and searches the allowable aspect ratio range for each deformation method. And
2. The layout evaluation unit evaluates a layout image obtained by deforming an original image by a modification method unique to each search unit, using an evaluation function corresponding to the unique modification method. Image layout setting device.
原画像をレイアウト画像へ変形する過程で失われる損失エネルギ量とアスペクト比との対応関係を求める手段と、
前記損失エネルギ量が所定の基準値を下回るアスペクト比の範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備したことを特徴とする請求項１ないし４のいずれかに記載の画像レイアウト設定装置。 The allowable aspect ratio range search means includes:
Means for determining the correspondence between the amount of loss energy lost in the process of transforming the original image into a layout image and the aspect ratio;
5. The image layout according to claim 1, further comprising means for setting an aspect ratio range in which the loss energy amount is below a predetermined reference value as an allowable aspect ratio range of the original image. Setting device.
原画像から重要領域を識別する手段と、
原画像において、その重要領域の幅を各画像の左右端まで拡張した横長形状のアスペクト比Amaxを算出する手段と、
原画像において、その重要領域の高さを各画像の上下端まで拡張した縦長形状のアスペクト比Aminを算出する手段と、
前記アスペクト比AmaxからAminまでの範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備したことを特徴とする請求項１または２に記載の画像レイアウト設定装置。 The allowable aspect ratio range search means includes:
Means for identifying important regions from the original image;
In the original image, a means for calculating an aspect ratio Amax of a horizontally long shape in which the width of the important region is extended to the left and right ends of each image;
In the original image, means for calculating the aspect ratio Amin of the vertically long shape in which the height of the important region is extended to the upper and lower ends of each image,
3. The image layout setting apparatus according to claim 1, further comprising means for setting a range from the aspect ratio Amax to Amin as an allowable aspect ratio range of the original image.
各原画像が三分割法の構図であるか否かを判定する手段と、
三分割法の構図を有する原画像の中央部に、上辺および下辺が原画像の上辺および下辺の一部である所定の縦長アスペクト比の矩形枠を設定する手段とを具備し、
前記縦長アスペクト比が許容アスペクト比範囲に設定されることを特徴とする請求項１または２に記載の画像レイアウト設定装置。 The allowable aspect ratio range search means includes:
Means for determining whether or not each original image has a composition of a three-division method;
Means for setting a rectangular frame with a predetermined portrait aspect ratio in which the upper side and the lower side are part of the upper side and the lower side of the original image at the center of the original image having the composition of the three-division method,
The image layout setting device according to claim 1, wherein the portrait aspect ratio is set within an allowable aspect ratio range.
レイアウト画像に要求するアスペクト比を指定する手段と、
前記指定されたアスペクト比の矩形枠で原画像をスキャンする手段と、
矩形枠外の画像領域を切り捨てたときに損失エネルギ量が最少となるスキャン位置を検出する手段と、
前記損失エネルギ量が最少となるスキャン位置を記憶する手段とを具備し、
前記指定されたアスペクト比が許容アスペクト比範囲に設定されることを特徴とする請求項１または２に記載の画像レイアウト設定装置。 The allowable aspect ratio range search means includes:
Means for specifying the aspect ratio required for the layout image;
Means for scanning an original image with a rectangular frame having the specified aspect ratio;
Means for detecting a scan position where the amount of energy loss is minimized when the image area outside the rectangular frame is cut off;
Means for storing a scan position at which the amount of energy loss is minimized,
The image layout setting apparatus according to claim 1, wherein the designated aspect ratio is set in an allowable aspect ratio range.
レイアウト画像に含ませたい横長画像および縦長画像の少なくとも一方のアスペクト比および割合をレイアウト条件として設定し、
原画像ごとにアスペクト比の変更を許容できる許容アスペクト比範囲を探索し、
レイアウト画像のアスペクト比が前記許容アスペクト比範囲から外れるほど低い評価を与える評価関数を設定し、
各原画像をコマ割りされたテンプレートの対応する各コマの形状に応じたレイアウト画像に変形させ、
前記レイアウト画像を、そのアスペクト比と前記評価関数とに基づいて評価し、その総和でレイアウトを評価することを特徴とする画像レイアウト設定方法。 In an image layout setting method in which a plurality of original images are transformed into a layout image corresponding to the shape of each corresponding frame of the frame-divided template and laid out in each frame,
Set the aspect ratio and ratio of at least one of the landscape image and portrait image you want to include in the layout image as layout conditions,
Search for an acceptable aspect ratio range that allows the change in aspect ratio for each original image,
Set an evaluation function that gives a low evaluation so that the aspect ratio of the layout image is out of the allowable aspect ratio range,
Each original image is transformed into a layout image corresponding to the shape of each corresponding frame of the framed template,
An image layout setting method characterized in that the layout image is evaluated based on the aspect ratio and the evaluation function, and the layout is evaluated based on the sum.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010155733A JP5614835B2 (en) | 2010-07-08 | 2010-07-08 | Image layout setting method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010155733A JP5614835B2 (en) | 2010-07-08 | 2010-07-08 | Image layout setting method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012019387A true JP2012019387A (en) | 2012-01-26 |
| JP5614835B2 JP5614835B2 (en) | 2014-10-29 |
Family
ID=45604288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010155733A Expired - Fee Related JP5614835B2 (en) | 2010-07-08 | 2010-07-08 | Image layout setting method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5614835B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158001A1 (en) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | Information processing device, information processing method, program, and recording medium |
| CN113762380A (en) * | 2021-09-07 | 2021-12-07 | 成都理工大学 | Part layout optimization method based on self-adaptive grouping |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008072231A (en) * | 2006-09-12 | 2008-03-27 | Sony Corp | Image forming apparatus |
-
2010
- 2010-07-08 JP JP2010155733A patent/JP5614835B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008072231A (en) * | 2006-09-12 | 2008-03-27 | Sony Corp | Image forming apparatus |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158001A1 (en) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | Information processing device, information processing method, program, and recording medium |
| US10531040B2 (en) | 2015-03-30 | 2020-01-07 | Sony Corporation | Information processing device and information processing method to improve image quality on a large screen |
| CN113762380A (en) * | 2021-09-07 | 2021-12-07 | 成都理工大学 | Part layout optimization method based on self-adaptive grouping |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5614835B2 (en) | 2014-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7760956B2 (en) | System and method for producing a page using frames of a video stream | |
| US9299004B2 (en) | Image foreground detection | |
| JP5432714B2 (en) | Composition analysis method, image apparatus having composition analysis function, composition analysis program, and computer-readable recording medium | |
| US9330334B2 (en) | Iterative saliency map estimation | |
| US9626584B2 (en) | Image cropping suggestion using multiple saliency maps | |
| JP4774816B2 (en) | Image processing apparatus, image processing method, and computer program. | |
| US9454712B2 (en) | Saliency map computation | |
| JP6323330B2 (en) | Subject tracking device and camera | |
| JP2001236497A (en) | Method for automatically forming cropped and zoomed deformation of photographic image | |
| US7768529B2 (en) | Method and system for image editing | |
| JP2006338313A (en) | Similar image retrieving method, similar image retrieving system, similar image retrieving program, and recording medium | |
| JP2011176747A (en) | Image processing apparatus and method, and program | |
| CN111612004A (en) | Image clipping method and device based on semantic content | |
| US20170372134A1 (en) | Method and subsystem for identifying document subimages within digital images | |
| KR101744141B1 (en) | Method for reconstructing a photograph by object retargeting and the apparatus thereof | |
| JP5614835B2 (en) | Image layout setting method and apparatus | |
| JP2010147937A (en) | Image processing apparatus | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| JP5385059B2 (en) | Image display method, program, image display apparatus, and imaging apparatus | |
| JP5158974B2 (en) | Attention area extraction method, program, and image evaluation apparatus | |
| Kiess et al. | SeamCrop for image retargeting | |
| JP7370759B2 (en) | Image processing device, image processing method and program | |
| JP2014158071A (en) | Image layout device | |
| JP2011170554A (en) | Object recognition device, object recognition method, and object recognition program | |
| JP2018010359A (en) | Information processor, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140305 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140611 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140905 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5614835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |