JP5073612B2 - Frame layout method and apparatus, and frame layout evaluation apparatus - Google Patents
Frame layout method and apparatus, and frame layout evaluation apparatus Download PDFInfo
- Publication number
- JP5073612B2 JP5073612B2 JP2008210636A JP2008210636A JP5073612B2 JP 5073612 B2 JP5073612 B2 JP 5073612B2 JP 2008210636 A JP2008210636 A JP 2008210636A JP 2008210636 A JP2008210636 A JP 2008210636A JP 5073612 B2 JP5073612 B2 JP 5073612B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- division
- frame division
- shape
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを決定するコマ割り方法および装置に係り、特に、主観品質の高いコマ割りを可能にしたコマ割り方法および装置、ならびに主観品質の評価を可能にしたコマ割り評価装置に関する。 The present invention relates to a frame layout method and apparatus for determining a frame layout in which a plurality of images are arranged in a predetermined order on a predetermined output page in a comic style, and in particular, a frame layout method capable of frame layout with high subjective quality. The present invention also relates to a frame division evaluation apparatus that enables evaluation of subjective quality.
映像情報の要約をサムネイル化する手法の一つとして、画像や映像中のキーフレームの画像を抽出し、その時間順を保持した上でコミックマンガのコマ割りのように矩形領域内に配置してサムネイル表示する手法が注目されている。コミック風コマ割りは、マンガを読める人ならば序数を各コマに振らなくてもコマの順序が判るという利点がある。このコミック風コマ割りを実現するためには、(1)各コマに貼り付ける画像の切り出し範囲の設定、(2)出力ページ（矩形領域）へのコマ割りの設定、の２つの要素について同時に主観品質を最大化することが求められる。 As one of the methods for creating thumbnails of video information summaries, images and key frame images in the video are extracted and stored in a rectangular area like a comic manga frame division after maintaining their time order. A method for displaying thumbnails is drawing attention. Comic-style frame splitting has the advantage that a person who can read manga can understand the sequence of frames without assigning ordinal numbers to each frame. In order to realize this comic-style frame division, (1) the setting of the clipping range of the image to be pasted to each frame, and (2) the frame division setting for the output page (rectangular area) It is required to maximize quality.
非特許文献１には、前記要件(1)に関して、自動生成手法としてVisual Attention Modelingにより各フレーム内の注目領域の重み付けを自動で行い、注目領域が多く含まれるよう画像を切り出す手法が提案されている。 Non-Patent Document 1 proposes a technique for automatically weighting a region of interest in each frame by Visual Attention Modeling as an automatic generation method and cutting out an image so that many regions of interest are included with respect to the requirement (1). Yes.
特許文献１には、前記要件(2)に関して、ページ内の最大のコマ数を示す情報である上限コマ数情報、コマとコマの間の隙間を示す情報である隙間情報、内枠と外枠の余白を示す余白情報等をコマ割条件情報として設定すると、全ての条件を満足するコマ割りを自動的に生成する手法が提案されている。 In Patent Document 1, regarding the requirement (2), upper limit frame number information that is information indicating the maximum number of frames in a page, gap information that is information indicating a gap between frames, inner frames and outer frames There has been proposed a method of automatically generating a frame division satisfying all the conditions when margin information indicating the margin of the image is set as the frame division condition information.
非特許文献２には、裁断線を用いたコマ割り表現手法(ギロチンカット法)を用いることで、実際のマンガをスキャンした画像から様々なコマ割りを自動で分析する手法が提案されている。 Non-Patent Document 2 proposes a method of automatically analyzing various frame divisions from an image obtained by scanning an actual manga by using a frame division representation method (guillotine cut method) using cutting lines.
図２９は、この非特許文献２により得られる分析結果の一例を示した図であり、同図(a)のようにコマ割りされたマンガがスキャンされると、初めにスキャン画像から水平分割線または垂直分割線が探索される。多くの場合、始めに探索されるのは水平分割線である。ここでは、同図(b)に示した２つの水平分割線L1，L2が検知され、各水平分割線L1，L2に基づいて領域が３つのコマa1，a2，a3に分割される。次いで、一つのコマ（ここではa1）に着目して垂直分割線が探索される。ここでは、同図(c)に示したように、垂直分割線L3が検知され、コマa1がさらに２つのコマa11，a12に分割される。次いで、一つのコマ（ここではa12）に着目して水平分割線が探索される。ここでは、同図(d)に示したように、水平分割線L4が検知され、コマa12がさらに２つのコマa121，a122に分割される。以下同様に、分割により新たに得られたコマごとに垂直分割および水平分割が交互に繰り返され、最終的に同図(f)の木構造が分析結果として得られる。 FIG. 29 is a diagram showing an example of the analysis result obtained by Non-Patent Document 2. When a framed manga is scanned as shown in FIG. Or a vertical dividing line is searched. In many cases, the horizontal search line is searched first. Here, the two horizontal dividing lines L1 and L2 shown in FIG. 2B are detected, and the area is divided into three frames a1, a2 and a3 based on the horizontal dividing lines L1 and L2. Next, focusing on one frame (here, a1), a vertical dividing line is searched. Here, as shown in FIG. 5C, the vertical dividing line L3 is detected, and the frame a1 is further divided into two frames a11 and a12. Next, a horizontal dividing line is searched by focusing on one frame (here a12). Here, as shown in FIG. 4D, the horizontal dividing line L4 is detected, and the frame a12 is further divided into two frames a121 and a122. Similarly, vertical division and horizontal division are alternately repeated for each frame newly obtained by division, and finally the tree structure of FIG.
木構造は、水平分割を示すノード「H」、および垂直分割を示すノード「V」から構成され、水平分割ノードHから下方に延びた枝の数は水平に分割されるコマ数を表し、垂直分割ノードVから下方に延びた枝の数は垂直に分割されるコマ数を表す。同図(f)の木構造は、H(V(H(1,2)3)V(4,5,6)7)と表現され、これはルートの水平分割数が「３」、それぞれの枝の垂直分割数が「２」，「３」，「０」であり、２個に垂直分割された枝の一つが更に水平に２分割されていることを示している。また、それぞれの葉がコマの序数に相当し、第１，２，３，４，５，６，７コマ目となっていることを示す。分割線の数は、分割されるコマ数−１となり、それぞれ出力ページのどの位置で分割されたかという情報を持つ。 The tree structure is composed of a node “H” indicating horizontal division and a node “V” indicating vertical division. The number of branches extending downward from the horizontal division node H represents the number of frames divided horizontally, and is vertical. The number of branches extending downward from the divided node V represents the number of frames divided vertically. The tree structure of (f) in the figure is expressed as H (V (H (1,2) 3) V (4,5,6) 7). The number of vertical divisions of the branches is “2”, “3”, and “0”, which indicates that one of the branches vertically divided into two is further divided into two horizontally. In addition, each leaf corresponds to the ordinal number of the top and indicates the first, second, third, fourth, fifth, sixth and seventh top. The number of dividing lines is the number of divided frames minus 1, and each has information indicating at which position on the output page it is divided.
特許文献２には、複数の画像の注目領域を抜き出し、出力ページに注目領域が多く含まれるように配置するコラージュ手法が提案されている。
非特許文献１では、コマ割りは予め用意されたテンプレートの組合せの中から選択しなければならないので、テンプレートを手動で十分に用意できない場合には、各原画像から切り出されるサムネイル画像の形状や重要度と、当該サムネイル画像が貼り付けられるコマの形状やサイズとの関係をコマ割りに反映させることができず、主観品質の高いコマ割りを自動で行うことができない。 In Non-Patent Document 1, frame allocation must be selected from a combination of templates prepared in advance. Therefore, if sufficient templates cannot be prepared manually, the shape of thumbnail images cut out from each original image and important The relationship between the degree and the shape and size of the frame on which the thumbnail image is pasted cannot be reflected in the frame division, and the frame division with high subjective quality cannot be performed automatically.
非特許文献２によれば、様々な既存のコマ割りを定量的に分析できるものの、コマ割りを自動的に行うことはできない。 According to Non-Patent Document 2, although various existing frame divisions can be quantitatively analyzed, frame division cannot be performed automatically.
特許文献１によれば、出力ページを自動的にコマ割りできるものの、各マンガから切り出される画像の形状や重要度が考慮されておらず、これらを各画像が貼り付けられるコマの形状やサイズに反映させることができないので、主観品質の高いコマ割りを自動で行うことができない。 According to Patent Document 1, although the output page can be automatically divided into frames, the shape and importance of the image cut out from each manga are not considered, and these are changed to the shape and size of the frame to which each image is pasted. Since it cannot be reflected, frame division with high subjective quality cannot be performed automatically.
特許文献２によれば、画像から注目領域を自動的に抽出できるものの、所定の順序を保つコマ割りを自動で行うことができない。 According to Patent Literature 2, although a region of interest can be automatically extracted from an image, frame division that maintains a predetermined order cannot be automatically performed.
本発明の目的は、上記した従来技術の課題を解決し、各画像から切り出されるサムネイル画像の形状や重要度と、当該サムネイル画像が貼り付けられるコマの形状やサイズとの関係をコマ割りに反映させることで、主観品質の高いコマ割りを自動で行うことができ、さらには、有意な領域が多く含まれ、非有意な領域が少ない、主観品質の高い様々なコマ割り候補を多数提案できるコマ割り方法および装置を提供することにある The object of the present invention is to solve the above-mentioned problems of the prior art and reflect the relationship between the shape and importance of the thumbnail image cut out from each image and the shape and size of the frame on which the thumbnail image is pasted in the frame division. be to, can be performed with high panel layout of subjective quality automatically, further, contains many significant areas, non-significant area is small, the frame can suggest many high various panel layout candidates of subjective quality To provide a splitting method and apparatus
上記の目的を達成するために、本発明は、複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを評価するコマ割り方法および装置において、以下のような手段を講じた点に特徴がある。 In order to achieve the above object, the present invention provides the following means in a frame layout method and apparatus for evaluating a frame layout in which a plurality of images are arranged in a predetermined order in a predetermined order on a predetermined output page. There is a feature in the point.
(1)コマ割り候補の各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段を具備し、乖離度に基づいてコマ割り候補を評価することを特徴とする。 (1) It is characterized by comprising shape evaluation means for calculating the degree of divergence between the shape of each frame of the frame division candidate and the shape of the image pasted on the frame, and evaluating the frame division candidate based on the degree of divergence. To do.
(2)複数のコマ割り候補を対象に、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段と、乖離度に基づいてコマ割りの解を決定するコマ割り決定手段とを具備したことを特徴とする。 (2) For multiple frame division candidates, shape evaluation means for calculating the degree of divergence between the shape of each frame and the shape of the image pasted on the frame, and determining a frame division solution based on the degree of divergence And a frame division determining means.
(3)コマ割り決定手段は、乖離度の総和が小さい複数のコマ割り候補を選抜する手段と、複数のコマ割り候補を出力する手段と、複数のコマ割り候補の中の一つを選択させるユーザインターフェースとを具備し、選択されたコマ割り候補をコマ割りの解とすることを特徴とする。 (3) The frame division determination means selects a plurality of frame division candidates with a small sum of divergence degrees, a means for outputting a plurality of frame division candidates, and selects one of the plurality of frame division candidates. And a user interface, wherein the selected frame division candidate is used as a frame division solution.
(4)コマ割り候補を生成する手段が、水平方向への領域分割を枝の分岐で代表する水平分割ノード、および垂直方向への領域分割を枝の分岐で代表する垂直分割ノードから構成される木構造を、葉の数が前記コマ数に達するように、分岐させる枝および分岐数を変更しながら繰り返し成長させ、木構造の各葉の位置に基づいてコマ割り候補を生成することを特徴とする。 (4) The means for generating a frame division candidate is composed of a horizontal division node that represents a horizontal area division as a branch branch and a vertical division node that represents a vertical area division as a branch branch. The tree structure is repeatedly grown while changing the branch to be branched and the number of branches so that the number of leaves reaches the number of frames, and a frame division candidate is generated based on the position of each leaf of the tree structure. To do.
(5)コマ割りの解の各コマの形状を、各コマに対応した画像の順序を維持したまま、乖離度の総和が小さくなるように微調整する微調整手段を更に具備したことを特徴とする。 (5) It is further characterized by further comprising fine adjustment means for finely adjusting the shape of each frame of the frame division solution so that the sum of the divergence degrees becomes small while maintaining the order of images corresponding to each frame. To do.
(6)コマ割り決定手段は、乖離度の総和が小さい複数のコマ割り候補を選抜し、微調整手段は、前記複数のコマ割り候補の各コマの形状を微調整し、微調整後に乖離度の総和が最小のコマ割り候補をコマ割りの解に決定することを特徴とする。 (6) The frame division determining means selects a plurality of frame division candidates with a small sum of divergence degrees, and the fine adjustment means finely adjusts the shape of each frame of the plurality of frame division candidates, and the divergence degree after fine adjustment The frame division candidate having the smallest sum of the frames is determined as a frame division solution.
(7)複数の画像に重要度を設定し、コマ割り候補ごとに、各コマの大きさと当該コマに貼り付けられる画像の重要度との乖離度を算出する大きさ評価手段を具備し、コマ割り決定手段は、形状に関する乖離度および大きさに関する乖離度の各総和の和が小さいコマ割り候補をコマ割りの解に決定することを特徴とする。 (7) The importance level is set for a plurality of images, and for each frame allocation candidate, a size evaluation unit is provided for calculating a degree of divergence between the size of each frame and the importance level of the image pasted on the frame. The division determining means is characterized in that a frame division candidate having a small sum of the sum of the divergence degree regarding the shape and the divergence degree regarding the size is determined as a frame division solution.
(8)形状評価および大きさ評価に重みが設定され、コマ割り決定手段は、形状に関する乖離度の総和および大きさに関する乖離度の総和を前記重みに応じた割合で加算することを特徴とする。 (8) A weight is set for the shape evaluation and the size evaluation, and the frame division determination means adds the sum of the divergence degrees regarding the shape and the sum of the divergence degrees regarding the size at a ratio according to the weight. .
(9)各画像に対して、アスペクト比の異なる複数の出力領域を設定する領域設定手段を具備し、形状評価手段は、各コマの形状と各出力領域の形状との乖離度を算出する際、各コマのアスペクト比が複数の出力領域の各アスペクト比の範囲から外れるほど乖離度を大きくすることを特徴とする。 (9) It has an area setting means for setting a plurality of output areas having different aspect ratios for each image, and the shape evaluation means calculates the degree of divergence between the shape of each frame and the shape of each output area. The degree of deviation increases as the aspect ratio of each frame deviates from the range of each aspect ratio of the plurality of output areas.
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
特徴(1)によれば、コマ割り候補が、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて定量的に評価されるので、主観品質に基づく評価が可能になる。 According to feature (1), frame division candidates are quantitatively evaluated based on the degree of divergence between the shape of each frame and the shape of the image pasted on the frame, enabling evaluation based on subjective quality Become.
特徴(2)によれば、各コマ割り候補が、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて定量的に評価されるので、コマ形状と画像形状との乖離が小さく、したがって主観品質の高いコマ割りを選択できるようになる。 According to feature (2), each frame division candidate is quantitatively evaluated based on the degree of divergence between the shape of each frame and the shape of the image pasted on the frame. It is possible to select a frame division with a small discrepancy and thus high subjective quality.
特徴(3)によれば、評価の高いコマ割り候補を準最適解として利用者に提示し、その中からコマ割りの解を決定させるようにしたので、利用者の嗜好や意志が反映されたコマ割りを選べるようになる。 According to feature (3), the highly evaluated frame-slicing candidates are presented to the user as sub-optimal solutions, and the frame-slicing solution is determined from among them, reflecting the user's preference and will You will be able to choose frame division.
特徴(4)によれば、コマ数に応じた多数のコマ割り候補を、小さな処理負荷で漏れなく生成できるようになる。 According to the feature (4), a number of panel layout candidates corresponding to the number of frames, it becomes possible to produce without leakage with a small processing load.
特徴(5)によれば、選択されたコマ割りの各コマ形状を微調整できるので、主観品質を更に向上させることができる。 According to the feature (5), since each frame shape of the selected frame division can be finely adjusted, the subjective quality can be further improved.
特徴(6)によれば、最初に評価の高い複数のコマ割り候補が準最適解として選抜され、これらコマ割り候補のみを対象に微調整を行ってコマ割りを決定するので、主観品質の極めて高いコマ割りを選択できるようになる。また、全てのコマ割り候補を微調整する場合に較べて、少ない負荷で主観品質の高いコマ割りを選択できるようになる。 According to the feature (6), a plurality of highly evaluated frame division candidates are first selected as sub-optimal solutions, and the frame division is determined by performing fine adjustment only on these frame division candidates. You can select a high frame layout. Further, it is possible to select a frame division with a high subjective quality with a small load, compared to a case where all the frame division candidates are finely adjusted.
特徴(7)によれば、コマ割り候補を形状評価および大きさ評価の２つの尺度で総合的に評価できるので、主観品質の極めて高いコマ割りを選択できるようになる。 According to the feature (7), since the frame division candidates can be comprehensively evaluated on the two scales of shape evaluation and size evaluation, it is possible to select a frame division with extremely high subjective quality.
特徴(8)によれば、形状評価の重みと大きさ評価の重みとを調整できるので、目的に見合ったコマ割りを選択できるようになる。 According to the feature (8), since the weight for shape evaluation and the weight for size evaluation can be adjusted, it is possible to select a frame division suitable for the purpose.
特徴(9)によれば、取り得るコマの形状の自由度が増すため、より主観評価の高いコマ割りを生成できるのみならず、取り得るコマ割りパターンが増えるため、見た目の異なる様々なコマ割りを生成できるようになる。 According to the feature (9), since the degree of freedom of the shape of the frame that can be taken increases, not only can the frame division with higher subjective evaluation be generated, but also the frame division pattern that can be taken increases, so various frame divisions with different appearances Can be generated.
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。
[第１実施形態]
Hereinafter, the best embodiment of the present invention will be described in detail with reference to the drawings.
[First embodiment]
図１は、本発明に係るコマ割り方法および装置を適用したコミック風サムネイル生成装置の第１実施形態のブロック図である。画像入力部１には、デジタルカメラで撮影された静止画のように、撮影日時や連番のファイル名など、時系列や順序の情報を含む多数の静止画が入力される。なお、画像入力部１に入力される静止画は、デジタルカメラで撮影された静止画やスキャナで読み取られた静止画に限定されるものではなく、動画像を構成するフレーム画像（以下、画像で代表する）であっても良い。 FIG. 1 is a block diagram of a first embodiment of a comic-style thumbnail generation apparatus to which a frame layout method and apparatus according to the present invention is applied. A number of still images including time series and sequence information such as shooting date / time and sequential file names are input to the image input unit 1 like a still image shot by a digital camera. Note that the still image input to the image input unit 1 is not limited to a still image captured by a digital camera or a still image read by a scanner, but a frame image (hereinafter referred to as an image) constituting a moving image. May be representative).
出力領域設定部２は、画像のサムネイル画像として出力するのに好適な出力領域Rtを各画像に設定する。この出力領域Rtは、画像の中で特に重要と思われる領域であり、例えば人物を含んだスナップ写真であれば、顔を含む領域が出力領域Rtに設定される。このような出力領域Rtの設定は、ユーザインターフェース（図示せず）を介して利用者が手動で行っても良いし、あるいは周知の顔認識アプリケーションを用いて自動で行っても良い。 The output area setting unit 2 sets an output area Rt suitable for output as a thumbnail image of each image for each image. The output area Rt is an area that is considered to be particularly important in the image. For example, in the case of a snapshot including a person, the area including the face is set as the output area Rt. Such setting of the output region Rt may be performed manually by a user via a user interface (not shown) or automatically using a known face recognition application.
なお、注目領域の設定は非特許文献１や特許文献２に開示された技術を適用することで実施できる他、一般的にはVisual Attention Model (Itti, L. Koch, C., and Niebur, E., “A model of saliency based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence no. 11, pp. 1254-1259, Nov., 1998) を用いて注目物体領域を設定し、それが含まれるように矩形の注目領域を設定すればよい。 The attention area can be set by applying the techniques disclosed in Non-Patent Document 1 and Patent Document 2, and in general, Visual Attention Model (Itti, L. Koch, C., and Niebur, E ., “A model of saliency based visual attention for rapid scene analysis.IEEE Trans. On Pattern Analysis and Machine Intelligence no. 11, pp. 1254-1259, Nov., 1998) A rectangular region of interest may be set so that is included.
条件設定部３には、出力ページのサイズSおよびコマ数Nkが設定される。例えば、A4サイズ（縦）の用紙に４枚のサムネイル画像を配置するのであれば、サイズSとして「A4（縦）」、コマ数Nkとして「４」が設定される。コマ割り候補作成部４は、前記設定されたサイズSの出力ページが前記設定されたコマ数Nkに仕切られた多数のコマ割り候補Kcを作成する。 In the condition setting unit 3, the size S of the output page and the number of frames Nk are set. For example, if four thumbnail images are arranged on A4 size (vertical) paper, “A4 (vertical)” is set as the size S and “4” is set as the frame number Nk. The frame division candidate creation unit 4 creates a number of frame division candidates Kc in which the output page of the set size S is divided into the set number of frames Nk.
図２は、コマ割り候補の一例を示した図であり、サイズSおよびコマ数Nk（ここでは、「４」）の条件を満足する多種のコマ割り候補Kcj（j：コマ割り候補識別子）が生成され、各コマ割り候補Kcjの各コマKij（i：画像識別子）には、コミックママンガと同様の順序でコマ数分の序数１〜４が仮想的に割り当てられる。本実施形態では、このようなコマ割り候補の作成に木構造表現を用い、木構造における枝の分岐数、葉の位置および枚数でコマの位置および個数を表すようにしている。 FIG. 2 is a diagram showing an example of a frame division candidate, and various frame division candidates Kcj (j: frame division candidate identifier) satisfying the conditions of size S and number of frames Nk (here, “4”). The ordinal numbers 1 to 4 corresponding to the number of frames are virtually allocated to each frame Kij (i: image identifier) of the generated frame division candidate Kcj in the same order as the comic comics. In this embodiment, tree structure representation is used to create such frame division candidates, and the position and number of frames are represented by the number of branches, the position of leaves, and the number of leaves in the tree structure.
図３，４，５，６は、コマ割り候補Kcと木構造との関係を示した図であり、水平分割ノードHから下方に延びた枝の分岐数は、領域を水平方向に分割する際の分割数を表し、垂直分割ノードVから下方に延びた枝の分岐数は、領域を垂直方向に分割する際の分割数を表している。したがって、コマ数Nkが「２」であれば、図３に示したように、ルートノードとしての水平分割ノードHから２本に分岐する木構造[同図(a)]と、ルートノードとしての垂直分割ノードVから２本に分岐する木構造[同図(b)]とが生成され、各木構造表現に基づいてコマ割り候補が生成される。 3, 4, 5, and 6 are diagrams illustrating the relationship between the frame division candidate Kc and the tree structure. The number of branches branched downward from the horizontal division node H is determined when the region is divided in the horizontal direction. The number of branches of the branch extending downward from the vertical division node V represents the number of divisions when the region is divided in the vertical direction. Therefore, if the number of frames Nk is “2”, as shown in FIG. 3, a tree structure that branches into two from the horizontal split node H as the root node [FIG. A tree structure bifurcated from the vertical split node V [FIG. (B)] is generated, and frame allocation candidates are generated based on each tree structure expression.
同様に、コマ数Nkが「３」であれば、図４に示した６つのコマ割り候補が木構造として生成される。コマ数Nkが「４」であれば、図５，６に示した計２２個のコマ割り候補が木構造として生成される。各木構造の葉には、左側から順に丸数字で示したコマ番号が割り当てられる。なお、水平分割ノードHや垂直分割ノードVから下方に延びる枝の分岐数には上限数Nbを設定することができ、この上限数Nbが設定されている場合には、枝の分岐数が上限数Nbに制限される。 Similarly, if the frame number Nk is “3”, the six frame division candidates shown in FIG. 4 are generated as a tree structure. If the number of frames Nk is “4”, a total of 22 frame allocation candidates shown in FIGS. 5 and 6 are generated as a tree structure. A frame number indicated by a circled number is assigned to the leaves of each tree structure in order from the left side. Note that the upper limit number Nb can be set for the branch number of branches extending downward from the horizontal split node H and the vertical split node V. When the upper limit number Nb is set, the branch number of branches is the upper limit. The number is limited to Nb.
図７は、前記コマ割り候補作成部４による木構造表現を用いたコマ割り候補の作成方法の一例を示したフローチャートであり、図８は、木構造の生成過程を模式的に示した図である。ここでは、コマ数Nkが「４」の場合を例にして説明する。 FIG. 7 is a flowchart showing an example of a frame division candidate creation method using the tree structure representation by the frame division candidate creation unit 4, and FIG. 8 is a diagram schematically showing a generation process of the tree structure. is there. Here, the case where the frame number Nk is “4” will be described as an example.
ステップＳ１００では、今回の出力ページに割り付けるコマ数Nkが取得され、枝の分岐数に関する上限数Nbが設定される。ここでは、上限数Nbが「４」に設定されたものとして説明を続ける。ステップＳ１０１では、水平分割ノードHがルートノードに設定される。ステップＳ１０２では、水平分割ノードHからの分岐数を変更しながら木構造を成長させるための繰り返し変数L1に初期値「２」が設定される。ステップＳ１０３では、図８(a)に示したように、水平分割ノードHからL1本（最初は、２本）の枝が分岐される。ステップＳ１０４では、現在の葉の枚数Nleafとコマ数Nkとが比較され、ここではNleafが「２」なので、不一致と判定されてステップＳ１０６へ進む。 In step S100, the frame number Nk assigned to the current output page is acquired, and the upper limit number Nb related to the branch number of branches is set. Here, the description will be continued assuming that the upper limit number Nb is set to “4”. In step S101, the horizontal division node H is set as the root node. In step S102, an initial value “2” is set to the iteration variable L1 for growing the tree structure while changing the number of branches from the horizontal split node H. In step S103, as shown in FIG. 8A, L1 (two at first) branches are branched from the horizontal split node H. In step S104, the current leaf number Nleaf and the frame number Nk are compared. Here, since Nleaf is “2”, it is determined that there is a mismatch, and the process proceeds to step S106.
ステップＳ１０６では、図８(b)に示したように、水平分割ノードHから分岐した枝に垂直分割ノードVを設定する全てのパターンの一つが実行される。すなわち、水平分割ノードHからの分岐線が２本であれば、いずれか一つに設定するパターンおよび全部に設定するパターンの計３パターンの一つが実行される。また、水平分割ノードHからの分岐線が３本であれば、いずれか一つに設定するパターン、いずれか２つに設定するパターン、および全部に設定するパターンの計７パターンの一つが実行される。 In step S106, as shown in FIG. 8B, one of all patterns for setting the vertical division node V to the branch branched from the horizontal division node H is executed. In other words, if there are two branch lines from the horizontal division node H, one of a total of three patterns, that is, a pattern set to any one and a pattern set to all are executed. Also, if there are three branch lines from the horizontal split node H, one of seven patterns is executed: a pattern set to any one, a pattern set to any two, and a pattern set to all. The
ステップＳ１０７では、垂直分割ノードVからの分岐数を変更しながら木構造を成長させるための繰り返し変数L2に初期値「２」が設定される。ステップＳ１０８では、図８(c)に示したように、前記設定された垂直分割ノードVからL2本（最初は、２本）の枝が分岐される。ステップＳ１０９では、現在の葉の枚数Nleafとコマ数Nkとが比較され、ここではNleafが「３」なので、不一致と判定されてステップＳ１１１へ進む。 In step S107, an initial value “2” is set to the iteration variable L2 for growing the tree structure while changing the number of branches from the vertical partition node V. In step S108, as shown in FIG. 8C, L2 (initially two) branches are branched from the set vertical division node V. In step S109, the current leaf number Nleaf and the frame number Nk are compared. Here, since Nleaf is “3”, it is determined that there is a mismatch and the process proceeds to step S111.
ステップＳ１１１では、図８(d)に示したように、垂直分割ノードVから分岐した枝に水平分割ノードHを設定する全てのパターンの一つが実行される。ステップＳ１１２では、水平分割ノードHからの分岐数を変更しながら木構造を成長させるための繰り返し変数L3に初期値「２」が設定される。ステップＳ１１３では、図８(e)に示したように、前記水平分割ノードHからH3本（最初は、２本）の枝が分岐される。ステップＳ１１４では、現在の葉の枚数Nleafとコマ数Nkとが比較され、ここではNleafが「４」なので、一致すると判定されてステップＳ１２０へ進む。ステップＳ１２０では、今回の木構造[同図(e)]がコマ割り候補Kcの一つとして記憶される。 In step S111, as shown in FIG. 8D, one of all patterns for setting the horizontal division node H to the branch branched from the vertical division node V is executed. In step S112, an initial value “2” is set to the iteration variable L3 for growing the tree structure while changing the number of branches from the horizontal split node H. In step S113, as shown in FIG. 8E, H3 (initially two) branches are branched from the horizontal division node H. In step S114, the current leaf number Nleaf and frame number Nk are compared. Here, since Nleaf is “4”, it is determined that they match, and the process proceeds to step S120. In step S120, the current tree structure [FIG. (E)] is stored as one of the frame division candidates Kc.
ステップＳ１１５では、繰り返し変数L3と分岐数の上限数Nb（＝４）とが比較され、最初はL3が「２」で不一致と判定されるのでステップＳ１１２へ戻り、繰り返し変数L3をインクリメントしながら上記の処理が繰り返される。但し、本実施形態のようにコマ数Nkが「４」であれば、L3が「２」を超えるとステップＳ１１４の判定が全て否定となるので、ここではL3＝２の場合についてのみコマ割り候補が生成されることになる。 In step S115, the repetition variable L3 and the upper limit number Nb (= 4) of the number of branches are compared. At first, since L3 is determined to be “2” and does not match, the process returns to step S112 and increments the repetition variable L3. The process is repeated. However, if the number of frames Nk is “4” as in the present embodiment, the determination in step S114 is all negative when L3 exceeds “2”, so here the frame allocation candidate only when L3 = 2. Will be generated.
前記ステップＳ１１５において、L3＝Nbと判定されるとステップＳ１１６へ進む。ステップＳ１１６では、前記垂直分割ノードVから分岐した枝に垂直分割ノードVを設定する全てのパターンに関して上記の処理が完了したか否かが判定される。ここでは、未処理のパターンが残っているのでステップＳ１１１へ戻り、同図(f)に示したように、もう一方の枝に水平分割ノードHを設定するパターンについて上記の処理が繰り返され、同図(g)に示した木構造がコマ割り候補Kcの一つとして追加登録される。 If it is determined in step S115 that L3 = Nb, the process proceeds to step S116. In step S116, it is determined whether or not the above processing has been completed for all patterns in which the vertical division node V is set to the branch branched from the vertical division node V. Here, since an unprocessed pattern remains, the process returns to step S111, and the above process is repeated for the pattern in which the horizontal split node H is set in the other branch as shown in FIG. The tree structure shown in Fig. (G) is additionally registered as one of the frame allocation candidates Kc.
一方、ステップＳ１１６において、前記垂直分割ノードVから分岐した枝に垂直分割ノードVを設定する全てのパターンに関して処理が完了したと判定されるとステップＳ１１７へ進む。ステップＳ１１７では、繰り返し変数L2がNbに未だ達していないと判定されるのでステップＳ１０７へ戻り、繰り返し変数L2を「３」にインクリメントして上記の処理が繰り返される。すなわち、ステップＳ１０８では、図８(h)に示したように、垂直分割ノードVから３本の枝が分岐される。 On the other hand, if it is determined in step S116 that the processing has been completed for all patterns in which the vertical division node V is set to the branch branched from the vertical division node V, the process proceeds to step S117. In step S117, since it is determined that the repetition variable L2 has not yet reached Nb, the process returns to step S107, the repetition variable L2 is incremented to “3”, and the above processing is repeated. That is, in step S108, three branches are branched from the vertical division node V as shown in FIG.
以下同様に、水平分割ノードHから分岐した枝への垂直分割ノードVの設定パターンや、垂直分割ノードVから分岐した枝への水平分割ノードHの設定パターンを変更しながら各処理を繰り返すことで、前記図５に示した１１個のコマ割り候補が作成される。さらに、前記ステップＳ１０１，Ｓ１１１で設定されるルートノードおよび水平分割ノードHをいずれも垂直分割ノードVに変更し、ステップＳ１０６で設定される垂直分割ノードVを水平分割ノードHに変更して上記の各処理を繰り返すことにより、前記図６に示した１１個のコマ割り候補が作成され、合計で２２個のコマ割り候補が、コマ数Nkが「４」の場合のコマ割り候補Kcとして得られる。 Similarly, by repeating each process while changing the setting pattern of the vertical division node V to the branch branched from the horizontal division node H and the setting pattern of the horizontal division node H to the branch branched from the vertical division node V The eleven frame division candidates shown in FIG. 5 are created. Further, both the root node and the horizontal division node H set in steps S101 and S111 are changed to the vertical division node V, and the vertical division node V set in step S106 is changed to the horizontal division node H to By repeating each process, the 11 frame division candidates shown in FIG. 6 are created, and a total of 22 frame division candidates are obtained as the frame division candidates Kc when the number of frames Nk is “4”. .
なお、前記各木構造表現において各領域を水平方向や垂直方向へ分割する際の分割位置は、領域を等分割する位置であっても良いし、乱数に応じて不規則に分割する位置であっても良い。各領域の分割線の位置は各木構造と対応付けられて管理される。 In each tree structure representation, the division position when dividing each area in the horizontal direction or the vertical direction may be a position where the area is equally divided, or a position where the area is divided irregularly according to a random number. May be. The position of the dividing line in each area is managed in association with each tree structure.
図１へ戻り、評価部５の形状評価部５ａは、コマ割り候補Kcjごとに、各画像Piに設定された出力領域Rtの形状を代表するパラメータおよび対応位置のコマの形状を代表するパラメータを、各形状の乖離を表す適宜の評価関数に適用して画像単位すなわちコマ単位で評価値を算出し、その一ページ分の総和を当該コマ割り候補Kcjの評価値として出力する。コマ割り決定部６は、評価の高いコマ割り候補を今回のコマ割りの解とする。 Returning to FIG. 1, the shape evaluation unit 5a of the evaluation unit 5 sets, for each frame division candidate Kcj, a parameter representative of the shape of the output region Rt set for each image Pi and a parameter representative of the shape of the frame at the corresponding position. Then, an evaluation value is calculated for each image, that is, for each frame by applying it to an appropriate evaluation function that represents the divergence of each shape, and the sum of one page is output as the evaluation value for the frame division candidate Kcj. The frame division determination unit 6 determines a frame division candidate having a high evaluation as a solution for the current frame division.
図９，１０は、前記評価部５およびコマ割り決定部６の動作を模式的に表現した図であり、ここでは、出力ページが４コマに分割され、各コマk1，k2，k3，k4に、画像P1の出力領域Rt1、画像P2の出力領域Rt2、画像P3の出力領域Rt3および画像P4の出力領域Rt4がそれぞれ貼り付けられるものとする。また、出力領域Rt1、Rt4は正方形、出力領域Rt2、Rt3は縦長の長方形であるものとする。 FIGS. 9 and 10 are diagrams schematically showing the operations of the evaluation unit 5 and the frame division determination unit 6. Here, the output page is divided into four frames, and each frame k1, k2, k3, k4 is divided into four frames. Assume that the output region Rt1 of the image P1, the output region Rt2 of the image P2, the output region Rt3 of the image P3, and the output region Rt4 of the image P4 are pasted. The output regions Rt1 and Rt4 are squares, and the output regions Rt2 and Rt3 are vertically long rectangles.
コマ割り候補kc1では、正方形の出力領域Rt1、Rt4に対応したコマk1，k4がいずれも縦長の長方形であり、形状の乖離性が大きいので低い評価しか得られない。同様に、長方形の出力領域Rt2，Rt3に対応したコマk2，k3は正方形であり、ここでも形状の乖離性が大きいので低い評価しか得られない。したがって、ページ全体の評価も低くなる。 In the frame division candidate kc1, the frames k1 and k4 corresponding to the square output regions Rt1 and Rt4 are both vertically long rectangles, and the shape divergence is large, so that only a low evaluation can be obtained. Similarly, the frames k2 and k3 corresponding to the rectangular output regions Rt2 and Rt3 are square, and here, too, since the shape divergence is large, only low evaluation can be obtained. Therefore, the evaluation of the entire page is also lowered.
一方、コマ割り候補kc2では、正方形の出力領域Rt1、Rt4に対応したコマk1，k4のうち、一方のコマk1は正方形なので高い評価が得られるものの他方のコマk4は長方形なので低い評価しか得られない。また、長方形の出力領域Rt2，Rt3に対応したコマk2，k3のうち、一方のコマk3は長方形なので高い評価が得られるものの他方のコマk2は正方形なので低い評価しか得られない。したがって、ページ全体の評価は中程度となる。 On the other hand, in the frame division candidate kc2, among the frames k1 and k4 corresponding to the square output areas Rt1 and Rt4, one frame k1 is a square, so a high evaluation is obtained, but the other frame k4 is a rectangle, so only a low evaluation is obtained. Absent. Of the frames k2 and k3 corresponding to the rectangular output regions Rt2 and Rt3, one frame k3 is rectangular, so high evaluation is obtained, but the other frame k2 is square, so only low evaluation is obtained. Therefore, the overall evaluation of the page is moderate.
これに対して、コマ割り候補kc3では、正方形の出力領域Rt1、Rt4に対応したコマk1，k4がいずれも正方形であり、長方形の出力領域Rt2，Rt3に対応したコマk2，k3は長方形である。したがって、いずれのコマでも形状の乖離性が低くなり、高い評価が得られるので、ページ全体の評価も高くなる。同様の理由で、コマ割り候補kc4についても高い評価が得られる。したがって、図１０の例ではコマ割り候補kc3および／またはkc4がコマ割りの解となる。 On the other hand, in the frame division candidate kc3, the frames k1 and k4 corresponding to the square output areas Rt1 and Rt4 are both square, and the frames k2 and k3 corresponding to the rectangular output areas Rt2 and Rt3 are rectangular. . Therefore, in any frame, the shape divergence is low and high evaluation is obtained, so that the evaluation of the entire page is also high. For the same reason, high evaluation is obtained for the frame division candidate kc4. Accordingly, in the example of FIG. 10, the frame division candidates kc3 and / or kc4 are the frame division solutions.
図１へ戻り、微調整部９は、後に詳述するように、前記コマ割りの解を微調整することで主観的な評価を更に向上させる。画像加工部７は、画像切出部７ａおよび画像拡大縮小部７ｂを含み、画像の出力領域Rtを含む所定範囲を貼り付け先のコマの形状およびサイズに合わせて加工する。 Returning to FIG. 1, the fine adjustment unit 9 further improves the subjective evaluation by finely adjusting the frame division solution, as will be described in detail later. The image processing unit 7 includes an image cutout unit 7a and an image enlargement / reduction unit 7b, and processes a predetermined range including the image output region Rt according to the shape and size of the pasting frame.
前記切出部７ａは、コマ割りの解の各コマの形状に合わせて各画像から前記出力領域Rtを含むサムネイル画像を切り出す。前記画像拡大縮小部７ｂは、各サムネイル画像を貼り付け先のコマサイズに合わせて拡縮する。画像貼付部８は、各サムネイル画像を前記コマ割りの解の対応するコマに貼り付けてコミック風サムネイル画像を完成する。 The cutout unit 7a cuts out a thumbnail image including the output area Rt from each image in accordance with the shape of each frame of the frame division solution. The image enlargement / reduction unit 7b enlarges / reduces each thumbnail image according to the frame size of the paste destination. The image pasting unit 8 pastes each thumbnail image to the corresponding frame of the frame division solution to complete the comic-style thumbnail image.
次いで、本実施形態の動作を、図１１，１２のフローチャートに沿って更に詳細に説明する。ステップＳ１では、出力対象の全ての画像Piが前記画像入部１に取り込まれる。ステップＳ２では、前記出力領域設定部３において、全ての画像に対して出力領域Rtが設定される。本実施形態では、出力領域Rtとして注目領域R1および推奨領域R2が設定される。 Next, the operation of the present embodiment will be described in more detail along the flowcharts of FIGS. In step S1, all the images Pi to be output are taken into the image input unit 1. In step S2, the output area setting unit 3 sets an output area Rt for all images. In the present embodiment, the attention area R1 and the recommended area R2 are set as the output area Rt.
ここで、注目領域R1はコマのサイズや形状にかかわらず必ず表示させたい必須領域である。推奨領域R2は前記注目領域R1と一部が重なる横長、縦長または正方形の領域あり、サムネイル画像に最良と思われる領域である。 Here, the attention area R1 is an indispensable area that should always be displayed regardless of the size and shape of the frame. The recommended area R2 is a horizontally long, vertically long, or square area that partially overlaps the noted area R1, and is an area that seems to be the best for a thumbnail image.
図１３は、注目領域R1および推奨領域R2の設定例を示した図であり、画像Piが結婚式の入場シーンであれば、新郎新婦の顔を含む領域が注目領域R1に設定され、前記注目領域R1および新郎新婦の進行方向を包含する横長の範囲が推奨領域R2に設定される。なお、注目領域R1と推奨領域R2とは一部が重なっていることが望ましいが、推奨領域R2が注目領域R1を完全に包含している必要はない。 FIG. 13 is a diagram showing an example of setting the attention area R1 and the recommended area R2. If the image Pi is a wedding entrance scene, the area including the bride and groom's face is set as the attention area R1, and the attention area R1 is set. A horizontally long range including the traveling direction of the region R1 and the bride and groom is set as the recommended region R2. Note that it is desirable that the attention area R1 and the recommended area R2 partially overlap, but the recommended area R2 does not have to completely include the attention area R1.
また、推奨領域R2は一つに限定されず、注目領域R1を含む他の横長領域R21や縦長領域R22を更に設定すると良い。あるいは、推奨領域R2を設定せずに注目領域R1のみを設定しても良い。注目領域R1のみを設定するのであれば、注目領域R1が出力領域Rtとなる。ただし、推奨領域R2が設定されないと取り得る形状の自由度が低くなって評価の高いコマ割りを生成できなくなる可能性があるので、注目領域R1および推奨領域R2の双方を設定することが望ましい。さらに、複数の推奨領域R2のみを設定し、各推奨領域R2の重畳領域が自動的に注目領域となるようにしても良い。 In addition, the recommended region R2 is not limited to one, and other horizontally long regions R21 and vertically long regions R22 including the region of interest R1 may be further set. Alternatively, only the attention area R1 may be set without setting the recommended area R2. If only the attention area R1 is set, the attention area R1 becomes the output area Rt. However, if the recommended region R2 is not set, there is a possibility that the shape flexibility that can be taken is low and it is impossible to generate a highly evaluated frame division. Therefore, it is desirable to set both the attention region R1 and the recommended region R2. Furthermore, only a plurality of recommended areas R2 may be set so that the overlap area of each recommended area R2 automatically becomes the attention area.
図１１へ戻り、ステップＳ３では、前記条件設定部３において出力ページのサイズSおよびコマ数Nkが設定される。ここでは、サイズSとして「A4（縦）」、コマ数Nkとして「８」が設定されたものとして説明を続ける。ステップＳ４では、前記コマ割り候補作成部４において、「A4」サイズを「８」個のコマに仕切るコマ割りが実行されて多数のコマ割り候補Kcj（j＝1，2…）が生成される。 Returning to FIG. 11, in step S3, the condition setting unit 3 sets the size S of the output page and the number of frames Nk. Here, the description will be continued assuming that “A4 (vertical)” is set as the size S and “8” is set as the frame number Nk. In step S4, the frame division candidate creation unit 4 executes frame division that divides the “A4” size into “8” frames to generate a number of frame division candidates Kcj (j = 1, 2,...). .
ステップＳ５では、全ての画像の中から時系列で最初の一ページ分の８枚が抽出される。ここでは、図１４に示した８枚の画像P1〜P8が抽出されたものとし、各画像には、実線枠で示した注目領域R1および波線枠で示した推奨領域R2が、前記ステップＳ２で設定されているものとして説明を続ける。例えば、第８コマに対応したタワーの画像は必ず縦長に表示したいため、このような画像では、注目領域および推奨領域が共に縦長に設定されており、縦長で表示しても横長で表示しても良い画像では双方が設定される。ステップＳ６では、今回の８枚の画像のサムネイル表示に最適な一つのコマ割りを前記多数のコマ割り候補の中から選択するコマ割り決定処理が実行される。 In step S5, eight images for the first page are extracted from all images in time series. Here, it is assumed that the eight images P1 to P8 shown in FIG. 14 have been extracted. In each image, the attention area R1 indicated by the solid line frame and the recommended area R2 indicated by the wavy line frame are obtained in step S2. The description is continued assuming that it is set. For example, the tower image corresponding to the eighth frame is always displayed in portrait orientation. In such an image, the attention area and the recommended area are both set in portrait orientation, and even if they are displayed in portrait orientation, they are displayed in landscape orientation. Both are set for a good image. In step S6, a frame division determination process is executed to select one frame division that is most suitable for the thumbnail display of the current eight images from the large number of frame division candidates.
図１２は、このコマ割り決定処理の手順を示したフローチャートであり、ステップＳ３１では、コマ割り候補Kcの一つKcjが今回の注目コマ割り候補として選択される。ステップＳ３２では、時系列で一つの画像Piが今回の注目画像として選択される。ステップＳ３３では、注目画像の注目領域R1の形状を代表するパラメータ、推奨領域R2の形状を代表するパラメータ、および注目コマ割り候補の対応位置のコマ形状を代表するパラメータが評価関数に適用され、各領域R1，R2の形状とコマ形状との乖離に応じた評価値が出力される。 FIG. 12 is a flowchart showing the procedure of the frame division determination process. In step S31, one of the frame division candidates Kc Kcj is selected as the current frame division candidate. In step S32, one image Pi in time series is selected as the current attention image. In step S33, a parameter representing the shape of the attention area R1 of the attention image, a parameter representing the shape of the recommended area R2, and a parameter representing the frame shape of the corresponding position of the attention frame dividing candidate are applied to the evaluation function. An evaluation value corresponding to the difference between the shape of the regions R1 and R2 and the frame shape is output.
本実施形態では、注目領域R1の形状、推奨領域R2の形状、およびコマの形状を代表するパラメータとしてアスペクト比A[幅(W)／高さ(H)]を採用している。そして、画像Piの注目領域R1のアスペクト比Api_r1および推奨領域R2のアスペクト比Api_r2（複数の場合もあり得る）のうち、最も小さいアスペクト比min（Api_r1，Api_r2）をアスペクト下限値APi_min、最も大きいアスペクト比max（Api_r1，Api_r2）をアスペクト上限値APi_maxとしている。このとき、画像Piに対応したコマKiのアスペクト比AkiがAPi_min≦Aki≦APi_maxであれば、図１５に示したように、注目領域R1に対して推奨領域R2が横長（[同図(a)]）であっても縦長（[同図(b)]）であっても、図１６に示したように、コマKiに注目領域R1および推奨領域R2のみを表示させることができる。 In the present embodiment, the aspect ratio A [width (W) / height (H)] is employed as a parameter representative of the shape of the attention area R1, the shape of the recommended area R2, and the shape of the frame. Then, among the aspect ratio Api_r1 of the attention area R1 of the image Pi and the aspect ratio Api_r2 (which may be plural) of the recommended area R2, the smallest aspect ratio min (Api_r1, Api_r2) is the aspect lower limit value APi_min, and the largest aspect The ratio max (Api_r1, Api_r2) is the aspect upper limit value APi_max. At this time, if the aspect ratio Aki of the frame Ki corresponding to the image Pi is APi_min ≦ Aki ≦ APi_max, as shown in FIG. 15, the recommended region R2 is horizontally long ([(a) in FIG. ]) Or vertically long ([(b)] in the figure), as shown in FIG. 16, only the attention area R1 and the recommended area R2 can be displayed on the frame Ki.
これに対して、Aki＜APi_minまたはAPi_max＜Akiであると、図１７に示したように、コマKiに注目領域R1の全体を表示させようとすれば、コマKiに注目領域R1および推奨領域R2のみならず、不所望の領域R3も表示されてしまうことになる。 On the other hand, if Aki <APi_min or APi_max <Aki, as shown in FIG. 17, if the entire attention area R1 is displayed on the frame Ki, the attention area R1 and the recommended area R2 are displayed on the frame Ki. In addition, an undesired region R3 is also displayed.
そこで、本実施形態では形状（アスペクト比）の乖離を表す評価関数として次式(1)を採用し、コマKiのアスペクト比AkiがAPi_min≦Aki≦APi_maxの範囲から外れると、その乖離度に応じて誤差Eij(aspect)が評価値として出力されるようにしている。
Therefore, in this embodiment, the following expression (1) is adopted as an evaluation function representing the deviation of the shape (aspect ratio), and if the aspect ratio Aki of the frame Ki is out of the range of APi_min ≦ Aki ≦ APi_max, the degree of deviation is determined. Thus, the error Eij (aspect) is output as an evaluation value.
Eij(aspect)＝max(APi_min−Aki，Aki−APi_max，0) …(1)
Eij (aspect) = max (APi_min−Aki, Aki−APi_max, 0) (1)
なお、各画像Piに設定する注目領域R1および推奨領域R2を重要視するか否かに応じて重み値Maiを設定するのであれば、上式(1)を次式(2)のように変形しても良い。
If the weight value Mai is set according to whether or not the attention area R1 and the recommended area R2 set for each image Pi are important, the above expression (1) is transformed into the following expression (2): You may do it.
Eij(aspect)＝Mai・max(APi_min−Aki，Aki−APi_max，0) …(2)
Eij (aspect) = Mai · max (APi_min−Aki, Aki−APi_max, 0) (2)
図１２へ戻り、ステップＳ３４では、前記コマKiの評価値Eij(aspect)が一時記憶される。ステップＳ３５では、今回の注目コマ割り候補の全てのコマKiおよび画像Piのペアに関して評価値Eij(aspect)の算出が完了したか否かが判定され、完了するまではステップＳ３２へ戻り、注目画像および注目コマのペアを切り換えながら上記の処理が繰り返される。その後、今回の注目コマ割り候補の全てのコマKiおよび画像Piのペアに関して評価値の算出が完了するとステップＳ３６へ進み、一ページ分の評価値の総和ΣEij(aspect)が今回の注目コマ割り候補の評価値とされる。 Returning to FIG. 12, in step S34, the evaluation value Eij (aspect) of the frame Ki is temporarily stored. In step S35, it is determined whether or not the calculation of the evaluation value Eij (aspect) has been completed for all pairs of the current frame division candidate Ki and the image Pi, and the process returns to step S32 until completion, and the attention image is displayed. The above process is repeated while switching the pair of frames of interest. Thereafter, when the calculation of the evaluation values for all the frames Ki and the image Pi of the current frame allocation candidate is completed, the process proceeds to step S36, and the sum ΣEij (aspect) of the evaluation values for one page is calculated as the current frame allocation candidate. The evaluation value.
ステップＳ３７では、全てのコマ割り候補に関して評価値の算出が完了したが否かが判定され、完了するまではステップＳ３１へ戻り、注目コマ割り候補を切り換えながら上記の処理が繰り返される。その後、全てのコマ割り候補に関して評価値の算出が完了するとステップＳ３８へ進み、評価の最も高いコマ割り候補（本実施形態では、評価値ΣEij(aspect)が最小のコマ割り候補）が、今回の８枚の画像Pt1〜Pt8のサムネイル表示に最適なコマ割りの解とされる。ステップＳ３９では、前記微調整部９において、前記コマ割りの解の各コマに対して、表示の時系列や順序を壊さずに、評価の低い順に形状の微調整が行われる。 In step S37, it is determined whether or not the evaluation value calculation has been completed for all the frame division candidates. Until the completion, the process returns to step S31, and the above processing is repeated while switching the frame division candidates of interest. Thereafter, when the calculation of the evaluation values for all the frame allocation candidates is completed, the process proceeds to step S38, and the frame allocation candidate with the highest evaluation (in this embodiment, the frame allocation candidate with the smallest evaluation value ΣEij (aspect)) is This is the optimal frame division solution for the thumbnail display of the eight images Pt1 to Pt8. In step S39, the fine adjustment unit 9 performs fine adjustment of the shapes of the frames divided solution in ascending order of evaluation without breaking the display time series and order.
図１８は、前記微調整の概念を模式的に表現した図であり、微調整前の画像(a)では、前記図１４に示した各画像Piの領域R1，R2の形状と各コマ形状とを比較すれば明らかなように、特に第３，８コマの形状と領域R1，R2との形状が異なるために、各コマ内の上下または左右部分に黒色で示した無画像帯（空白の領域）が発生し、これらが評価を低下させる一因となっている。この第３，８コマに対して微調整が実行されると、同図(b)に示したように、各コマの形状と領域R1，R2の形状との乖離が小さくなるように各コマの分割線が上下または左右方向へ移動される。 FIG. 18 is a diagram schematically representing the concept of the fine adjustment. In the image (a) before the fine adjustment, the shapes of the regions R1 and R2 and the frame shapes of the images Pi shown in FIG. As apparent from the comparison, the shape of the third and eighth frames is different from the shape of the regions R1 and R2, so that no image bands (blank regions) shown in black on the top and bottom or left and right parts in each frame. ), Which contributes to a decline in evaluation. When fine adjustment is executed for the third and eighth frames, as shown in FIG. 5B, the difference between the shape of each frame and the shape of the regions R1 and R2 is reduced. The dividing line is moved vertically or horizontally.
すなわち、前記第３コマでは幅が拡大するように横分割線が右方向に移動され、その右側に隣接する第１，２コマでは、前記拡大分だけ幅が縮小する。前記第８コマでは幅が縮小するように横分割線が左方向に移動され、その右側に隣接する第７コマでは、前記縮小分だけ幅が拡大する。さらに、第４，５コマを仕切る横分割線が右方向に移動され、これにより第５コマの幅が拡大し、第４コマの幅が縮小する。 That is, the horizontal dividing line is moved in the right direction so that the width is increased in the third frame, and the width is reduced in the first and second frames adjacent to the right side by the enlarged amount. In the eighth frame, the horizontal dividing line is moved in the left direction so that the width is reduced, and in the seventh frame adjacent to the right side, the width is increased by the reduced amount. Further, the horizontal dividing line that divides the fourth and fifth frames is moved in the right direction, whereby the width of the fifth frame is increased and the width of the fourth frame is reduced.
この微調整により、各画像の形状とコマ形状との乖離が減少して定量的な評価が向上するのみならず、本実施形態ではさらに、第１，２コマと第３コマとを仕切る横分割線と、第４コマと第５コマとを仕切る横分割線とが、微調整前(a)は一直線であったが微調整後(b)はずれるので、定量的な評価値には現れない構図上のおもしろさも向上する。 This fine adjustment not only improves the quantitative evaluation by reducing the difference between the shape of each image and the frame shape, but also in this embodiment, the horizontal division that divides the first and second frames from the third frame. The line and the horizontal dividing line that divides the 4th frame and the 5th frame were straight before fine adjustment (a) but shifted after fine adjustment (b), so the composition does not appear in the quantitative evaluation value. The top fun is also improved.
このような微調整処理は、例えば各コマの各辺の長さを元の各辺の長さの±1/4 の範囲内で上下および左右方向へ動かすことを許容した上で、上式(1)の誤差が大きなコマから順に全てのコマの大きさを調整して同式の誤差値を減少させ、最終的に一ページ分の評価値ΣEij(aspect)が最小となったコマ割りを微調整後のコマ割りとすることで実現できる。なお、コマ形状を微調整した後の評価値は、当該微調整により形状が変化したコマに関してのみ実施すれば良い。すなわち、図１８に示した第１，２コマと第３コマとの分割線の位置が調整された場合には、第１，２，３コマに関してのみ評価値を算出し直せば十分である。 Such fine adjustment processing, for example, allows the length of each side of each frame to be moved up and down and left and right within a range of ± 1/4 of the length of each original side. Adjust the size of all frames in order from the frame with the largest error in 1) to reduce the error value of the same equation, and finally fine the frame division where the evaluation value ΣEij (aspect) for one page is minimized. This can be achieved by adjusting the frame division after adjustment. Note that the evaluation value after finely adjusting the frame shape may be implemented only for frames whose shape has been changed by the fine adjustment. That is, when the positions of the dividing lines of the first, second, and third frames shown in FIG. 18 are adjusted, it is sufficient to recalculate the evaluation values for only the first, second, and third frames.
図１１のフローチャートへ戻り、ステップＳ７では、前記切出部７ａにおいて、前記コマ割りの解の各コマの形状に合わせて、各画像Piからサムネイル画像が切り出される。ステップＳ８では、前記拡縮部７ｂにおいて、前記切り出されたサムネイル画像が貼り付け先のコマの大きさに合わせて拡縮される。本実施形態では、コマの形状が注目領域R1の形状より横長である場合、注目領域R1の高さを変化させずに幅を変化させることでコマの形状に相似させ、切り抜けば良い。コマの形状が縦長の場合も同様に、R1の幅を変化させずに高さを変化させることでコマの形状に相似させ、切り抜けば良い。ステップＳ９では、前記画像貼付部８において、拡縮された各サムネイル画像が前記コマ割りの解に対応するコマに貼り付けられて一ページ分の処理が完了する。 Returning to the flowchart of FIG. 11, in step S7, the cutout unit 7a cuts out thumbnail images from the images Pi in accordance with the shape of each frame of the frame division solution. In step S8, in the enlargement / reduction section 7b, the clipped thumbnail image is enlarged / reduced in accordance with the size of the pasted frame. In the present embodiment, when the shape of the frame is longer than the shape of the attention area R1, the width may be changed without changing the height of the attention area R1, and the shape may be cut off. Similarly, when the shape of the frame is vertically long, it can be similar to the shape of the frame by changing the height without changing the width of R1. In step S9, each of the scaled thumbnail images is pasted on the frame corresponding to the frame division solution in the image pasting unit 8, and the processing for one page is completed.
ステップＳ１０では、全ての画像について貼り付けが完了したか否かが判定される。完了していなければステップＳ１１へ進み、出力ページのサイズSおよびコマ数Nkを変更するか否かが判定される。変更するのであればステップＳ３へ戻り、サイズSおよびコマ数Nkを再設定したのちに上記の処理が繰り返される。変更しないのであればステップＳ５へ戻り、次の８枚の画像を対象に上記の処理が繰り返される。 In step S10, it is determined whether or not pasting has been completed for all images. If not completed, the process advances to step S11 to determine whether or not to change the output page size S and the frame number Nk. If it is to be changed, the process returns to step S3, and after resetting the size S and the number of frames Nk, the above processing is repeated. If not changed, the process returns to step S5, and the above processing is repeated for the next eight images.
図１９は、以上の手順を経て完成したコミック風サムネイル表示の一例を示した図であり、前記図１４に示した各領域R1，R2の設定内容と比較すれば明らかなように、全てのサムネイル画像において画像の注目領域R1が表示され、かつ注目領域R1のアスペクト比と推奨領域R2のアスペクト比との間の分散範囲内に各コマ形状のアスペクト比が入っていることが判る。 FIG. 19 is a diagram showing an example of a comic-style thumbnail display completed through the above-described procedure. As is clear from comparison with the setting contents of the areas R1 and R2 shown in FIG. 14, all thumbnails are displayed. It can be seen that the attention area R1 of the image is displayed in the image, and the aspect ratio of each frame shape is within the dispersion range between the aspect ratio of the attention area R1 and the aspect ratio of the recommended area R2.
これに対して、図２０は評価の低いコマ割り候補を採用して実験的に作成したサムネイル画像の一例を示した図であり、全てのサムネイル画像において注目領域R1は表示されているものの、特に第４，８コマで推奨領域R2の形状とコマ形状との乖離が大きいことが判る。
[第２実施形態]
On the other hand, FIG. 20 is a diagram showing an example of a thumbnail image experimentally created by adopting a frame evaluation candidate with a low evaluation. Although the attention area R1 is displayed in all thumbnail images, It can be seen that the difference between the shape of the recommended region R2 and the frame shape is large in the fourth and eighth frames.
[Second Embodiment]
次いで、本発明の第２実施形態について説明する。上記の第１実施形態では、多数のコマ割り候補Kcの中から評価の最も高い唯一のコマ割りを最適解として予め選抜し、このコマ割りのみを対象に微調整が行われるものとして説明したが、本実施形態では、多数のコマ割り候補Kcの中から評価が上位の複数個（例えば、１００個程度）のコマ割り候補を準最適解として選抜し、これらのコマ割り候補を対象に微調整を行い、微調整後に最も評価の高いコマ割り候補を最終的なコマ割りの解として採用するようにしている。 Next, a second embodiment of the present invention will be described. In the first embodiment described above, it has been described that the only frame allocation having the highest evaluation is selected in advance as an optimal solution from a large number of frame allocation candidates Kc, and fine adjustment is performed only for this frame allocation. In the present embodiment, a plurality (for example, about 100) of top frame candidate candidates (for example, about 100) are selected as a sub-optimal solution from a large number of top frame candidates Kc, and fine adjustment is performed for these frame division candidates. The frame evaluation candidate with the highest evaluation after fine adjustment is adopted as the final frame division solution.
図２１は、本実施形態における「コマ割り決定処理」の動作を示したフローチャートであり、前記図１２と同一の符号を付したステップでは同一または同等の処理が実行されるので、その説明は省略する。 FIG. 21 is a flowchart showing the operation of “frame division determination processing” in the present embodiment, and the same or equivalent processing is executed in steps denoted by the same reference numerals as those in FIG. To do.
ステップＳ３７において、全てのコマ割り候補の評価が完了したと判定されるとステップＳ３８へ進み、評価が高い上位Nu個のコマ割り候補が準最適解として抽出される。ステップＳ３９では、これらNu個のコマ割り候補を対象に前記第１実施形態と同様にコマ形状の微調整が実行され、微調整後の全てのコマ割り候補が再評価される。ステップＳ４０では、微調整後の評価が最も高い唯一のコマ割り候補が今回のコマ割りの解とされる。 If it is determined in step S37 that the evaluation of all the frame division candidates has been completed, the process proceeds to step S38, and the top Nu frame division candidates with high evaluation are extracted as semi-optimal solutions. In step S39, fine adjustment of the frame shape is executed for these Nu frame division candidates as in the first embodiment, and all the frame division candidates after fine adjustment are re-evaluated. In step S40, the only frame allocation candidate with the highest evaluation after fine adjustment is determined as the solution for the current frame allocation.
本実施形態によれば、評価の高い複数の準最適解のコマ割り候補を対象に微調整が実行され、微調整後の評価が最も高い唯一のコマ割り候補がコマ割りの解とされるので、より評価の高いコマ割りを採用できるようになる。また、全てのコマ割り候補を微調整する場合に較べて、少ない負荷で主観品質の高いコマ割りを選択できるようになる。
[第３実施形態]
According to the present embodiment, fine adjustment is performed on a plurality of highly optimal sub-optimal frame allocation candidates, and the only frame allocation candidate with the highest evaluation after fine adjustment is a frame allocation solution. , You will be able to adopt more highly divided frame. Further, it is possible to select a frame division with a high subjective quality with a small load, compared to a case where all the frame division candidates are finely adjusted.
[Third embodiment]
次いで、本発明の第３実施形態について説明する。図２２は、本発明の第３実施形態のブロック図であり、前記と同一の符号は同一または同等部分を表している。 Next, a third embodiment of the present invention will be described. FIG. 22 is a block diagram of a third embodiment of the present invention, where the same reference numerals as those described above represent the same or equivalent parts.
上記の第１，２実施形態では、画像の出力領域Rt（注目領域R1および推奨領域R2）の形状とコマ割り候補の各コマ形状との乖離に基づいて評価値が算出されるものとして説明したが、本実施形態では、各画像に予め重要度Wiを設定しておき、重要度Wiの高い画像のコマサイズが大きいほど高い評価値を出力する大きさ評価部５ｂを前記評価部５に追加し、形状に関する評価値Eij(aspect)および大きさに関する評価値Eij(size)の双方に基づいてコマ割りを選抜するようにした点に特徴がある。 In the first and second embodiments described above, the evaluation value is calculated based on the difference between the shape of the image output area Rt (the attention area R1 and the recommended area R2) and each frame shape of the frame division candidates. However, in this embodiment, the importance level Wi is set in advance for each image, and a size evaluation unit 5b that outputs a higher evaluation value as the frame size of an image having a higher importance level Wi is added to the evaluation unit 5. In addition, the frame division is selected based on both the evaluation value Eij (aspect) relating to the shape and the evaluation value Eij (size) relating to the size.
図２３は、本実施形態における「コマ割り決定処理」の動作を示したフローチャートであり、前記図１２と同一の符号を付したステップでは同一または同等の処理が実行されるので、その説明は省略する。 FIG. 23 is a flowchart showing the operation of “frame division determination processing” in the present embodiment, and the same or equivalent processing is executed in the steps denoted by the same reference numerals as those in FIG. To do.
ステップＳ３３ａでは、上記の第１実施形態と同様に、画像Piの注目領域R1のアスペクト比Api_r1、推奨領域R2のアスペクト比Api_r2およびコマKiのアスペクト比Akiに基づいて形状評価値Eij(aspect)が算出される。ステップＳ３３ｂでは、前記大きさ評価部５ｂにおいて、各画像に設定された重要度Wiおよび貼り付け先のコマサイズSkiをパラメータとする次式(3)の評価関数に基づいて、重要度WiとコマサイズSkiとの乖離度に応じた誤差Eij(size)が評価値として出力される。 In step S33a, as in the first embodiment, the shape evaluation value Eij (aspect) is calculated based on the aspect ratio Api_r1 of the attention area R1 of the image Pi, the aspect ratio Api_r2 of the recommended area R2, and the aspect ratio Aki of the frame Ki. Calculated. In step S33b, the size evaluation unit 5b determines the importance Wi and the frame based on the evaluation function of the following equation (3) using the importance Wi set for each image and the pasted frame size Ski as parameters. An error Eij (size) corresponding to the degree of deviation from the size Ski is output as an evaluation value.
本実施形態では、各画像Piに重要度Wiが最上位の「１」から最下位の「３」まで３段階に設定され、コマサイズSkiも最大の「１」から最小の「３」まで３段階に分類されている。
In this embodiment, the importance Wi is set to three levels from “1” at the highest level to “3” at the lowest level for each image Pi, and the frame size Ski is 3 from the highest “1” to the lowest “3”. Classified into stages.
Eij(size)＝｜Wi−Ski｜ …(3)
Eij (size) = | Wi-Ski | (3)
ステップＳ３３ｃでは、次式(4)に基づいて、今回の注目コマ割り候補の評価値Eijが算出される。なお、係数α（0＜α＜1）は形状評価Eij(aspect)および大きさ評価Eij(size)の重み付けである。
In step S33c, the evaluation value Eij of the current frame allocation candidate is calculated based on the following equation (4). The coefficient α (0 <α <1) is a weight of the shape evaluation Eij (aspect) and the size evaluation Eij (size).
Eij＝α・ΣEij(aspect)＋(１−α)・ΣEij(size) …(4)
Eij = α · ΣEij (aspect) + (1−α) · ΣEij (size) (4)
以上のようにして評価値Eijが求まると、これ以後は前記第１実施形態と同様の手順を経てコマ割りが決定される。なお、コマ割り候補の作成に木構造表現を用いるのであれば、そのレイヤLriで各コマのサイズSkiを代表できる。 When the evaluation value Eij is obtained as described above, the frame division is determined through the same procedure as in the first embodiment. If a tree structure representation is used to create a frame division candidate, the size Ski of each frame can be represented by the layer Lri.
すなわち、ギロチンカットと呼ばれる木構造は、図２９に示したように、水平分割ノードHおよび垂直分割ノードVから構成され、ノードHから下方に延びた枝の数は水平に分割されるコマ数を表し、ノードVから下方に延びた枝の数は垂直に分割されるコマ数を表す。このような手法を採用したコマ割りでは、上位のレイヤほどコマサイズが大きくなるので、各コマのサイズを、そのレイヤLriで代表できる。その場合、上式(3)は次式(5)に変更できる。
That is, as shown in FIG. 29, a tree structure called a guillotine cut is composed of a horizontal division node H and a vertical division node V, and the number of branches extending downward from the node H is the number of frames divided horizontally. The number of branches extending downward from the node V represents the number of frames divided vertically. In the frame division employing such a method, the frame size increases in the higher layer, so that the size of each frame can be represented by the layer Lri. In that case, the above equation (3) can be changed to the following equation (5).
Ei(size)=｜Wi−Lri｜ …(5)
Ei (size) = | Wi−Lri |… (5)
図２４，２５は、形状評価Eij(aspect)および大きさ評価Eij(size)の重み付けαに応じて出力結果が相違する例を示した図であり、ここでは、画像Pt3，Pt8に重要度１（最上位）が設定され、画像Pt5，Pt6，Pt7に重要度２が設定され、画像Pt1，Pt2，Pt4に重要度３（最下位）が設定された場合を例にしている。 24 and 25 are diagrams showing examples in which output results differ depending on the weighting α of the shape evaluation Eij (aspect) and the size evaluation Eij (size). Here, the importance level 1 is assigned to the images Pt3 and Pt8. In this example, (top) is set, importance 2 is set for images Pt5, Pt6, and Pt7, and importance 3 (lowest) is set for images Pt1, Pt2, and Pt4.
図２４は、α=0.9すなわち大きさ評価Eij(size)よりも形状評価Eij(aspect)を優先させた場合の出力結果であり、画像Pt4，Pt8が貼り付けられた第４，８コマを参照すれば明らかなように、形状の乖離が低く抑えられていることが判る。 FIG. 24 shows an output result when α = 0.9, that is, when the shape evaluation Eij (aspect) is prioritized over the size evaluation Eij (size). Refer to the fourth and eighth frames on which the images Pt4 and Pt8 are pasted. As is apparent, it can be seen that the deviation in shape is kept low.
これに対して、図２５は、α=0.1すなわち形状評価Eij(aspect)よりも大きさ評価Eij(size)を優先させた場合の出力結果であり、重要度の高い第３，８コマが他のコマに較べて大きくなっていることが判る。 On the other hand, FIG. 25 shows an output result when α = 0.1, that is, when the size evaluation Eij (size) is given priority over the shape evaluation Eij (aspect). It can be seen that it is larger than the top.
本実施形態によれば、コマ割り候補を形状評価および大きさ評価の２つの尺度で総合的に評価できるので、主観品質の極めて高いコマ割りを選択できるようになる。また、形状評価の重みと大きさ評価の重みとを調整できるので、目的に見合ったコマ割りを選択できるようになる。 According to the present embodiment, since the frame division candidates can be comprehensively evaluated with the two scales of shape evaluation and size evaluation, it is possible to select a frame division with extremely high subjective quality. Further, since the weight for shape evaluation and the weight for size evaluation can be adjusted, it is possible to select a frame division suitable for the purpose.
なお、第３実施形態のように各画像に重要度Wiを設定した場合、コマ割りの解の評価値に基準値Erefを予め設定しておき、コマ割り候補の中で評価値の最も高いコマ割りの解ですら、その評価値が基準値Erefに満たないような場合には、重要度Wiの低いz個の画像を破棄すると共に次のz個の画像を取り込み、ステップＳ３１へ戻って上記の処理を改めて実行するようにしても良い。 When the importance Wi is set for each image as in the third embodiment, the reference value Eref is set in advance as the evaluation value of the frame division solution, and the frame having the highest evaluation value among the frame division candidates is set. Even in the case of the split solution, when the evaluation value does not satisfy the reference value Eref, the z images having the low importance Wi are discarded and the next z images are taken in, and the process returns to step S31 to return to the above. This process may be executed again.
さらに、上記の各実施形態では、各画像の出力領域t（または、注目領域R1および推奨領域R2）と各コマ割り候補の対応するコマの形状との乖離度に基づいて各コマ割り候補を定量的に評価するものとして説明したが、このとき、図２６に示したように、第n番目の画像の出力領域と第n番目のコマの形状との乖離度のみを算出する[同図(a)]のではなく、ある範囲内（例えば、プラス／マイナス１コマ程度）で画像の順序逆転を許容して乖離度を算出[同図(b),(c),(d)]し、評価の高いコマ割り候補および画像順序のペアをコマ割りの解としても良い。画像の順序逆転は、属性が同一の画像同士に限定することが望ましい。例えば、画像がデジカメ画像であって、その撮影日時が既知ならば、順序逆転は撮影日時が同一の画像同士に限定することが望ましい。 Further, in each of the above embodiments, each frame division candidate is quantified based on the degree of divergence between the output area t (or the attention area R1 and the recommended area R2) of each image and the corresponding frame shape of each frame division candidate. However, at this time, as shown in FIG. 26, only the divergence between the output area of the nth image and the shape of the nth frame is calculated. )] Instead of calculating the degree of divergence by allowing image reversal within a certain range (for example, plus / minus one frame) [(b), (c), (d)] A pair of high frame division candidates and image order may be used as a frame division solution. It is desirable that image reversal be limited to images having the same attribute. For example, if the image is a digital camera image and the shooting date / time is known, it is desirable to limit the order reversal to images having the same shooting date / time.
さらに、上記の各実施形態では、最終的に一つの最適なコマ割りの解が抽出されるものとして説明したが、本発明はこれのみに限定されるものではなく、評価が上位の複数のコマ割り候補を出力し、その中の一つを利用者にユーザインターフェース等を介して選択させるようにしても良い。このようにすれば、例えば、顔が大きい／小さい、足を写したくない、写真同士の配置の関係、配置の見た目など、画像が提示されるまでは利用者自身でも判らない好みに要素を、少ない負担で視覚的に確認できるようになるので、より主観品質の高いコマ割りを選べるようになる。 Furthermore, in each of the above-described embodiments, it has been described that one optimal frame division solution is finally extracted. However, the present invention is not limited to this, and a plurality of frames with higher evaluations are used. It is also possible to output split candidates and allow the user to select one of them through a user interface or the like. In this way, for example, the face is big / small, you do not want to capture your feet, the relationship between the photos, the appearance of the photos, etc. Since it can be visually confirmed with a small burden, it is possible to select a frame division with higher subjective quality.
さらに、上記の各実施形態ではコマ割り候補作成部４が多数のコマ割り候補を作成するものとして説明したが、図２７に示したように、前記コマ割り候補作成部４に代えてコマ割り候補入力部１１を設け、このコマ割り候補入力部１１が、コマ数Nkごとに多数のコマ割り候補が登録されているデータベース(DB)１０から、サイズSやコマ数Nkに基づいてコマ割り候補を入力するようにしても良い。 Further, in each of the embodiments described above, the frame division candidate creation unit 4 has been described as creating a large number of frame division candidates. However, as shown in FIG. An input unit 11 is provided. The frame division candidate input unit 11 obtains a frame division candidate from the database (DB) 10 in which a large number of frame division candidates are registered for each frame number Nk based on the size S and the number of frames Nk. You may make it input.
さらに、上記の各実施形態では、多数のコマ割り候補の中から評価の高いコマ割り候補をコマ割りの解として決定するコマ割り装置を例にして本発明を説明したが、図２８に示したように、前記コマ割り決定部６を廃止し、１ないし複数のコマ割りを評価するコマ割り評価装置にも同様に適用できる。なお、図２８において、前記と同一の符号は同一または同等部分を表している。 Furthermore, in each of the above-described embodiments, the present invention has been described by taking as an example a frame allocation apparatus that determines a frame allocation candidate having a high evaluation from among a large number of frame allocation candidates as a frame allocation solution. As described above, the frame allocation determining unit 6 can be eliminated and similarly applied to a frame allocation evaluation apparatus that evaluates one or more frame allocations. In FIG. 28, the same reference numerals as those described above represent the same or equivalent parts.
１…画像入力部，２…出力領域設定部，３…条件設定部，４…コマ割り候補作成部，５…評価部，５ａ…形状評価部，５ｂ…大きさ評価部，６…コマ割り決定部，７…画像加工部，７ａ…画像切出部，７ｂ…画像拡縮部，８…画像拡縮部，９…微調整部，１０…コマ割り候補DB，１１…コマ割り候補入力部 DESCRIPTION OF SYMBOLS 1 ... Image input part, 2 ... Output area setting part, 3 ... Condition setting part, 4 ... Frame division candidate preparation part, 5 ... Evaluation part, 5a ... Shape evaluation part, 5b ... Size evaluation part, 6 ... Frame division determination 7, image processing unit, 7 a, image cutout unit, 7 b, image enlargement / reduction unit, 8, image enlargement / reduction unit, 9, fine adjustment unit, 10, frame division candidate DB, 11, frame division candidate input unit
Claims (16)
出力ページに割り付けるコマ数に応じて複数のコマ割り候補を生成する手段と、
複数のコマ割り候補を対象に、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段と、
前記乖離度に基づいてコマ割りの解を決定するコマ割り決定手段とを具備し、
前記複数のコマ割り候補を生成する手段は、水平方向への領域分割を枝の分岐で代表する水平分割ノードおよび垂直方向への領域分割を枝の分岐で代表する垂直分割ノードを交互に、葉の総数が前記コマ数に達するまで、分岐させる枝および分岐数を変更させながら繰り返し成長させることで複数の木構造を生成し、木構造ごとに、各葉の位置と各コマの位置とが対応付けられたコマ割り候補を生成することを特徴とするコマ割り装置。 In a frame division device that determines a frame division in which a plurality of images are arranged in a predetermined order on a predetermined output page in a comic style,
Means for generating a plurality of frame allocation candidates according to the number of frames allocated to the output page;
Shape evaluation means for calculating the degree of divergence between the shape of each frame and the shape of the image pasted on the frame for a plurality of frame division candidates;
Frame division determining means for determining a frame division solution based on the degree of deviation,
The means for generating a plurality of frame division candidates alternately includes a horizontal division node that represents a horizontal region division as a branch branch and a vertical division node that represents a vertical region division as a branch branch. Until the total number of frames reaches the number of frames, multiple tree structures are generated by repeatedly growing while changing the number of branches to be branched and the number of branches. For each tree structure, the position of each leaf corresponds to the position of each frame A frame division device for generating attached frame division candidates.
前記乖離度の総和が小さい複数のコマ割り候補を選抜する手段と、
前記複数のコマ割り候補を出力する手段と、
前記複数のコマ割り候補の一つを選択させるユーザインターフェースとを具備し、
前記選択されたコマ割り候補をコマ割りの解とすることを特徴とする請求項４に記載のコマ割り装置。 The frame division determination means includes
Means for selecting a plurality of frame division candidates with a small sum of the deviation degrees;
Means for outputting the plurality of frame division candidates;
A user interface for selecting one of the plurality of frame division candidates,
5. The frame division apparatus according to claim 4, wherein the selected frame division candidate is a frame division solution.
前記各サムネイル画像を、前記コマ割りの解の対応するコマの大きさに合わせて拡大または縮小する手段と、
前記拡大または縮小された各サムネイル画像を、前記コマ割りの解の対応するコマに貼り付ける手段とを具備したことを特徴とする請求項１ないし６のいずれかに記載のコマ割り装置。 Means for cutting out a thumbnail image from each image in accordance with the shape of the corresponding frame of the frame division solution;
Means for enlarging or reducing each thumbnail image in accordance with the size of the corresponding frame of the frame division solution;
7. The frame layout device according to claim 1, further comprising means for pasting each of the enlarged or reduced thumbnail images to a corresponding frame of the frame layout solution.
前記形状評価手段は、各コマの形状と各出力領域の形状との乖離度を算出することを特徴とする請求項１ないし７のいずれかに記載のコマ割り装置。 Comprising area setting means for setting an output area for each image;
8. The frame division device according to claim 1, wherein the shape evaluation unit calculates a divergence degree between the shape of each frame and the shape of each output area.
前記形状評価手段は、各コマのアスペクト比が前記複数の出力領域の各アスペクト比の最小アスペクト比および最大アスペクト比の範囲から外れるほど乖離度を大きくすることを特徴とする請求項８に記載のコマ割り装置。 The area setting means sets a plurality of output areas having different aspect ratios,
The shape evaluation unit increases the divergence degree as the aspect ratio of each frame deviates from the range of the minimum aspect ratio and the maximum aspect ratio of each of the plurality of output areas. Frame division device.
コマ割り候補ごとに、各コマの大きさと当該コマに貼り付けられる画像の重要度との乖離度を算出する大きさ評価手段を具備し、
前記コマ割り決定手段は、形状に関する乖離度および大きさに関する乖離度の各総和の和が小さいコマ割り候補をコマ割りの解に決定することを特徴とする請求項１ないし１３のいずれかに記載のコマ割り装置。 Importance is set for the plurality of images,
For each frame division candidate, it comprises a size evaluation means for calculating the degree of deviation between the size of each frame and the importance of the image pasted on the frame,
14. The frame division determination means determines a frame division candidate having a small sum of the sum of the divergence degree relating to the shape and the divergence degree relating to the size as a frame division solution. Frame dividing device.
前記コマ割り決定手段は、形状に関する乖離度の総和および大きさに関する乖離度の総和を前記重みに応じた割合で加算することを特徴とする請求項１４に記載のコマ割り装置。 A weight is set for the shape evaluation and the size evaluation,
15. The frame division apparatus according to claim 14, wherein the frame division determination unit adds the sum of the divergence degrees related to the shape and the sum of the divergence degrees related to the sizes at a ratio corresponding to the weight.
出力ページに割り付けるコマ数に応じて複数のコマ割り候補を生成する手順と、
複数のコマ割り候補を対象に、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する手順と、
前記乖離度に基づいてコマ割りの解を決定する手順とを含み、
前記複数のコマ割り候補を生成する手順では、水平方向への領域分割を枝の分岐で代表する水平分割ノードおよび垂直方向への領域分割を枝の分岐で代表する垂直分割ノードを交互に、葉の総数が前記コマ数に達するまで、分岐させる枝および分岐数を変更させながら繰り返し成長させることで複数の木構造を生成し、木構造ごとに、各葉の位置と各コマの位置とが対応付けられたコマ割り候補を生成することを特徴とするコマ割り方法。 In a frame division method for determining a frame division in which a plurality of images are arranged in a predetermined order on a predetermined output page in a comic style,
A procedure for generating multiple frame allocation candidates according to the number of frames allocated to the output page,
A procedure for calculating the degree of divergence between the shape of each frame and the shape of the image pasted on the frame for a plurality of frame division candidates;
And determining a frame division solution based on the degree of deviation,
In the procedure of generating the plurality of frame division candidates, a horizontal division node that represents a horizontal region division as a branch branch and a vertical division node that represents a vertical region division as a branch branch are alternately displayed on a leaf. Until the total number of frames reaches the number of frames, multiple tree structures are generated by repeatedly growing while changing the number of branches to be branched and the number of branches. For each tree structure, the position of each leaf corresponds to the position of each frame A frame division method characterized by generating attached frame division candidates.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008210636A JP5073612B2 (en) | 2008-08-19 | 2008-08-19 | Frame layout method and apparatus, and frame layout evaluation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008210636A JP5073612B2 (en) | 2008-08-19 | 2008-08-19 | Frame layout method and apparatus, and frame layout evaluation apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010050528A JP2010050528A (en) | 2010-03-04 |
| JP5073612B2 true JP5073612B2 (en) | 2012-11-14 |
Family
ID=42067296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008210636A Active JP5073612B2 (en) | 2008-08-19 | 2008-08-19 | Frame layout method and apparatus, and frame layout evaluation apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5073612B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105359079A (en) * | 2013-07-10 | 2016-02-24 | 索尼公司 | Information processing device, information processing method, and program |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5739623B2 (en) * | 2010-06-25 | 2015-06-24 | キヤノン株式会社 | Editing device and program |
| JP5601666B2 (en) * | 2010-08-10 | 2014-10-08 | Ｋｄｄｉ株式会社 | Generation method, generation program and generation apparatus for order tree for image layout |
| JP5579091B2 (en) * | 2011-01-31 | 2014-08-27 | Ｋｄｄｉ株式会社 | Layout template generation device and image layout device |
| JP2015053541A (en) * | 2013-09-05 | 2015-03-19 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2579397B2 (en) * | 1991-12-18 | 1997-02-05 | インターナショナル・ビジネス・マシーンズ・コーポレイション | Method and apparatus for creating layout model of document image |
| JPH07273966A (en) * | 1994-03-30 | 1995-10-20 | Ricoh Co Ltd | Facsimile equipment |
| JP4264165B2 (en) * | 1999-08-17 | 2009-05-13 | 富士フイルム株式会社 | Image display device, image display system, image display method, and recording medium |
| JP2002142092A (en) * | 2000-10-30 | 2002-05-17 | Dainippon Screen Mfg Co Ltd | Automatic layout system and recording medium |
| JP2002287674A (en) * | 2001-03-28 | 2002-10-04 | Toshiba Corp | Advertisement insertion method and advertisement insertion system and program |
| JP2003101752A (en) * | 2001-09-21 | 2003-04-04 | Pagecomp Lab Corp | Apparatus and program for laying out image |
| JP3802814B2 (en) * | 2002-01-16 | 2006-07-26 | 敏浩 元橋 | Cartoon frame layout format program |
| US7275210B2 (en) * | 2003-03-21 | 2007-09-25 | Fuji Xerox Co., Ltd. | Systems and methods for generating video summary image layouts |
| JP2004297173A (en) * | 2003-03-25 | 2004-10-21 | Fuji Photo Film Co Ltd | Image processing apparatus and method |
| US7743322B2 (en) * | 2003-09-30 | 2010-06-22 | Hewlett-Packard Development Company, L.P. | Automatic photo album page layout |
| JP2005258609A (en) * | 2004-03-10 | 2005-09-22 | Yokogawa Electric Corp | Image processing procedure search method |
| JP4111948B2 (en) * | 2004-12-15 | 2008-07-02 | 株式会社テクノフェイス | Cartoon creation support device and program |
| JP2006174178A (en) * | 2004-12-16 | 2006-06-29 | Fuji Photo Film Co Ltd | Apparatus and program for generating index image of photo movie |
| JP4800104B2 (en) * | 2005-06-13 | 2011-10-26 | 富士フイルム株式会社 | Album creating apparatus, album creating method, and program |
| WO2007001069A1 (en) * | 2005-06-29 | 2007-01-04 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program |
| JP2008109507A (en) * | 2006-10-26 | 2008-05-08 | Interss:Kk | Image layout device |
| JP2008167375A (en) * | 2007-01-05 | 2008-07-17 | Ricoh Co Ltd | Image data processor and program |
-
2008
- 2008-08-19 JP JP2008210636A patent/JP5073612B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105359079A (en) * | 2013-07-10 | 2016-02-24 | 索尼公司 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010050528A (en) | 2010-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727163B2 (en) | System and method for construction estimation using aerial images | |
| JP5073612B2 (en) | Frame layout method and apparatus, and frame layout evaluation apparatus | |
| JP4315344B2 (en) | Image editing apparatus and method, and program | |
| DE69920791T2 (en) | Apparatus and method for interpolating image data | |
| CN107146198A (en) | A kind of intelligent method of cutting out of photo and device | |
| JP3690391B2 (en) | Image editing apparatus, image trimming method, and program | |
| JP3953994B2 (en) | Image processing information association processing apparatus, printing system, layout data output enabling method, and program | |
| CN101796538A (en) | With the arranging graphic object on the page that is controlled at based on relative area | |
| JP2007525770A (en) | Technology to form a single image from multiple overlapping images | |
| JP2014010621A (en) | Image area dividing device by optimal image size, method and program | |
| JP2007158824A (en) | Image processor, flesh tone adjusting method, and program | |
| JP2013511109A (en) | Image processing method and apparatus therefor | |
| JP2012008883A (en) | Editing device, and layout editing method and program in editing device | |
| CN110111342B (en) | Optimized selection method and device for matting algorithm | |
| JP2006031688A (en) | Image processing device, method, and program | |
| JP6004260B2 (en) | Line drawing coloring system | |
| JP2021015345A (en) | Information processing device, information processing method, program, and display controller | |
| JP5579091B2 (en) | Layout template generation device and image layout device | |
| JP2004234500A (en) | Image layout device, image layout method, program in image layout device and image editing device | |
| EP2936436B1 (en) | Computer implemented method and system for detecting an object marked by means of stroke input of a user on the basis of pixels in a digital image | |
| KR102099093B1 (en) | Customized Motion Graphic Video Production System | |
| CN111462280A (en) | Picture generation method and device, electronic equipment and computer storage medium | |
| WO2014206394A2 (en) | Computer implemented digital blur filter for producing a blurred print corresponding to an incorrectly focused lens system, in an original digital image in an image memory | |
| KR20050078100A (en) | Methods for manufacturing moving cartoon and recording medium thereof | |
| JP2012019387A (en) | Image layout setting method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120307 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120801 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5073612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |