JP2014038601A - Automatic image editing device by image analysis, method and computer readable recording medium - Google Patents
Automatic image editing device by image analysis, method and computer readable recording medium Download PDFInfo
- Publication number
- JP2014038601A JP2014038601A JP2013143480A JP2013143480A JP2014038601A JP 2014038601 A JP2014038601 A JP 2014038601A JP 2013143480 A JP2013143480 A JP 2013143480A JP 2013143480 A JP2013143480 A JP 2013143480A JP 2014038601 A JP2014038601 A JP 2014038601A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- edited
- editing
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 65
- 238000001514 detection method Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 241000556720 Manga Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
Description
本発明は、イメージを自動編集するための装置に関し、より詳細には、編集しようとする対象イメージを自動編集することにより、サムネイル（ｔｈｕｍｂｎａｉｌ）イメージなどの様々な画面構成に適するイメージを生成するためのイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体に関する。 The present invention relates to an apparatus for automatically editing an image, and more specifically, to automatically edit a target image to be edited to generate an image suitable for various screen configurations such as a thumbnail image. The present invention relates to an image automatic editing apparatus, method, and computer-readable recording medium based on image analysis.
現在、インターネットの広範囲な普及は、有線を越えて無線の移動通信技術への急成長をもたらし、実生活においても、携帯電話、ＰＤＡ、ハンドヘルド（Ｈａｎｄ‐Ｈｅｌｄ）コンピュータなどの携帯用端末を介するインターネット上での情報検索が時間と場所を問わず可能となっている。 Currently, the widespread use of the Internet has led to rapid growth of wireless mobile communication technology beyond the wired network, and even in real life, the Internet via mobile terminals such as mobile phones, PDAs, and hand-held computers. The above information search is possible regardless of time and place.
ウェブ（Ｗｅｂ）またはアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）のデジタル媒体においても、マガジン（ｍａｇａｚｉｎｅ）やイーブック（ｅ‐ｂｏｏｋ）のように様々なレイアウト（ｌａｙｏｕｔ）でコンテンツを消費しようとする要求が存在する。例えば、フリップボードのようなタブレット用アプリケーションでは、イメージをレイアウトとし、既存のウェブコンテンツを消費できるように支援する。 Even in the digital media of the web (Web) or application (Application), there is a demand for consuming contents with various layouts such as magazines and e-books. For example, in an application for a tablet such as a flip board, an image is used as a layout so that existing web contents can be consumed.
この際、ウェブコンテンツに含まれた写真イメージは、レイアウトにおいて重要な役割を行い、原本イメージをサムネイルイメージ形態で露出させるために原本写真イメージの一部をクロップ（ｃｒｏｐ）するか写真上にテキストまたは他の写真をオーバーレイ（ｏｖｅｒｌａｙ）することで様々なレイアウトを生成する。 At this time, the photographic image included in the web content plays an important role in the layout, and in order to expose the original image in the form of a thumbnail image, a part of the original photographic image is cropped or text or Various layouts are generated by overlaying other photos.
一方、従来このようなサムネイルイメージを製作する際に、原本イメージの縦横比とサムネイルの縦横比とが一致していない場合、写真の主要領域をサムネイルイメージに含ませるために手作業でサムネイルイメージを生成したり、編集デザイナーが直接イメージを加工して編集することでレイアウトを生成した。このように手作業で製作することなく自動化する場合でも原本写真イメージに単純にリサイジング（ｒｅ‐ｓｉｚｉｎｇ）のみを施してコンテンツレイアウトに適用した。 On the other hand, when producing such a thumbnail image, if the aspect ratio of the original image does not match the aspect ratio of the thumbnail, the thumbnail image must be manually created to include the main area of the photo in the thumbnail image. The layout was created by editing or editing the image directly by the editing designer. In this way, even when automating without manual production, the original photographic image is simply re-sized and applied to the content layout.
サムネイルイメージを製作するにあたり、このように手動で行う編集作業は多くのリソースを必要とするだけでなく、様々なディスプレイ画面においてさらに他の形態、サイズおよび画面比（ｒａｔｉｏ）（すなわち、縦横比）のサムネイルイメージが必要な場合にすぐ適用することができず、イメージを再編集しなければならないという問題点がある。 In order to produce thumbnail images, this manual editing work not only requires a lot of resources, but also other forms, sizes and ratios (ie aspect ratios) on various display screens. However, it is impossible to apply the thumbnail image immediately when it is necessary, and the image must be re-edited.
一方、このような原本イメージからサムネイルなどを自動生成するための技術として、特許文献１には、ビデオから比較的短く低解像度のアニメーション化したビデオサムネイルを生成する方法が開示されている。 On the other hand, as a technique for automatically generating a thumbnail or the like from such an original image, Patent Document 1 discloses a method for generating a relatively short and low-resolution animated video thumbnail from a video.
しかし、このようにイメージを自動リサイジングする場合にはイメージが位置する特定のコンテンツレイアウトの割合が合わないことや、イメージの主要領域がリサイジングされてスマートフォンのような小さい画面では可読性に劣る現象が生じることがある。 However, when automatically resizing an image in this way, the proportion of the specific content layout where the image is located does not match, or the main area of the image is resized and the phenomenon is inferior in readability on a small screen like a smartphone May occur.
特に、スマートフォン、タブレット、スマートＴＶの登場に伴い様々なサイズのスクリーンが登場したため、様々な画面サイズに合う動的なレイアウトを自動生成できる技術の必要性が要求されている。 In particular, with the advent of smartphones, tablets, and smart TVs, screens of various sizes have appeared, and thus there is a need for a technology that can automatically generate a dynamic layout that matches various screen sizes.
本発明の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、主要領域を中心にイメージを自動編集することにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。 An object of the present invention is based on image analysis that can automatically generate images suitable for various layout configurations by analyzing an image to be edited and dividing it into a main area and a blank area, and automatically editing the image around the main area. An object of the present invention is to provide an image automatic editing apparatus, method, and computer-readable recording medium.
また、本発明の他の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、主要領域をクロップしてイメージを自動編集することにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。 Another object of the present invention is to automatically analyze images suitable for various layout configurations by analyzing an image to be edited and dividing it into a main area and a blank area and automatically editing the image by cropping the main area. An object of the present invention is to provide an image automatic editing apparatus, method and computer-readable recording medium based on image analysis that can be generated.
また、本発明のさらに他の目的は、編集対象イメージを分析して主要領域と余白領域とに区分し、余白領域にテキストをオーバーレイ（ｏｖｅｒｌａｙ；重ねる）させることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。 Still another object of the present invention is to analyze an image to be edited, divide it into a main area and a blank area, and overlay a text on the blank area, so that the image is suitable for various layout configurations. It is an object of the present invention to provide an image automatic editing apparatus, method, and computer-readable recording medium based on image analysis that can automatically generate the image.
また、本発明のさらに他の目的は、複数の編集対象イメージを分析して主要領域と余白領域とに区分し、各編集対象イメージの主要領域をクロップした後、複数のクロップしたイメージをオーバーレイさせることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。 Still another object of the present invention is to analyze a plurality of images to be edited and divide the image into main regions and blank regions, crop the main regions of each image to be edited, and then overlay the plurality of cropped images. Accordingly, an object of the present invention is to provide an image automatic editing apparatus, method, and computer-readable recording medium based on image analysis that can automatically generate images suitable for various layout configurations.
また、本発明のさらに他の目的は、編集対象イメージに別の余白領域を追加し、追加した余白領域にテキストをオーバーレイさせることにより、様々なレイアウト構成に適するイメージを自動生成できるイメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。 Still another object of the present invention is to provide an image by image analysis that can automatically generate images suitable for various layout configurations by adding another blank area to an image to be edited and overlaying text on the added blank area. An object is to provide an automatic editing apparatus, method, and computer-readable recording medium.
上記の本発明の目的を果たし、後述する本発明の特有の効果を果たすための、本発明の特徴的な構成は下記のとおりである。 In order to achieve the above-described object of the present invention and to achieve the specific effects of the present invention described later, the characteristic configuration of the present invention is as follows.
本発明の一側面によれば、イメージ分析によるイメージ自動編集装置は、少なくとも一つの編集対象イメージを格納するコンテンツ情報データベースと、コンテンツ情報データベースから少なくとも一つの編集対象イメージの提供を受け、提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出するイメージ分析モジュールと、検出した主要領域を含む編集イメージを自動生成するイメージ編集モジュールと、を含む。 According to an aspect of the present invention, an image automatic editing apparatus based on image analysis is provided by receiving a content information database storing at least one image to be edited and at least one image to be edited from the content information database. An image analysis module for detecting at least one main area of the entire area of the image to be edited, and an image editing module for automatically generating an edit image including the detected main area.
好ましくは、編集装置は、編集イメージが配置されるレイアウトの構成情報を格納するイメージ構成情報データベースをさらに含み、イメージ編集モジュールは、イメージ構成情報データベースに格納された構成情報に基づいて編集イメージを自動生成する。 Preferably, the editing apparatus further includes an image configuration information database that stores configuration information of a layout in which the edited image is arranged, and the image editing module automatically converts the edited image based on the configuration information stored in the image configuration information database. Generate.
好ましくは、イメージ分析モジュールは、編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、検出したオブジェクトを含む領域を主要領域と判断するオブジェクト検出部を含む。 Preferably, the image analysis module includes an object detection unit that detects at least one object in the entire region of the editing target image and determines a region including the detected object as a main region.
好ましくは、イメージ分析モジュールは、編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出し、算出した焦点値および対比値に基づいて顕著性値を算出し、算出した顕著性値の分布によって少なくとも一つの主要領域を検出するパターン分析部を含む。 Preferably, the image analysis module calculates a focus value and a contrast value for each pixel in the image to be edited, calculates a saliency value based on the calculated focus value and contrast value, and calculates the saliency value of the calculated saliency value. A pattern analysis unit for detecting at least one main region by distribution is included.
好ましくは、イメージ分析モジュールは、編集対象イメージの全体領域のうち検出した主要領域以外の領域を余白領域と判断する余白検出部を含む。 Preferably, the image analysis module includes a margin detection unit that determines an area other than the detected main area among the entire area of the editing target image as a margin area.
好ましくは、余白検出部は、検出した主要領域以外の領域を第１余白領域と設定し、第１余白領域において類似したピクセル値を有する複数の領域に画面分割を行い、各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を第２余白領域と設定する。 Preferably, the margin detection unit sets a region other than the detected main region as the first margin region, divides the screen into a plurality of regions having similar pixel values in the first margin region, and among the divided regions, An area having a change rate of a pixel value lower than a preset first threshold and having a size or shape higher than a preset second threshold is set as a second margin area.
好ましくは、イメージ編集モジュールは、イメージ分析モジュールで検出した主要領域を編集対象イメージからクロップするイメージクロップ部を含む。 Preferably, the image editing module includes an image crop unit that crops the main area detected by the image analysis module from the image to be edited.
好ましくは、イメージ編集モジュールは、余白領域にテキストをオーバーレイさせるテキストオーバーレイ部を含む。 Preferably, the image editing module includes a text overlay unit that overlays text on a margin area.
好ましくは、イメージ編集モジュールは、主要領域が検出された複数の編集対象イメージに対して第１イメージの余白領域に第２イメージの主要領域をオーバーレイさせるイメージオーバーレイ部を含む。 Preferably, the image editing module includes an image overlay unit that overlays the main area of the second image on the blank area of the first image with respect to a plurality of editing target images in which the main area is detected.
好ましくは、イメージ編集モジュールは、全体領域のうち主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、編集対象イメージに余白領域をさらに追加させる余白追加部を含む。 Preferably, the image editing module includes a margin adding unit that adds a blank area to the image to be edited when there is not enough space to overlay the text in a region that is not the main region of the entire region.
好ましくは、イメージ編集モジュールは、主要領域を含む編集イメージの大きさまたは縦横比を構成情報に応じてリサイジングするイメージリサイジング部を含む。 Preferably, the image editing module includes an image resizing unit that resizes the size or aspect ratio of the edited image including the main area according to the configuration information.
本発明の他の側面によれば、イメージ分析によるイメージ自動編集方法は、イメージ分析モジュールから編集対象イメージの提供を受ける段階と、イメージ分析モジュールから提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出する段階と、イメージ編集モジュールで検出した主要領域を含む編集イメージを自動生成する段階と、を含む。 According to another aspect of the present invention, an image automatic editing method using image analysis is provided with at least one of a step of receiving an image to be edited from the image analysis module and an entire area of the image to be edited provided from the image analysis module. Detecting two main areas, and automatically generating an edited image including the main areas detected by the image editing module.
一方、イメージ分析によるイメージ自動編集手順を行うための情報は、サーバコンピュータによって読み取り可能な記録媒体に格納することができる。このような記録媒体は、コンピュータシステムによって実行されるようにプログラム及びデータが格納される全ての種類の記録媒体を含む。その例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などが挙げられ、また、搬送波（ｃａｒｒｉｒ ｗａｖｅ）（例えば、インターネットを介した伝送）の形態に具現されるものも含まれる。また、このような記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行することができる。 On the other hand, information for performing an image automatic editing procedure by image analysis can be stored in a recording medium readable by a server computer. Such recording media include all types of recording media in which programs and data are stored for execution by a computer system. Examples include ROM (Read Only Memory), RAM (Random Access Memory), CD (Compact Disk), DVD (Digital Video Disk) -ROM, magnetic tape, floppy (registered trademark) disk, optical data storage device, and the like. Also included are those embodied in the form of a carrier wave (eg, transmission over the Internet). Further, such a recording medium can be distributed to computer systems connected via a network, and can store and execute computer-readable codes in a distributed manner.
上述したように、本発明によれば、編集しようとする対象イメージを手作業でなく自動で特定のコンテンツレイアウトに合わせて編集することにより、手作業によるイメージ編集に伴う欠点を解消することができるという利点がある。 As described above, according to the present invention, it is possible to eliminate the drawbacks associated with manual image editing by automatically editing the target image to be edited in accordance with a specific content layout instead of manually. There is an advantage.
また、様々な形態、大きさ、縦横比を有するサムネイルイメージが必要な場合、本発明により該条件に適するサムネイルイメージを自動編集することにより、様々な画面サイズに合う動的なレイアウトを自動生成することができるという利点がある。 When thumbnail images having various forms, sizes, and aspect ratios are required, a dynamic layout suitable for various screen sizes is automatically generated by automatically editing thumbnail images suitable for the conditions according to the present invention. There is an advantage that you can.
また、本発明によれば、写真イメージの主要領域を自動判断して編集することにより、主要部分が脱落しないとともに、リサイジング後にも可読性に優れたイメージを自動生成することができるという利点がある。 Further, according to the present invention, by automatically determining and editing the main area of a photographic image, there is an advantage that the main part is not dropped and an image having excellent readability can be automatically generated even after resizing. .
また、本発明によれば、写真において重要でない領域を自動分析し、写真や関連コンテンツのキャプション、タイトル（ｔｉｔｌｅ）、記事内容などを重要でない領域にオーバーレイさせることにより、効果的なサムネイルイメージを自動生成することができるという利点がある。 Also, according to the present invention, an effective thumbnail image is automatically analyzed by automatically analyzing an unimportant area in a photograph and overlaying a caption of a photograph or related content, a title (title), an article content, etc. on an unimportant area. There is an advantage that it can be generated.
また、本発明によれば、複数の編集対象イメージの主要領域を自動判断し、複数の主要領域をクロップ（ｃｒｏｐ）して互いにオーバーレイさせることにより、動的なマガジンのような様々なレイアウトを自動生成することができるという利点がある。 In addition, according to the present invention, various layouts such as a dynamic magazine can be automatically determined by automatically determining main areas of a plurality of editing target images and cropping the plurality of main areas to overlay each other. There is an advantage that it can be generated.
後述する本発明についての詳細な説明は、本発明が実施できる特定実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を十分に実施することができるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的な必要はないことを理解すべきである。例えば、ここに記載されている特定形状、構造及び特徴は、一実施形態に関連して本発明の思想及び範囲を外れずに他の実施形態に具現されることができる。また、それぞれの開示された実施形態内の個別構成要素の位置または配置は、本発明の思想及び範囲を外れずに変更されることができることを理解すべきである。従って、後述する詳細な説明は限定的な意味で扱うものでなく、本発明の範囲は、適切に説明されるならば、その請求範囲が主張するものと均等な全ての範囲と一緒に、添付した請求範囲によってのみ限定される。図面において、類似した参照符号は、様々な側面にわたって同一または類似した機能を示す。 The following detailed description of the invention refers to the accompanying drawings that illustrate, by way of illustration, specific embodiments in which the invention can be practiced. These embodiments are described in detail to enable those skilled in the art to fully practice the invention. It should be understood that the various embodiments of the present invention are different from each other but need not be mutually exclusive. For example, the specific shapes, structures, and features described herein may be embodied in other embodiments without departing from the spirit and scope of the invention in connection with one embodiment. In addition, it should be understood that the position or arrangement of individual components within each disclosed embodiment can be changed without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be construed in a limiting sense, and the scope of the present invention is, together with the full scope of equivalents of the appended claims, if properly explained, together with the appended claims. Limited only by the appended claims. In the drawings, like reference numbers indicate identical or similar functions across various aspects.
本発明は、写真などのイメージから主要部分の位置を自動検出し、検出した主要部分を中心に所望のレイアウトに合わせてイメージを自動編集できるイメージ分析によるイメージ自動編集装置および方法を開示する。 The present invention discloses an image automatic editing apparatus and method based on image analysis that can automatically detect the position of a main part from an image such as a photograph and automatically edit the image according to a desired layout around the detected main part.
例えば、本発明の実施形態により写真の主要部分の位置を自動検出した後、検出した主要部分をクロップ（ｃｒｏｐ）し、製作しようとするレイアウトに合わせて縦横比を調節してサムネイルイメージを生成することにより、主要部分が脱落することなく所望のレイアウトのイメージを自動生成することができる。 For example, after automatically detecting the position of a main part of a photo according to an embodiment of the present invention, the detected main part is cropped and a thumbnail image is generated by adjusting an aspect ratio according to a layout to be manufactured. As a result, an image having a desired layout can be automatically generated without dropping the main part.
また、本発明の実施形態により写真などのイメージにおいて重要でない領域（例えば、余白領域）を自動分析し、該イメージ関連コンテンツのキャプション（ｃａｐｔｉｏｎ）、タイトル（ｔｉｔｌｅ）、記事内容などを重要でない領域にオーバーレイさせてレイアウトするか、他のイメージとオーバーレイさせることにより、動的なマガジンなどの様々な形態のレイアウトを自動生成することができる。 In addition, according to an embodiment of the present invention, an unimportant area (for example, a blank area) in an image such as a photograph is automatically analyzed, and the caption, title, article content, and the like of the image-related content are changed to an unimportant area. Various layouts such as a dynamic magazine can be automatically generated by overlaying and overlaying with other images.
一方、後述する本発明では、自動分析および編集によって所望のイメージ（例えば、サムネイルイメージ）などを生成するための編集対象イメージ（すなわち、編集前のイメージ）を「原本イメージ」とし、原本イメージは写真だけでなく、絵、マンガなどを含む最も広い概念である。 On the other hand, in the present invention described later, an image to be edited (that is, an image before editing) for generating a desired image (for example, a thumbnail image) by automatic analysis and editing is referred to as an “original image”, and the original image is a photograph. It is the widest concept that includes not only pictures but also manga.
また、後述する本発明における「クロップ（ｃｒｏｐ）」とは、特定のイメージの全体領域から選択された一部領域（例えば、主要領域）を切り取ることを意味し、「オーバーレイ（ｏｖｅｒｌａｙ）」とは、複数のイメージをオーバーレイさせて編集することを意味する。 Further, “crop” in the present invention to be described later means to cut out a partial region (for example, main region) selected from the entire region of a specific image, and “overlay” , Which means that multiple images are overlaid and edited.
以下、本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily implement the present invention.
まず、図１および図２を参照して本発明の実施形態に係る概略および装置の構造について説明し、次に、図３を参照して本発明の実施形態に係る手順について詳細に説明する。 First, the outline and the structure of the apparatus according to the embodiment of the present invention will be described with reference to FIGS. 1 and 2, and then the procedure according to the embodiment of the present invention will be described in detail with reference to FIG.
イメージ自動編集の概略
図１は本発明に係るイメージ分析によるイメージ自動編集の概略を示す図である。図１を参照すると、ウェブページを構成するイメージの編集のための原本イメージ（すなわち、編集対象イメージ）は、コンテンツ情報（すなわち、アーティクル（ａｒｔｉｃｌｅ））データベースに格納される。一方、コンテンツ情報データベースには、原本イメージだけでなく、該原本イメージ関連コンテンツのキャプション、タイトル、記事内容などが共にリンクされて格納されてもよい。
Outline of automatic image editing FIG. 1 is a diagram showing an outline of automatic image editing by image analysis according to the present invention. Referring to FIG. 1, an original image (that is, an image to be edited) for editing an image constituting a web page is stored in a content information (that is, article) database. On the other hand, in the content information database, not only the original image but also the caption, title, and article content of the original image related content may be linked and stored.
コンテンツ情報データベースに格納された分析対象コンテンツのイメージの提供（ｆｅｅｄｉｎｇ）を受けると、様々な方法でイメージ分析が行われる。この際、本発明の実施形態により原本イメージを分析して、顔または物体などが含まれた主要領域と、主要領域でない余白領域とを検出する。 When receiving the image of the content to be analyzed stored in the content information database, image analysis is performed in various ways. At this time, according to the embodiment of the present invention, the original image is analyzed to detect a main area including a face or an object and a blank area which is not the main area.
例えば、原本イメージに含まれたオブジェクトを様々な方法で検出し、検出したオブジェクトが含まれた領域を主要領域と設定する。この際、全体イメージのうち主要領域と設定した領域以外の残りの領域は余白領域と設定することができる。一方、このように全体イメージ領域が主要領域と余白領域とに区分されると、主要領域の位置、色、明るさ、最適の縦横比などの情報と、余白領域の位置、色、明るさ、最適の縦横比などの情報が生成されることができる。このように、生成された情報は、その後，イメージ編集をする時に参照することができる。 For example, an object included in the original image is detected by various methods, and an area including the detected object is set as a main area. At this time, the remaining area other than the area set as the main area in the entire image can be set as a blank area. On the other hand, when the entire image area is divided into a main area and a margin area in this way, information such as the position, color, brightness, and optimum aspect ratio of the main area and the position, color, brightness, Information such as the optimal aspect ratio can be generated. Thus, the generated information can be referred to when image editing is performed thereafter.
また、主要領域と余白領域とを区分するための他の実施形態としてパターン分析方法を適用することができる。例えば、イメージ内の各ピクセルの焦点値および対比値により顕著性（Ｓａｌｉｅｎｃｙ）値を算出し、算出した顕著性値の分布により主要領域を検出することができる。 In addition, the pattern analysis method can be applied as another embodiment for dividing the main area and the blank area. For example, a saliency value can be calculated from the focus value and contrast value of each pixel in the image, and a main region can be detected from the distribution of the calculated saliency value.
一方、余白領域を検出する方法としてのように主要領域を検出した後、残りの領域を余白領域と設定することもでき、後述する方法のように、本発明の実施形態により余白領域を第１余白と第２余白とに区分して、それぞれ異なる編集方法を適用するように具現することもできる。 On the other hand, after the main area is detected as a method for detecting the margin area, the remaining area can be set as the margin area. As in the method described later, the margin area is first set according to the embodiment of the present invention. It is also possible to divide the margin into the second margin and to implement different editing methods.
このように、主要領域と余白領域とが区分されると、様々な実施形態によりウェブページなどに適用されるレイアウトに合わせてイメージを編集することができる。したがって、イメージ編集のためにウェブページを構成するレイアウトの情報（例えば、挿入するイメージの大きさ、縦横比、解像度、形状、形態、方向など）を参照して分析されたイメージを編集する。 As described above, when the main area and the blank area are divided, the image can be edited according to the layout applied to the web page or the like according to various embodiments. Therefore, the analyzed image is edited with reference to layout information (for example, the size, aspect ratio, resolution, shape, form, direction, etc. of the inserted image) constituting the web page for image editing.
例えば、本発明の第１実施形態により主要領域をクロップしてウェブページに適用するイメージ（例えば、サムネイルイメージ）を製作することができる。この際、クロップしたイメージをさらにリサイジングすることで所望の大きさと割合のイメージを生成することもできる。 For example, according to the first embodiment of the present invention, it is possible to produce an image (eg, a thumbnail image) that crops a main area and applies it to a web page. At this time, an image having a desired size and ratio can be generated by further resizing the cropped image.
また、本発明の第２実施形態により分析されたイメージの余白領域にテキストをオーバーレイさせることができる。この際、テキストは、コンテンツ情報データベースに原本イメージとともにリンクされて格納された原本イメージ関連コンテンツのキャプション、タイトル、記事内容などであってもよく、本発明はこれに限定されない。 In addition, text can be overlaid on the blank area of the image analyzed according to the second embodiment of the present invention. In this case, the text may be a caption, title, article content, etc. of the original image related content stored in the content information database linked together with the original image, and the present invention is not limited to this.
また、本発明の第３実施形態により分析されたイメージの余白領域がテキストをオーバーレイさせるほど十分でない場合、余白領域を自動生成して追加することもできる。したがって、追加した余白領域に第２実施形態と同じテキストまたは異なるテキストなどをオーバーレイさせることで編集イメージを生成することができる。 Also, if the margin area of the image analyzed according to the third embodiment of the present invention is not sufficient to overlay the text, the margin area can be automatically generated and added. Therefore, the edited image can be generated by overlaying the same marginal text as that of the second embodiment or a different text on the added blank area.
一方、第２および第３実施形態でも、第１実施形態と同様にテキストがオーバーレイされたイメージをリサイジングすることでレイアウトに合う所望の大きさと割合のイメージを生成することができる。 On the other hand, in the second and third embodiments, as in the first embodiment, an image with a desired size and ratio suitable for the layout can be generated by resizing the image overlaid with text.
また、本発明の第４実施形態により複数の原本イメージを互いにオーバーレイさせることで編集イメージを生成することができる。例えば、二つの原本イメージを互いにオーバーレイさせようとする場合、本発明の実施形態により各原本イメージの主要領域を検出し、各原本イメージの検出した主要領域が重ならないようにして互いにオーバーレイさせることで所望の編集イメージを生成することができる。 In addition, an edited image can be generated by overlaying a plurality of original images on each other according to the fourth embodiment of the present invention. For example, when two original images are to be overlaid on each other, a main area of each original image is detected according to the embodiment of the present invention, and the main areas detected in each original image are not overlapped with each other. A desired edited image can be generated.
このように、各実施形態により製作された編集イメージをウェブサーバに伝達し、ウェブサーバで編集イメージをレイアウトに合わせて配置してウェブページを構成する。すなわち、ユーザ端末（例えば、スマートフォン、タブレット、ノートパソコン、ＰＤＡなど）の画面サイズに合わせてこれに適するウェブページを構成し、ユーザ端末に提供する。 As described above, the edited image produced according to each embodiment is transmitted to the web server, and the edited image is arranged in accordance with the layout by the web server to configure the web page. That is, a web page suitable for the screen size of a user terminal (for example, a smartphone, a tablet, a notebook computer, a PDA, etc.) is configured and provided to the user terminal.
以下、図２を参照して本発明の実施形態に係る装置について説明し、図３を参照して本発明の実施形態に係る方法について説明する。 Hereinafter, an apparatus according to an embodiment of the present invention will be described with reference to FIG. 2, and a method according to an embodiment of the present invention will be described with reference to FIG.
＜イメージ分析によるイメージ自動編集装置＞
図２は本発明の実施形態に係るイメージ分析によるイメージ自動編集装置の詳細構成を示すブロック図である。図２を参照すると、本発明の実施形態に係るイメージ自動編集装置は、イメージ分析モジュール２２０と、イメージ編集モジュール２３０と、を含んで構成されることができる。また、イメージ分析モジュール２２０は、オブジェクト検出部２２１と、パターン分析部２２２と、余白検出部２２３と、を含んで構成されることができ、イメージ編集モジュール２３０は、イメージクロップ部２３１と、テキストオーバーレイ部２３２と、イメージオーバーレイ部２３３と、余白追加部２３４と、イメージリサイジング部２３５と、を含んで構成されることができる。
<Automatic image editing device by image analysis>
FIG. 2 is a block diagram showing a detailed configuration of the image automatic editing apparatus based on image analysis according to the embodiment of the present invention. Referring to FIG. 2, the image automatic editing apparatus according to the embodiment of the present invention may include an image analysis module 220 and an image editing module 230. The image analysis module 220 may include an object detection unit 221, a pattern analysis unit 222, and a margin detection unit 223. The image editing module 230 may include an image crop unit 231 and a text overlay. The unit 232, the image overlay unit 233, the margin adding unit 234, and the image resizing unit 235 may be included.
また、イメージ自動編集装置は、コンテンツ情報データベース２１０、イメージ構成情報データベース２４０および編集イメージデータベース２５０などの少なくとも一つのデータベースを含むことができる。 The automatic image editing apparatus can include at least one database such as a content information database 210, an image configuration information database 240, and an edited image database 250.
コンテンツ情報データベース２１０には、編集のための少なくとも一つの原本イメージ（すなわち、編集対象イメージ）が格納され、本発明の実施形態により各原本イメージ関連コンテンツのキャプション、タイトル、記事内容などがともにマッピングされて格納されることもできる。 The content information database 210 stores at least one original image for editing (that is, an image to be edited), and the caption, title, and article content of each original image related content are mapped together according to the embodiment of the present invention. Can also be stored.
イメージ分析モジュール２２０では、コンテンツ情報データベース２１０から編集する原本イメージの提供（ｆｅｅｄｉｎｇ）を受け、イメージ分析により全体イメージ領域のうち少なくとも一つの主要領域を検出する機能を行う。この際、本発明の実施形態により選択的に、オブジェクト検出部２２１によって主要領域を検出してもよく、パターン分析部２２２によって主要領域を検出してもよい。また、本発明の実施形態により、余白検出部２２３によって全体イメージ領域のうち少なくとも一つの余白領域を検出してもよい。 The image analysis module 220 has a function of detecting at least one main area of the entire image area by receiving an original image to be edited from the content information database 210 and performing image analysis. At this time, the main region may be selectively detected by the object detection unit 221 or the main region may be detected by the pattern analysis unit 222 according to the embodiment of the present invention. In addition, according to the embodiment of the present invention, the margin detection unit 223 may detect at least one margin area of the entire image area.
例えば、イメージ分析モジュール２２０は、コンテンツ情報データベース２１０に格納された分析するコンテンツのイメージの提供（ｆｅｅｄｉｎｇ）を受けると、後述する様々な方法によってイメージ分析を行う。すなわち、本発明の実施形態により原本イメージを分析して、顔または物体などが含まれた主要領域と主要領域でない余白領域とを検出する。 For example, when receiving an image of content to be analyzed stored in the content information database 210, the image analysis module 220 performs image analysis by various methods to be described later. That is, according to the embodiment of the present invention, the original image is analyzed to detect a main area including a face or an object and a blank area that is not the main area.
より具体的に説明すると、オブジェクト検出部２２１では、原本イメージに含まれた少なくとも一つのオブジェクト（例えば、顔、テキスト、物体など）を様々な方法で検出し、検出したオブジェクトが含まれた領域を主要領域と設定する。この際、全体イメージのうち主要領域と設定した領域以外の残りの領域は余白領域と自動設定されるように具現することができる。 More specifically, the object detection unit 221 detects at least one object (for example, a face, text, an object, etc.) included in the original image by various methods, and determines an area including the detected object. Set as main area. At this time, the remaining area other than the main area and the area set in the entire image can be automatically set as a blank area.
一方、このように全体イメージ領域が主要領域と余白領域とに区分されると、主要領域の位置、色、明るさ、最適の縦横比などの情報と、余白領域の位置、色、明るさ、最適の縦横比などの情報が生成されることができる。このように、生成された情報は、その後、イメージ編集をする時に参照されることができる。 On the other hand, when the entire image area is divided into a main area and a margin area in this way, information such as the position, color, brightness, and optimum aspect ratio of the main area and the position, color, brightness, Information such as the optimal aspect ratio can be generated. In this way, the generated information can be referred to when image editing is performed thereafter.
また、主要領域を検出するための他の方法としてパターン分析部２２２による主要領域検出が行われることもできる。例えば、イメージ内の各ピクセルの焦点値および対比値によって顕著性（Ｓａｌｉｅｎｃｙ）値を算出し、算出した顕著性値の分布により主要領域を検出することができる。これについては図５に関する説明部分で後述する。 Further, as another method for detecting the main area, the main area detection by the pattern analysis unit 222 may be performed. For example, a saliency value can be calculated from the focus value and contrast value of each pixel in the image, and a main region can be detected from the distribution of the calculated saliency value. This will be described later with reference to FIG.
一方、のようにオブジェクト検出部２２１またはパターン分析部２２２によって主要領域を検出した後、残りの領域を余白領域と設定することができ、本発明の他の実施形態により余白検出部２２３によって余白をさらに細分化して検出することもできる。例えば、余白検出部２２３では、本発明の実施形態により余白領域を第１余白と第２余白とに区分し、第１余白と第２余白がそれぞれ異なる編集方法で編集されるように具現することができる。 On the other hand, after the main area is detected by the object detection unit 221 or the pattern analysis unit 222 as shown in FIG. 5, the remaining area can be set as a blank area. According to another embodiment of the present invention, the margin is detected by the blank detection unit 223. Further, it can be detected by subdividing. For example, the margin detection unit 223 divides the margin area into the first margin and the second margin according to the embodiment of the present invention, and the first margin and the second margin are implemented by different editing methods. Can do.
このように、イメージ分析モジュール２２０で主要領域と余白領域とが区分されると、イメージ編集モジュール２３０では、領域が区分された原本イメージを様々な実施形態により（例えば、四つの実施形態により）、ウェブページなどに適用されるレイアウトに合わせてイメージを編集する。すなわち、イメージ編集モジュール２３０では、イメージ構成情報データベース２４０に格納されたウェブページを構成するレイアウトの情報（例えば、挿入するイメージの大きさ、縦横比、解像度、形状、形態、方向など）を参照してイメージ分析モジュール２２０によって分析されたイメージを編集する。 As described above, when the main area and the margin area are divided by the image analysis module 220, the image editing module 230 may convert the original image into which the area is divided according to various embodiments (for example, according to four embodiments). Edit the image according to the layout applied to the web page. That is, the image editing module 230 refers to the layout information (for example, the size, aspect ratio, resolution, shape, form, direction, etc. of the inserted image) that constitutes the web page stored in the image configuration information database 240. The image analyzed by the image analysis module 220 is edited.
例えば、イメージクロップ部２３１では、本発明の第１実施形態によりイメージ分析モジュール２２０で区分された主要領域をクロップしてウェブページに適用されるイメージ（例えば、サムネイルイメージ）を製作する。この際、クロップされたイメージをイメージリサイジング部２３５を介してリサイジングすることで所望の大きさと割合のイメージを生成することもできる。 For example, in the image crop unit 231, the main region divided by the image analysis module 220 according to the first embodiment of the present invention is cropped to produce an image (for example, a thumbnail image) applied to a web page. At this time, an image having a desired size and ratio can be generated by resizing the cropped image via the image resizing unit 235.
また、テキストオーバーレイ部２３２では、本発明の第２実施形態によりイメージ分析モジュール２２０で区分されたイメージの余白領域にテキストをオーバーレイさせることで原本イメージを編集する。この際、テキストは、上述したように、コンテンツ情報データベース２１０に原本イメージとともにマッピングされて格納された原本イメージ関連コンテンツのキャプション、タイトル、記事内容などであってもよく、本発明はこれに限定されない。 The text overlay unit 232 edits the original image by overlaying the text on the blank area of the image divided by the image analysis module 220 according to the second embodiment of the present invention. At this time, as described above, the text may be a caption, title, article content, or the like of the original image-related content mapped and stored in the content information database 210 together with the original image, and the present invention is not limited to this. .
また、本発明の第３実施形態により分析されたイメージの余白領域がテキストをオーバーレイさせるほど十分でない場合、余白追加部２３４では余白領域を自動生成して追加することもできる。これにより、余白追加部２３４によって追加された余白領域に第２実施形態と同じテキストをオーバーレイさせることで編集イメージを生成することができる。 In addition, when the margin area of the image analyzed according to the third embodiment of the present invention is not enough to overlay the text, the margin adding unit 234 can automatically generate and add the margin area. As a result, an edit image can be generated by overlaying the same text as in the second embodiment on the margin area added by the margin adding unit 234.
一方、テキストオーバーレイ部２３２および余白追加部２３４によって編集されたイメージは、第１実施形態と同様に、イメージリサイジング部２３５によってリサイジングすることでレイアウトに合う所望の大きさと割合のイメージを生成することができる。 On the other hand, the image edited by the text overlay unit 232 and the margin adding unit 234 is resized by the image resizing unit 235 to generate an image having a desired size and proportion suitable for the layout, as in the first embodiment. be able to.
また、イメージオーバーレイ部２３３では、本発明の第４実施形態により複数の原本イメージを互いにオーバーレイさせることで編集イメージを生成することができる。例えば、二つの原本イメージを互いにオーバーレイさせようとする場合、本発明の実施形態により、イメージ分析モジュール２２０が複数のイメージの提供を受けて各原本イメージの主要領域を検出し、イメージオーバーレイ部２３３では、各原本イメージの検出した主要領域が互いに重ならないようにしてオーバーレイさせることで所望の編集イメージを生成することができる。 The image overlay unit 233 can generate an edited image by overlaying a plurality of original images on each other according to the fourth embodiment of the present invention. For example, when two original images are to be overlaid on each other, according to an embodiment of the present invention, the image analysis module 220 receives a plurality of images and detects a main area of each original image. The desired editing image can be generated by overlaying the detected main regions of the original images so as not to overlap each other.
このように、各実施形態により、イメージ編集モジュール２３０によって製作された編集イメージは、編集イメージデータベース２５０に格納され、格納された編集イメージは、ウェブサーバに適用されて様々な形態のウェブページを構成する。すなわち、上述したように、ユーザ端末（例えば、スマートフォン、タブレット、ノートパソコン、ＰＤＡなど）の画面サイズに合わせてこれに適するウェブページを構成し、ユーザ端末に提供することができる。 As described above, according to each embodiment, the edited image produced by the image editing module 230 is stored in the edited image database 250, and the stored edited image is applied to the web server to form various forms of web pages. To do. That is, as described above, a web page suitable for the screen size of a user terminal (for example, a smartphone, a tablet, a laptop computer, a PDA, etc.) can be configured and provided to the user terminal.
＜イメージ分析によるイメージ自動編集方法＞
図３は本発明の実施形態に係るイメージ分析によるイメージ自動編集手順を示すフローチャートである。図３を参照すると、上述したように、本発明の実施形態により提供を受けた原本イメージを分析して主要領域を検出（Ｓ３０１）する。この際、イメージ編集方法として、主要領域をクロップして編集しようとする場合（Ｓ３０２）、検出した主要領域をクロップしてウェブページを構成する該ページのレイアウトに合わせてイメージを生成（Ｓ３０３）する。この際、イメージ生成方法でクロップされた主要領域をリサイジングして生成することもでき、イメージを適用するレイアウトを考慮して主要領域をクロップすることもできる。このように、生成された編集イメージ（例えば、サムネイルイメージ）はウェブページの該レイアウトに適用される。
<Image automatic editing method by image analysis>
FIG. 3 is a flowchart showing an image automatic editing procedure by image analysis according to the embodiment of the present invention. Referring to FIG. 3, as described above, an original image provided according to an embodiment of the present invention is analyzed to detect a main region (S301). At this time, as an image editing method, when the main area is to be cropped and edited (S302), the detected main area is cropped to generate an image in accordance with the layout of the page constituting the web page (S303). . At this time, the main area cropped by the image generation method can be generated by resizing, and the main area can be cropped in consideration of the layout to which the image is applied. In this way, the generated edited image (eg, thumbnail image) is applied to the layout of the web page.
一方、原本イメージをクロップすることなく、上述したように他の実施形態により主要領域でない余白領域にテキストまたはイメージをオーバーレイしてもよい。したがって、後述する様々な方法で主要領域でない余白領域を検出（Ｓ３０４）した後、テキストまたは他のイメージをオーバーレイすることができる。 On the other hand, without cropping the original image, as described above, text or an image may be overlaid on a blank area that is not a main area according to another embodiment. Therefore, after detecting a blank area that is not a main area by various methods to be described later (S304), text or another image can be overlaid.
仮に、テキストを余白領域にオーバーレイしようとする場合（Ｓ３０５）、まず、検出した余白領域がテキストをオーバーレイするために十分であるかを判断（Ｓ３０６）する。その判断方法は、オーバーレイするテキストの最小のフォントサイズを考慮してテキスト全体の領域の大きさを算出し、検出した余白領域の大きさと比較してオーバーレイ可能であるかを判断する方法とすることができる。 If the text is to be overlaid on the blank area (S305), it is first determined whether the detected blank area is sufficient to overlay the text (S306). The determination method is to calculate the size of the entire text area in consideration of the minimum font size of the text to be overlaid, and to determine whether overlaying is possible by comparing with the size of the detected margin area. Can do.
判断の結果、テキストをオーバーレイするための余白領域の大きさが十分でない場合、新しい本発明の実施形態により余白領域を原本イメージまたは主要領域がクロップされたイメージに追加（Ｓ３０７）する。次に、追加された余白領域にテキストをオーバーレイ（Ｓ３０８）させる。 If the size of the margin area for overlaying the text is not sufficient as a result of the determination, the margin area is added to the original image or the image obtained by cropping the main area according to the embodiment of the present invention (S307). Next, text is overlaid on the added blank area (S308).
判断の結果、テキストをオーバーレイするための余白領域の大きさが十分である場合、検出した余白領域にテキストをオーバーレイ（Ｓ３０８）させる。 As a result of the determination, if the size of the margin area for overlaying the text is sufficient, the text is overlaid on the detected margin area (S308).
一方、本発明の他の実施形態により原本イメージに他の少なくとも一つの原本イメージをオーバーレイしようとする場合（Ｓ３０９）、複数のイメージを互いにオーバーレイ（Ｓ３１０）させる。この際、各原本イメージから主要領域を検出し、各原本イメージの主要領域が互いに重ならないようにオーバーレイさせることが好ましい。 Meanwhile, when another at least one original image is to be overlaid on the original image according to another embodiment of the present invention (S309), the plurality of images are overlaid on each other (S310). At this time, it is preferable to detect a main region from each original image and overlay the main regions of each original image so as not to overlap each other.
例えば、第１イメージと第２イメージをレイアウトに合わせてオーバーレイさせようとする場合、第１イメージおよび第２イメージの主要領域および余白領域をそれぞれ検出し、第２イメージの主要領域をクロップして第１イメージの余白領域にオーバーレイさせることができる。このようにすることで、第１イメージの主要領域と第２イメージの主要領域が互いに重ならなくなり、各イメージ上の主要オブジェクトが脱落することなく表示されることができる。また、他の方法として、第１イメージの主要領域と第２イメージの主要領域をそれぞれクロップし、クロップされた各イメージをレイアウトに合わせて再配置することで編集イメージを生成することができる。 For example, when the first image and the second image are to be overlaid in accordance with the layout, the main area and the blank area of the first image and the second image are detected, and the main area of the second image is cropped. It is possible to overlay on a blank area of one image. In this way, the main area of the first image and the main area of the second image do not overlap each other, and the main object on each image can be displayed without dropping off. As another method, an edited image can be generated by cropping the main area of the first image and the main area of the second image, and rearranging the cropped images according to the layout.
以下、図４から図８を参照して原本イメージから主要領域および余白領域を検出する方法について詳細に説明する。 Hereinafter, a method for detecting the main area and the blank area from the original image will be described in detail with reference to FIGS.
＜主要領域検出方法＞
図４は本発明の実施形態に係る主要領域検出の詳細手順を示すフローチャートである。図４を参照すると、編集しようとする原本イメージに含まれたオブジェクトを識別することで識別されたオブジェクトが含まれた領域を主要領域と検出することができる。この際、オブジェクトは、顔、テキスト、その他の主要物体であってもよい。
<Main area detection method>
FIG. 4 is a flowchart showing a detailed procedure of main area detection according to the embodiment of the present invention. Referring to FIG. 4, by identifying an object included in an original image to be edited, an area including the identified object can be detected as a main area. At this time, the object may be a face, text, or other main object.
例えば、まず、イメージ内に顔が存在するかを検出（Ｓ４０１）することができる。検出の結果、顔が存在する場合（Ｓ４０２）、検出した顔が含まれた領域を主要領域と判断（Ｓ４０３）することができる。この際、イメージから顔を検出する方法は公知の様々なイメージプロセッシング方法によって具現することができ、その詳細な説明は省略する。一方、顔検出結果、複数個の顔が検出された場合、各顔の重要度（例えば、大きさ、位置、鮮明度などを基準に決定された重要度）を判別して複数の顔のうち重要度の高い顔を含む領域を主要領域と判断するか、検出した複数個の顔全部を含む一つの領域を主要領域と判断することもできる。 For example, first, it can be detected whether a face exists in the image (S401). As a result of the detection, if a face exists (S402), the area including the detected face can be determined as the main area (S403). At this time, a method for detecting a face from an image can be implemented by various known image processing methods, and detailed description thereof is omitted. On the other hand, when a plurality of faces are detected as a result of the face detection, the importance of each face (for example, the importance determined based on the size, position, sharpness, etc.) is determined, and among the plurality of faces It is also possible to determine a region including a highly important face as a main region, or to determine one region including all of a plurality of detected faces as a main region.
また、イメージ内にテキストが含まれているかを分析（Ｓ４０４）することで主要領域を判断することができる。この際、イメージからテキストを検出する方法としてＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）技術を用いて検出してもよい。このように、イメージからテキストが検出（Ｓ４０５）されると、検出したテキスト領域を主要領域と判断（Ｓ４０６）することができる。 In addition, the main area can be determined by analyzing whether text is included in the image (S404). At this time, OCR (Optical Character Reader) technology may be used as a method for detecting text from an image. Thus, when text is detected from an image (S405), the detected text area can be determined as a main area (S406).
また、本発明の実施形態により少なくとも一つの予め指定した特定の物体が存在するかを検出（Ｓ４０７）することもできる。検出の結果、予め指定した特定の物体がイメージ内に存在する場合（Ｓ４０８）、検出した物体が含まれた領域を主要領域と判断（Ｓ４０９）することができる。 In addition, according to the embodiment of the present invention, it is possible to detect whether there is at least one specific object specified in advance (S407). As a result of the detection, if a specific object designated in advance exists in the image (S408), the area including the detected object can be determined as the main area (S409).
一方、上述したオブジェクト検出方法において、顔、テキスト、その他の主要物体などを検出する各方法は選択的に適用してもよく、本発明は図４に示された検出順序に限定されない。 On the other hand, in the object detection method described above, each method for detecting a face, text, other main objects, and the like may be selectively applied, and the present invention is not limited to the detection order shown in FIG.
図５は本発明の実施形態に係るイメージパターン分析による主要領域検出手順を示すフローチャートである。図５を参照すると、図４について詳述した方法とは異なり、特定のオブジェクトを検出することなく、イメージ全体のパターンを分析することで主要領域を検出することもできる。 FIG. 5 is a flowchart showing a main area detection procedure by image pattern analysis according to the embodiment of the present invention. Referring to FIG. 5, unlike the method described in detail with reference to FIG. 4, it is also possible to detect the main region by analyzing the pattern of the entire image without detecting a specific object.
すなわち、イメージ内で焦点が合っている部分と合っていない部分が共存する場合、鮮明度分析により鮮明度の平均値が相対的に高い領域を主要領域と判断することもできる。この際、鮮明度分析方法ではイメージ内の特定のピクセルを中心として周辺ピクセル値の変化周期が短いほど高い鮮明度を有するものと判断することができる。 That is, when a portion in focus and a portion out of focus coexist in the image, it is possible to determine a region having a relatively high average value of the sharpness as a main region by the sharpness analysis. At this time, in the sharpness analysis method, it can be determined that the shorter the change period of the peripheral pixel values around a specific pixel in the image, the higher the sharpness.
また、他の方法として、イメージ内の各ピクセルに対し周辺ピクセルに対する色または明暗の差値を求め、その差値の平均値が相対的に高い領域を主要領域と判断することもできる。 As another method, for each pixel in the image, a color or brightness difference value with respect to surrounding pixels can be obtained, and an area where the average value of the difference values is relatively high can be determined as the main area.
さらに他の方法として、上述した焦点値および対比値を組み合わせて主要領域を判断することもできる。すなわち、各ピクセルの焦点値および対比値を算出（Ｓ５０１、Ｓ５０２）し、焦点値および対比値を演算して顕著性（Ｓａｌｉｅｎｃｙ）値を決定（Ｓ５０３）することができる。例えば、顕著性値は焦点値と対比値を掛け算して算出することができる。 As another method, the main area can be determined by combining the focus value and the contrast value described above. That is, the focus value and contrast value of each pixel can be calculated (S501, S502), and the saliency value can be determined by calculating the focus value and contrast value (S503). For example, the saliency value can be calculated by multiplying the focus value and the contrast value.
このように、各ピクセルに対する顕著性値が算出されると、イメージ内の顕著性値の分布を二次元ガウス分布（ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）でモデリング（Ｓ５０４）し、予め設定した値以上の顕著性値が凝集した領域をイメージ内の主要領域と判断（Ｓ５０５）する。この際、イメージ内の顕著性値の分布に応じて、一つの主要領域または二つ以上の複数個の主要領域を検出することができる。 Thus, when the saliency value for each pixel is calculated, the distribution of the saliency value in the image is modeled with a two-dimensional Gaussian distribution (S504), and the saliency value equal to or greater than a preset value is obtained. The aggregated area is determined as the main area in the image (S505). At this time, one main region or two or more main regions can be detected according to the distribution of the saliency values in the image.
このように、本発明の実施形態により抽出した主要領域は、図６ｂに示されたように、基本的に主要領域の大きさ、形状、方向などを取り囲む閉曲線（例えば、楕円）の形態６２０をとることができ、必要に応じて、図６ａに示されたように閉曲線を含む四角形などの図形６１０に最終決定することができる。 Thus, the main region extracted according to the embodiment of the present invention basically has a closed curve (eg, ellipse) form 620 surrounding the size, shape, direction, etc. of the main region, as shown in FIG. 6b. If necessary, a final figure 610 such as a quadrangle including a closed curve as shown in FIG. 6a can be finally determined.
＜余白領域検出方法＞
図７は本発明の実施形態に係る余白領域（Ｎｏｎ‐ｓａｌｉｅｎｔ Ａｒｅａ）を検出する手順を示すフローチャートである。一方、本発明における余白領域は、イメージ内での影響力が相対的に少ない領域を意味し、主要領域と反対の意味を有する。したがって、上述したように決定された主要領域以外の残りの領域を余白領域と決定してもよく、他の方法で余白領域を決定してもよい。一方、で検出した主要領域の形態に応じて主要領域と余白領域の一部が互いに重なっていてもよい。
<Margin area detection method>
FIG. 7 is a flowchart showing a procedure for detecting a blank area (Non-salient Area) according to the embodiment of the present invention. On the other hand, the blank area in the present invention means an area having relatively little influence in the image and has the opposite meaning to the main area. Therefore, the remaining area other than the main area determined as described above may be determined as the blank area, or the blank area may be determined by another method. On the other hand, the main area and a part of the blank area may overlap each other in accordance with the form of the main area detected in.
余白領域を抽出するための一つの実施形態として図７を参照すると、まず、上述したようにイメージの主要領域を検出（Ｓ７０１）する。次に、図８ａに示されたように、主要領域８１０以外の残りの領域を余白領域の候補領域である第１余白領域８２０と指定（Ｓ７０２）する。 Referring to FIG. 7 as one embodiment for extracting a blank area, first, a main area of an image is detected (S701) as described above. Next, as shown in FIG. 8a, the remaining area other than the main area 810 is designated as a first blank area 820 which is a blank area candidate area (S702).
次に、指定された第１余白領域に対して画面分割（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を行う（Ｓ７０３）。この際、画面分割は、類似したピクセル値（例えば、焦点値、対比値、顕著性値など）を有する隣接ピクセルをグルーピングして最終的に一つの画面を類似したピクセル値を有する複数の領域に分ける作業である。例えば、第１余白領域の各ピクセルの色または明暗と隣接ピクセルの色または明暗とを比較して、その差が予め設定した基準以下の場合には類似したピクセルとみなし、一つの領域にグルーピングする。次に、各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を図８ｂに示されたように第２余白領域８３０と設定（Ｓ７０４）する。 Next, image segmentation is performed on the designated first blank area (S703). In this case, the screen division is performed by grouping adjacent pixels having similar pixel values (for example, focus value, contrast value, saliency value, etc.) to finally divide one screen into a plurality of regions having similar pixel values. It is a work to divide. For example, the color or brightness of each pixel in the first margin area is compared with the color or brightness of adjacent pixels, and if the difference is less than or equal to a preset reference, it is regarded as a similar pixel and grouped into one area. . Next, among the divided areas, an area having a change rate of a pixel value lower than a preset first threshold value and having a size or shape higher than a preset second threshold value is shown in FIG. 8b. As shown, the second blank area 830 is set (S704).
一方、第１余白領域は、切り取られたり他のイメージと重なって覆われても良い領域を意味し、第２余白領域は、第１余白領域の中でも画面変化率が少なく、平坦なピクセル値を有する領域を意味する。このように決定された各余白領域は、その後のオーバーレイ編集の過程でそれぞれ適用（Ｓ７０５）することができる。例えば、後述する本発明の実施形態において、第１余白領域は、複数のイメージをオーバーレイする場合に使用することができ、第２余白領域は、イメージにテキストをオーバーレイする場合に使用することができる。 On the other hand, the first margin area means an area that may be cut out or covered with another image, and the second margin area has a smaller pixel change rate than the first margin area, and has a flat pixel value. It means the area that has. Each margin area determined in this way can be applied (S705) in the subsequent overlay editing process. For example, in the embodiment of the present invention described later, the first margin area can be used when overlaying a plurality of images, and the second margin area can be used when overlaying text on the image. .
以上、図４から図８を参照して本発明の実施形態に係る主要領域および余白領域を検出する方法について詳細に説明した。次に、図９から図１４を参照して本発明の各実施形態に係る様々なイメージ編集方法について詳細に説明する。 The method for detecting the main area and the blank area according to the embodiment of the present invention has been described in detail above with reference to FIGS. Next, various image editing methods according to the embodiments of the present invention will be described in detail with reference to FIGS. 9 to 14.
＜第１実施形態‐主要領域クロップ＞
図９は本発明の第１実施形態に係る原本イメージをクロップする手順を示すフローチャートである。図９を参照すると、本発明の第１実施形態により原本イメージの主要領域をクロップすることでイメージを編集することができる。
<First Embodiment-Main Area Crop>
FIG. 9 is a flowchart showing a procedure for cropping an original image according to the first embodiment of the present invention. Referring to FIG. 9, the image can be edited by cropping the main area of the original image according to the first embodiment of the present invention.
すなわち、まず、上述したように原本イメージの主要領域が検出（Ｓ９０１）されると、イメージがウェブページ上でのレイアウトを考慮して、該編集したイメージ（例えば、サムネイルイメージ）が配置される領域の特性値（例えば、イメージ大きさ、縦横比など）の入力（Ｓ９０２）を受ける。次に、入力された特性値に応じて検出した主要領域をクロップし、リサイジング（Ｓ９０３）することでイメージを編集する。また、他の実施形態として、複数個のコンテンツに対するイメージの主要領域に対し最適のクロップの割合および大きさを算出し、該イメージの組み合わせに最も適するコンテンツレイアウトを提案することでウェブページを構成してもよい。 That is, first, when the main area of the original image is detected (S901) as described above, the area where the edited image (for example, thumbnail image) is arranged in consideration of the layout on the web page. Input (S902) of characteristic values (for example, image size, aspect ratio, etc.). Next, the main area detected according to the input characteristic value is cropped and resized (S903) to edit the image. In another embodiment, a web page is constructed by calculating an optimal crop ratio and size for main areas of an image for a plurality of contents and proposing a content layout most suitable for the combination of the images. May be.
一方、本発明の実施形態により決定された主要領域をクロップした後、該大きさまたは縦横比に合わせてリサイジングすることもでき、主要領域をクロップする際に該大きさまたは縦横比を考慮してクロップするように具現することもできる。 On the other hand, after cropping the main area determined according to the embodiment of the present invention, resizing can be performed according to the size or aspect ratio, and the size or aspect ratio is taken into account when cropping the main area. It can also be embodied to crop.
図１０は本発明の第１実施形態に係る原本イメージからクロップしたイメージを示す図である。図１０を参照すると、原本イメージから上述したように主要領域１０００をクロップすることでクロップイメージをウェブページなどに配置することができる。例えば、スマートフォンなど相対的に小さい画面に使用するために主要領域を中心にクロップするか、特定のレイアウトのための割合に合わせてクロップすることでイメージを効果的に自動編集することができる。 FIG. 10 is a view showing an image cropped from the original image according to the first embodiment of the present invention. Referring to FIG. 10, by cropping the main area 1000 from the original image as described above, the crop image can be arranged on a web page or the like. For example, the image can be automatically and effectively edited by cropping around a main area for use on a relatively small screen such as a smartphone, or by cropping in accordance with a ratio for a specific layout.
＜第２実施形態‐イメージ＋テキストオーバーレイ＞
図１１は本発明の第２実施形態に係る余白領域にテキストをオーバーレイする手順を示すフローチャートである。図１１を参照すると、原本イメージから上述したように主要領域を検出（Ｓ１１０１）し、検出した主要領域以外の残りの領域を余白領域と設定（Ｓ１１０２）する。
<Second Embodiment-Image + Text Overlay>
FIG. 11 is a flowchart showing a procedure for overlaying text on a blank area according to the second embodiment of the present invention. Referring to FIG. 11, the main area is detected from the original image as described above (S1101), and the remaining area other than the detected main area is set as a blank area (S1102).
次に、余白領域の大きさを算出してオーバーレイ可能なテキスト列の長さを判断（Ｓ１１０３）し、該領域に適するテキスト（例えば、アーティクルのタイトル、内容の一部など）を配置して、自動でオーバーレイ（Ｓ１１０６）させる。この際、本発明の実施形態によりテキストがオーバーレイされる余白領域の色を分析（Ｓ１１０４）し、分析された余白領域の色を考慮してテキストの色を決定（Ｓ１１０５）する。例えば、余白領域の色の補色の色をテキストの色と決定することで余白の色に応じてテキストがはっきりと見える色に決定することが好ましい。また、余白領域の色が淡い色の場合にはテキストの色を反対の色のフォントに設定するか、テキストの背景を別の色でボックス処理することができる。 Next, the size of the margin area is calculated to determine the length of the text string that can be overlaid (S1103), and the text suitable for the area (for example, the title of the article, part of the content, etc.) is arranged, Overlay is automatically performed (S1106). At this time, according to the embodiment of the present invention, the color of the blank area where the text is overlaid is analyzed (S1104), and the color of the text is determined in consideration of the analyzed blank area color (S1105). For example, it is preferable to determine a color in which the text can be clearly seen according to the margin color by determining the complementary color of the margin area color as the text color. If the margin area is light, the text color can be set to the opposite font, or the text background can be boxed with a different color.
すなわち、図１２を参照すると、左側に示された原本イメージから主要領域１２００と余白領域１２１０とを検出し、余白領域１２１０の大きさと色を分析する。すなわち、余白領域１２１０の大きさを分析して配置するテキスト列の長さを決定し、余白領域１２１０の色を分析して配置するテキストの色を決定することができる。 That is, referring to FIG. 12, the main area 1200 and the blank area 1210 are detected from the original image shown on the left side, and the size and color of the blank area 1210 are analyzed. That is, the length of the text string to be arranged can be determined by analyzing the size of the margin area 1210, and the color of the text to be arranged can be determined by analyzing the color of the margin area 1210.
したがって、右側に示された編集イメージのように余白領域１２１０の上端に「新しい春を迎えるインテリアーノーハウ」というテキスト列のヘッドライン１２２０が余白領域１２１０の色と反対の色で配置されることができ、下端にはテキストボックス１２３０形態でテキスト列が配置されることができる。テキストボックス１２３０は、ボックス内のテキストの色とテキストボックス１２３０の背景色を互いに反対の色で設定することでテキストの可読性を高めることができる。 Therefore, the headline 1220 of the text string “interior know how to reach a new spring” is arranged in the color opposite to the color of the margin area 1210 at the upper end of the margin area 1210 as in the editing image shown on the right side. In addition, a text string can be arranged in the form of a text box 1230 at the lower end. The text box 1230 can improve the readability of the text by setting the color of the text in the box and the background color of the text box 1230 to opposite colors.
＜第３実施形態‐イメージに余白領域追加＞
図１３は本発明の第３実施形態に係る原本イメージに余白領域が追加されたイメージを示す図である。図１３を参照すると、原本イメージから余白領域が検出されない場合、原本イメージから検出した主要領域外の背景イメージの複雑度を判別して、イメージ複雑度が低い場合に、該背景の色を分析して基本色を抽出し、抽出した基本色に似合う色（例えば、類似した色、補色、同色、主要領域の色など）の余白領域１３１０を原本イメージ１３００に追加することができる。
<Third embodiment-adding a blank area to an image>
FIG. 13 is a view showing an image in which a blank area is added to the original image according to the third embodiment of the present invention. Referring to FIG. 13, when no blank area is detected from the original image, the complexity of the background image outside the main area detected from the original image is determined, and when the image complexity is low, the background color is analyzed. The basic color can be extracted, and a blank area 1310 of a color that matches the extracted basic color (for example, a similar color, a complementary color, the same color, a color of the main area, etc.) can be added to the original image 1300.
このように、主要領域外の単純な背景領域でテキストをオーバーレイできる追加のタイトル／キャプション領域を余白領域として生成することができる。これにより、このように原本イメージ１３００に余白領域１３１０が追加された新しいイメージを生成することもでき、イメージ外にＨＴＭＬ／ＣＳＳなどを用いて新しいキャプション領域を生成することもできる。 In this way, an additional title / caption area that can overlay text with a simple background area outside the main area can be generated as a margin area. Accordingly, a new image in which the blank area 1310 is added to the original image 1300 can be generated as described above, and a new caption area can be generated using HTML / CSS or the like outside the image.
＜第４実施形態‐イメージ＋イメージオーバーレイ＞
図１４は本発明の第４実施形態に係る複数のイメージがオーバーレイされたイメージを示す図である。ウェブページなどに配置するコンテンツに複数のイメージが存在する場合、本発明の第４実施形態により各イメージの主要領域と余白領域の大きさおよび位置を比較することで複数のイメージをオーバーレイして自動編集することができる。
<Fourth Embodiment-Image + Image Overlay>
FIG. 14 is a view showing an image in which a plurality of images according to the fourth embodiment of the present invention are overlaid. When there are multiple images in the content to be arranged on the web page etc., the fourth embodiment of the present invention automatically overlays the multiple images by comparing the size and position of the main area and the margin area of each image. Can be edited.
例えば、図１４を参照すると、まず、上述した方法を用いて上に示した第１イメージ１４１０で主要領域１４１１を判別し、下に示した第２イメージ１４２０で主要領域１４２１を判別する。 For example, referring to FIG. 14, first, the main area 1411 is discriminated from the first image 1410 shown above using the method described above, and the main area 1421 is discriminated from the second image 1420 shown below.
次に、第１イメージ１４１０の余白領域に第２イメージ１４２０の主要領域１４２１をオーバーレイさせるか、図１４には示されていないが、第２イメージ１４２０の余白領域に第１イメージ１４１０の主要領域１４１１をオーバーレイさせることができる。このようにすることで複数個のイメージの各主要領域が互いに重ならなくてもイメージを自動でオーバーレイすることが可能となる。一方、図１４には二つのイメージをオーバーレイさせる方法を示しているが、同一の方法で３以上のイメージをオーバーレイさせることも可能である。 Next, the main area 1421 of the second image 1420 is overlaid on the blank area of the first image 1410, or the main area 1411 of the first image 1410 is overlaid on the blank area of the second image 1420, which is not shown in FIG. Can be overlaid. By doing so, it is possible to automatically overlay the images even if the main areas of the plurality of images do not overlap each other. On the other hand, FIG. 14 shows a method of overlaying two images, but it is also possible to overlay three or more images by the same method.
以上、本発明を具体的な構成要素などのような特定事項と限定された実施例及び図面を参照して説明したが、これは本発明のより全体的な理解を容易にするために提供されたものにすぎず、本発明は実施例によって限定されず、本発明が属する分野で通常的な知識を有した者であれば、このような記載から多様な修正及び変形が可能である。 Although the present invention has been described above with reference to specific items such as specific components and limited embodiments and drawings, this is provided to facilitate a more general understanding of the invention. However, the present invention is not limited to the embodiments, and various modifications and variations can be made from such description to those who have general knowledge in the field to which the present invention belongs.
従って、本発明の思想は実施例に限定されて決まってはならず、添付する特許請求の範囲だけでなく、特許請求の範囲と均等または等価的に変形された全ては、本発明の思想の範疇に属するとするべきであろう。 Therefore, the idea of the present invention should not be determined by being limited to the embodiments, and not only the appended claims but also all modifications equivalent or equivalent to the scope of the claims are within the spirit of the present invention. Should belong to a category.
２１０ コンテンツ情報データベース
２２０ イメージ分析モジュール
２２１ オブジェクト検出部
２２２ パターン分析部
２２３ 余白検出部
２３０ イメージ編集モジュール
２３１ イメージクロップ部
２３２ テキストオーバーレイ部
２３３ イメージオーバーレイ部
２３４ 余白追加部
２３５ イメージリサイジング部
２４０ イメージ構成情報データベース
２５０ 編集イメージデータベース
210 Content information database 220 Image analysis module 221 Object detection unit 222 Pattern analysis unit 223 Margin detection unit 230 Image editing module 231 Image crop unit 232 Text overlay unit 233 Image overlay unit 234 Margin addition unit 235 Image resizing unit 240 Image configuration information database 250 Editing image database
Claims (23)
前記コンテンツ情報データベースから前記少なくとも一つの編集対象イメージの提供を受け、前記提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出するイメージ分析モジュールと、
前記検出した主要領域を含む編集イメージを自動生成するイメージ編集モジュールと、を含む、イメージ分析によるイメージ自動編集装置。 A content information database storing at least one image to be edited;
An image analysis module that receives the at least one editing target image from the content information database and detects at least one main region of the entire region of the provided editing target image;
An image automatic editing apparatus based on image analysis, comprising: an image editing module that automatically generates an edited image including the detected main area.
前記イメージ編集モジュールは、前記イメージ構成情報データベースに格納された構成情報に基づいて前記編集イメージを自動生成する、請求項１に記載のイメージ分析によるイメージ自動編集装置。 An image configuration information database for storing configuration information of a layout in which the edited image is arranged;
The image editing module according to claim 1, wherein the image editing module automatically generates the edited image based on configuration information stored in the image configuration information database.
前記編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、前記検出したオブジェクトを含む領域を主要領域と判断するオブジェクト検出部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。 The image analysis module includes:
The image automatic editing apparatus according to claim 1, further comprising an object detection unit that detects at least one object in the entire area of the image to be edited and determines the area including the detected object as a main area.
前記編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出し、前記算出した焦点値および対比値に基づいて顕著性値を算出し、前記算出した顕著性値の分布によって少なくとも一つの主要領域を検出するパターン分析部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。 The image analysis module includes:
A focus value and a contrast value are calculated for each pixel in the image to be edited, a saliency value is calculated based on the calculated focus value and contrast value, and at least one distribution is calculated based on the distribution of the calculated saliency value. The image automatic editing apparatus by image analysis according to claim 1, further comprising a pattern analysis unit that detects a main area.
前記編集対象イメージの全体領域のうち前記検出した主要領域以外の領域を余白領域と判断する余白検出部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。 The image analysis module includes:
2. The image automatic editing apparatus according to claim 1, further comprising a margin detection unit that determines a region other than the detected main region as a margin region in the entire region of the image to be edited.
前記検出した主要領域以外の領域を第１余白領域と設定し、前記第１余白領域において類似したピクセル値を有する複数の領域に画面分割を行い、各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を第２余白領域と設定する、請求項５に記載のイメージ分析によるイメージ自動編集装置。 The margin detection unit
An area other than the detected main area is set as a first margin area, screen division is performed on a plurality of areas having similar pixel values in the first margin area, and a first preset value among the divided areas is set. 6. The image by image analysis according to claim 5, wherein an area having a change rate of a pixel value lower than a threshold value and having a size or shape higher than a preset second threshold value is set as a second margin area. Automatic editing device.
前記イメージ分析モジュールで検出した主要領域を前記編集対象イメージからクロップするイメージクロップ部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。 The image editing module
The image automatic editing device by image analysis according to claim 1, further comprising an image crop unit that crops a main area detected by the image analysis module from the image to be edited.
前記余白領域にテキストをオーバーレイさせるテキストオーバーレイ部を含む、請求項５に記載のイメージ分析によるイメージ自動編集装置。 The image editing module
The image automatic editing apparatus according to claim 5, further comprising a text overlay unit that overlays text on the blank area.
主要領域が検出された複数の編集対象イメージに対して第１イメージの余白領域に第２イメージの主要領域をオーバーレイさせるイメージオーバーレイ部を含む、請求項５に記載のイメージ分析によるイメージ自動編集装置。 The image editing module
6. The image automatic editing apparatus according to claim 5, further comprising an image overlay unit that overlays the main area of the second image on the blank area of the first image with respect to a plurality of editing target images in which the main area is detected.
前記全体領域のうち前記主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、前記編集対象イメージに余白領域をさらに追加させる余白追加部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。 The image editing module
The image automatic editing by image analysis according to claim 1, further comprising a margin adding unit that adds a blank area to the image to be edited when there is not enough space to overlay text on an area that is not the main area of the entire area. apparatus.
前記主要領域を含む編集イメージの大きさまたは縦横比を前記構成情報に応じてリサイジングするイメージリサイジング部を含む、請求項１に記載のイメージ分析によるイメージ自動編集装置。 The image editing module
The image automatic editing device by image analysis according to claim 1, further comprising an image resizing unit that resizes a size or an aspect ratio of an edited image including the main area according to the configuration information.
前記イメージ分析モジュールから前記提供された編集対象イメージの全体領域のうち少なくとも一つの主要領域を検出する段階と、
イメージ編集モジュールで前記検出した主要領域を含む編集イメージを自動生成する段階と、を含む、イメージ分析によるイメージ自動編集方法。 Receiving the image to be edited from the image analysis module;
Detecting at least one main area from the entire area of the provided image to be edited from the image analysis module;
And automatically generating an edited image including the detected main area by an image editing module.
前記編集イメージが配置されるレイアウトの構成情報に基づいて前記編集イメージを自動生成する、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 The step of generating the edited image includes:
The image editing method according to claim 12, wherein the editing image is automatically generated based on configuration information of a layout in which the editing image is arranged.
前記編集対象イメージの全体領域のうち少なくとも一つのオブジェクトを検出し、前記検出したオブジェクトを含む領域を主要領域と判断する、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 Detecting the main region comprises:
13. The image automatic editing method according to claim 12, wherein at least one object is detected from the entire area of the image to be edited, and an area including the detected object is determined as a main area.
前記編集対象イメージ内の各ピクセルに対して焦点値および対比値を算出する段階と、
前記算出した焦点値および対比値に基づいて顕著性値を算出する段階と、
前記算出した顕著性値の分布によって少なくとも一つの主要領域を検出する段階と、を含む、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 Detecting the main region comprises:
Calculating a focus value and a contrast value for each pixel in the image to be edited;
Calculating a saliency value based on the calculated focus value and contrast value;
The method according to claim 12, further comprising: detecting at least one main region based on the distribution of the calculated saliency values.
前記編集対象イメージの全体領域のうち前記検出した主要領域以外の領域を余白領域と判断する段階をさらに含む、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 After detecting the main region,
The image automatic editing method by image analysis according to claim 12, further comprising the step of determining an area other than the detected main area among the entire area of the image to be edited as a blank area.
前記検出した主要領域以外の領域を第１余白領域と設定する段階と、
前記第１余白領域において類似したピクセル値を有する複数の領域に画面分割を行う段階と、
各分割した領域のうち予め設定した第１しきい値より低いピクセル値の変化率を有し、かつ予め設定した第２しきい値より高い大きさまたは形状を有する領域を第２余白領域と設定する段階と、を含む、請求項１６に記載のイメージ分析によるイメージ自動編集方法。 The step of determining the margin area includes
Setting an area other than the detected main area as a first margin area;
Dividing the screen into a plurality of regions having similar pixel values in the first margin region;
Of each divided area, an area having a change rate of a pixel value lower than a preset first threshold and having a size or shape higher than a preset second threshold is set as a second margin area. The method for automatically editing images by image analysis according to claim 16, further comprising:
前記検出した主要領域を前記編集対象イメージからクロップする段階を含む、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 The step of generating the edited image includes:
13. The image automatic editing method by image analysis according to claim 12, further comprising the step of cropping the detected main area from the image to be edited.
前記余白領域にテキストをオーバーレイさせる段階を含む、請求項１６に記載のイメージ分析によるイメージ自動編集方法。 The step of generating the edited image includes:
The method according to claim 16, further comprising overlaying text on the blank area.
主要領域が検出された複数の編集対象イメージに対して第１イメージの余白領域に第２イメージの主要領域をオーバーレイさせる段階を含む、請求項１６に記載のイメージ分析によるイメージ自動編集方法。 The step of generating the edited image includes:
17. The image automatic editing method according to claim 16, further comprising the step of overlaying a main area of the second image on a blank area of the first image with respect to a plurality of editing target images in which the main area is detected.
前記全体領域のうち前記主要領域でない領域にテキストをオーバーレイする空間が十分でない場合、前記編集対象イメージに余白領域をさらに追加させる段階を含む、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 The step of generating the edited image includes:
13. The image automatic editing method according to claim 12, further comprising a step of adding a blank area to the image to be edited when there is not enough space to overlay text on an area that is not the main area of the entire area.
前記主要領域を含む編集イメージの大きさまたは縦横比を前記構成情報に応じてリサイジングする段階を含む、請求項１２に記載のイメージ分析によるイメージ自動編集方法。 The step of generating the edited image includes:
13. The image automatic editing method according to claim 12, further comprising a step of resizing a size or an aspect ratio of an edited image including the main area according to the configuration information.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120089640A KR101508977B1 (en) | 2012-08-16 | 2012-08-16 | Apparatus, method and computer readable recording medium for editting the image automatically by analyzing an image |
| KR10-2012-0089640 | 2012-08-16 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025031A Division JP6462919B2 (en) | 2012-08-16 | 2018-02-15 | Image automatic editing apparatus and method based on image analysis, and computer-readable recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014038601A true JP2014038601A (en) | 2014-02-27 |
| JP6294018B2 JP6294018B2 (en) | 2018-03-14 |
Family
ID=50268949
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013143480A Active JP6294018B2 (en) | 2012-08-16 | 2013-07-09 | Image automatic editing apparatus and method based on image analysis, and computer-readable recording medium |
| JP2018025031A Active JP6462919B2 (en) | 2012-08-16 | 2018-02-15 | Image automatic editing apparatus and method based on image analysis, and computer-readable recording medium |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025031A Active JP6462919B2 (en) | 2012-08-16 | 2018-02-15 | Image automatic editing apparatus and method based on image analysis, and computer-readable recording medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP6294018B2 (en) |
| KR (1) | KR101508977B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107750369A (en) * | 2015-06-17 | 2018-03-02 | 三星电子株式会社 | For showing the electronic equipment of multiple images and method for handling image |
| WO2018097384A1 (en) * | 2016-11-24 | 2018-05-31 | 한화테크윈 주식회사 | Crowdedness notification apparatus and method |
| JP2018151979A (en) * | 2017-03-14 | 2018-09-27 | キヤノン株式会社 | Image processing apparatus, method, and program |
| JP2020535570A (en) * | 2017-09-26 | 2020-12-03 | ネイバーウェブトゥーン カンパニー コーポレーション | Generation of representative image |
| CN114242197A (en) * | 2021-12-21 | 2022-03-25 | 数坤(北京)网络科技股份有限公司 | Structured report processing method and device and computer readable storage medium |
| WO2022201237A1 (en) * | 2021-03-22 | 2022-09-29 | 株式会社オープンエイト | Server, text field arrangement position method, and program |
| JP7392368B2 (en) | 2019-10-03 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | Image processing device, system, program |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101607084B1 (en) * | 2014-12-29 | 2016-04-29 | 한국기술교육대학교 산학협력단 | Apparatus for providing smart tv movie using still image and the method thereof |
| KR101648964B1 (en) | 2015-04-02 | 2016-08-30 | 네이버 주식회사 | System and method for providing contents using automatically margin creation |
| KR101654300B1 (en) * | 2015-04-03 | 2016-09-22 | 네이버 주식회사 | System and method for providing contents using merging layers of page with motion effect |
| US10210598B2 (en) | 2015-06-17 | 2019-02-19 | Samsung Electronics Co., Ltd. | Electronic device for displaying a plurality of images and method for processing an image |
| KR102114369B1 (en) * | 2018-07-03 | 2020-06-17 | 카페24 주식회사 | Online shopping mall banner design generation method, apparatus and system |
| KR102039422B1 (en) * | 2018-09-21 | 2019-11-04 | (주)투비소프트 | Apparatus and method for automatically processing images |
| KR102247877B1 (en) * | 2019-03-22 | 2021-05-04 | 카페24 주식회사 | Image crop method and apparatus for generating online shopping mall banner design |
| WO2020242508A1 (en) * | 2019-05-24 | 2020-12-03 | Google Llc | Image extension neural networks |
| CN113487475B (en) * | 2021-09-08 | 2021-12-07 | 联想新视界(南昌)人工智能工研院有限公司 | Interactive image editing method, system, readable storage medium and electronic equipment |
| KR102587797B1 (en) * | 2023-05-18 | 2023-10-11 | 정윤태 | Method for providing art work search service and apparatus therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05197715A (en) * | 1992-01-17 | 1993-08-06 | Toshiba Corp | Document preparing device |
| JP2001188525A (en) * | 1999-12-28 | 2001-07-10 | Toshiba Corp | Image display device |
| WO2007108200A1 (en) * | 2006-03-23 | 2007-09-27 | Nikon Corporation | Camera and image processing program |
| JP2011188237A (en) * | 2010-03-09 | 2011-09-22 | Nk Works Kk | Image processing method and image processing apparatus |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10111943A (en) * | 1996-10-03 | 1998-04-28 | Hitachi Ltd | In-image front person image extracting method |
| KR20020024858A (en) * | 2000-09-27 | 2002-04-03 | 김종명 | System and Method for picture processing service providing using internet service |
| JP2004102393A (en) * | 2002-09-05 | 2004-04-02 | Ricoh Co Ltd | Image processing system |
| JP2004282489A (en) * | 2003-03-17 | 2004-10-07 | Fuji Xerox Co Ltd | Image processor and image forming apparatus |
| KR100737974B1 (en) * | 2005-07-15 | 2007-07-13 | 황후 | Image extraction combination system and the method, And the image search method which uses it |
| KR100700101B1 (en) * | 2005-11-21 | 2007-03-28 | 엘지전자 주식회사 | A mobile communication terminal having a imeage editing function and the method thereof |
| KR100698845B1 (en) * | 2005-12-28 | 2007-03-22 | 삼성전자주식회사 | Method and apparatus for editing image using algorithm of extracting personal shape |
| KR20070074204A (en) * | 2006-01-07 | 2007-07-12 | 삼성전자주식회사 | Printer driver and method for image processing an object with high resolution |
| KR20090122767A (en) * | 2008-05-26 | 2009-12-01 | (주) 엘지텔레콤 | Apparatus for displaying image and control method thereof |
| JP2011044938A (en) * | 2009-08-21 | 2011-03-03 | Ricoh Co Ltd | Image processor, image processing method program and recording medium |
-
2012
- 2012-08-16 KR KR20120089640A patent/KR101508977B1/en active IP Right Grant
-
2013
- 2013-07-09 JP JP2013143480A patent/JP6294018B2/en active Active
-
2018
- 2018-02-15 JP JP2018025031A patent/JP6462919B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05197715A (en) * | 1992-01-17 | 1993-08-06 | Toshiba Corp | Document preparing device |
| JP2001188525A (en) * | 1999-12-28 | 2001-07-10 | Toshiba Corp | Image display device |
| WO2007108200A1 (en) * | 2006-03-23 | 2007-09-27 | Nikon Corporation | Camera and image processing program |
| JP2011188237A (en) * | 2010-03-09 | 2011-09-22 | Nk Works Kk | Image processing method and image processing apparatus |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107750369A (en) * | 2015-06-17 | 2018-03-02 | 三星电子株式会社 | For showing the electronic equipment of multiple images and method for handling image |
| CN107750369B (en) * | 2015-06-17 | 2021-11-02 | 三星电子株式会社 | Electronic device for displaying a plurality of images and method for processing images |
| WO2018097384A1 (en) * | 2016-11-24 | 2018-05-31 | 한화테크윈 주식회사 | Crowdedness notification apparatus and method |
| US20200186743A1 (en) * | 2016-11-24 | 2020-06-11 | Hanwha Techwin Co., Ltd. | Apparatus and method for displaying images and passenger density |
| US10841654B2 (en) | 2016-11-24 | 2020-11-17 | Hanwha Techwin Co., Ltd. | Apparatus and method for displaying images and passenger density |
| JP2018151979A (en) * | 2017-03-14 | 2018-09-27 | キヤノン株式会社 | Image processing apparatus, method, and program |
| JP2020535570A (en) * | 2017-09-26 | 2020-12-03 | ネイバーウェブトゥーン カンパニー コーポレーション | Generation of representative image |
| JP7038218B2 (en) | 2017-09-26 | 2022-03-17 | ネイバーウェブトゥーン リミテッド | Generation of representative image |
| US11462018B2 (en) | 2017-09-26 | 2022-10-04 | Naver Webtoon Ltd. | Representative image generation |
| JP7392368B2 (en) | 2019-10-03 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | Image processing device, system, program |
| WO2022201237A1 (en) * | 2021-03-22 | 2022-09-29 | 株式会社オープンエイト | Server, text field arrangement position method, and program |
| CN114242197A (en) * | 2021-12-21 | 2022-03-25 | 数坤(北京)网络科技股份有限公司 | Structured report processing method and device and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101508977B1 (en) | 2015-04-08 |
| JP6462919B2 (en) | 2019-01-30 |
| KR20140023596A (en) | 2014-02-27 |
| JP6294018B2 (en) | 2018-03-14 |
| JP2018110011A (en) | 2018-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6462919B2 (en) | Image automatic editing apparatus and method based on image analysis, and computer-readable recording medium | |
| CN109618222B (en) | A kind of splicing video generation method, device, terminal device and storage medium | |
| US8271871B2 (en) | Automated method for alignment of document objects | |
| CN107015788B (en) | Method and device for displaying images on mobile device in animation mode | |
| US20170140250A1 (en) | Content file image analysis | |
| JP2005293577A (en) | Method, device, and program for generating high-condensation visual summary of vide area | |
| JPWO2007004489A1 (en) | Image processing apparatus and image processing method | |
| US20140149926A1 (en) | Apparatus, method and computer readable recording medium for arranging a plurality of items automatically in a canvas | |
| CN105335445A (en) | Layout display method and device | |
| JP6975339B2 (en) | Backdrop rendering of digital components | |
| CN110881109B (en) | Real-time overlay placement in video for augmented reality applications | |
| JP2012038286A (en) | Content analyzing apparatus, method and program | |
| JP2016136699A (en) | Information processing apparatus, control method thereof, program, and storage medium | |
| CN101263496A (en) | Method and apparatus for accessing data using a symbolic representation space | |
| JP2003303333A (en) | Image display control device | |
| US20130182943A1 (en) | Systems and methods for depth map generation | |
| CN113504964B (en) | Page component height determination method, page component height determination device, computer equipment and storage medium | |
| CN113014957B (en) | Video shot segmentation method and device, medium and computer equipment | |
| JP5385059B2 (en) | Image display method, program, image display apparatus, and imaging apparatus | |
| JP5368399B2 (en) | Electronic album generating apparatus, stereoscopic image pasting apparatus, operation control method thereof, and program thereof | |
| US8488183B2 (en) | Moving labels in graphical output to avoid overprinting | |
| CN104639969A (en) | Full screen page display method and device | |
| KR101489586B1 (en) | Method for converting 3D image in mixed image and medium for recording the same | |
| US8878902B2 (en) | Stereoscopic image display control apparatus, and method and program for controlling operation of same | |
| JP5080297B2 (en) | Image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6294018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |