JP2005301337A - Apparatus and method for image processing, and program - Google Patents

Apparatus and method for image processing, and program Download PDF

Info

Publication number
JP2005301337A
JP2005301337A JP2004111948A JP2004111948A JP2005301337A JP 2005301337 A JP2005301337 A JP 2005301337A JP 2004111948 A JP2004111948 A JP 2004111948A JP 2004111948 A JP2004111948 A JP 2004111948A JP 2005301337 A JP2005301337 A JP 2005301337A
Authority
JP
Japan
Prior art keywords
image
template
feature amount
digital image
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004111948A
Other languages
Japanese (ja)
Other versions
JP4507673B2 (en
Inventor
Yoshiharu Hibi
吉晴 日比
Masaru Okutsu
優 奥津
Atsushi Kitagawara
淳志 北川原
Surisuteio Paufi
スリスティオ パウフィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2004111948A priority Critical patent/JP4507673B2/en
Publication of JP2005301337A publication Critical patent/JP2005301337A/en
Application granted granted Critical
Publication of JP4507673B2 publication Critical patent/JP4507673B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To properly process a digital image formed under arbitrary conditions on the basis of a composited template image. <P>SOLUTION: An image processing apparatus is equipped with a template information storage part 22 for storing template information as property information on a template image for compositing a digital image, a template selection inputting part 21 for inputting template selection information, a template information reading part 23 for reading the template information out of the template information storage part 22 by using the template selection information, a correction quantity calculating function 30 for calculating a correction quantity from the read template information for an inputted processed image, and an image processing function 40 for processing the processed image by using the calculated correction quantity. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、例えば撮影された画像などを処理する画像処理装置などに係り、より詳しくは、例えば異なる条件下で撮影された複数画像に補正処理を施す画像処理装置などに関する。   The present invention relates to, for example, an image processing apparatus that processes captured images and the like, and more particularly, to an image processing apparatus that performs correction processing on, for example, a plurality of images captured under different conditions.

例えば商品チラシや広告、雑誌記事への利用等の印刷市場において、また、展示会やセミナー資料、現場記録写真、不動産や製品等の商品スナップ作成等のビジネス市場において、デジタルカメラ(デジタルスチールカメラ:DSC)で撮影された画像(画像データ、デジタル画像)やスキャナで読み込まれた画像などの複数の画像を所定の領域に配置し、編集されたレイアウト画像を視覚化して出力する作業が広く行われている。従来では、例えばレイアウトされる画像は、専門のカメラマンにより撮影され、また、画像処理の専門家であるユーザにより個々の画像状態を観察しながら個々に調整が加えられ、編集されている。その一方で、近年、デジタルカメラや携帯電話などに代表される撮影装置の急速な発達とその普及、インターネット等のネットワーク技術の進展に伴い、分散され異なった撮影条件下にて一般ユーザにより撮影された複数の画像をまとめてデータベース化する機会が非常に多くなっている。   For example, in the printing market such as product flyers, advertisements, use for magazine articles, etc., and in the business market such as exhibitions, seminar materials, site record photographs, real estate and product snapshots, etc., digital cameras (digital still cameras: A wide range of work is performed to arrange a plurality of images such as images (image data, digital images) photographed by DSC) and images read by a scanner in a predetermined area and visualize and output the edited layout image. ing. Conventionally, for example, an image to be laid out is photographed by a professional photographer, and adjusted and edited individually while observing individual image states by a user who is an image processing specialist. On the other hand, in recent years, with the rapid development and popularization of imaging devices represented by digital cameras and mobile phones, and the development of network technologies such as the Internet, images are taken by general users under different and different shooting conditions. There are many opportunities to create a database of multiple images.

複数の画像をレイアウトする内容を開示した従来技術として、複数のアルゴリズムの中から選択されたアルゴリズムに従って複数の画像が指定領域内にレイアウトされるものが存在する(例えば、特許文献1参照。)。また、複数の商品が掲載された同一内容の共通チラシにおいて、そのレイアウトを簡易に生成するために、複数の画像のそれぞれについて余白付加画像に外接する矩形領域が生成され、所定の配置ルールに従って配置出力する技術が開示されている(例えば、特許文献2参照。)。   As a prior art disclosing contents for laying out a plurality of images, there is one in which a plurality of images are laid out in a designated area in accordance with an algorithm selected from a plurality of algorithms (see, for example, Patent Document 1). In addition, in order to easily generate the layout of a common leaflet with the same content on which a plurality of products are posted, a rectangular area circumscribing the margin added image is generated for each of the plurality of images and arranged according to a predetermined arrangement rule. A technique for outputting is disclosed (for example, see Patent Document 2).

特開2003−101749号公報(第4−5頁、図4)Japanese Patent Laying-Open No. 2003-101749 (page 4-5, FIG. 4) 特開2003−101752号公報(第3−4頁、図1)Japanese Patent Laying-Open No. 2003-101752 (page 3-4, FIG. 1)

ここで、複数の画像について、全ての画像が撮影条件等を一定にして撮影されていれば、例えば統合してレイアウト出力した場合であっても、ユーザにとって見易い画像を提供することが可能となる。しかしながら、異なった環境下、異なった撮影者により異なったカメラで、また、異なった撮影条件にて撮影された複数の画像は、そのままレイアウト表示を施しても、見易いものとはならない。例えば、商品のパッケージや玩具等、限定した種類の商品が撮影された場合であっても、撮影のための各種条件(撮影場所、時間、被写体位置、被写体角度、照明、カメラ等)が異なる場合には、これらの商品の大きさ、位置、傾き等の微妙なズレによって、レイアウト表示された複数画像は、非常に見苦しいものとなる。また、これらの幾何的な特徴量の違いの他に、各画像の明るさ、色、グレーバランス、階調表現などの画質に対する特徴量がバラバラの状態でレイアウト表示された場合にも見苦しい画像となる。   Here, as long as all the images are taken with a constant shooting condition or the like for a plurality of images, it is possible to provide an image that is easy for the user to see even if the images are integrated and output as a layout, for example. . However, a plurality of images taken with different cameras by different photographers under different circumstances and under different photographing conditions are not easy to see even if the layout display is performed as it is. For example, even when limited types of products such as product packages and toys are photographed, various conditions for photographing (photographing location, time, subject position, subject angle, lighting, camera, etc.) are different. However, due to subtle deviations such as the size, position, and inclination of these products, the multiple images displayed in the layout are very unsightly. In addition to these geometric feature amounts, images that are unsightly can also be displayed when the feature values for image quality such as brightness, color, gray balance, and gradation expression are displayed in a disparate layout. Become.

更に、個別に出力する場合やレイアウト出力する場合に限らず、飾り枠や背景等、予め型(テンプレート)が決定されており、その決定されている型に取得された画像を埋め込むことが要求される場合がある。かかる場合に、例えば異なった条件下で撮影された画像をそのまま埋め込むと、得られる出力画像が非常に見難くなってしまう。また、テンプレート毎に出力目的等が異なる場合もあり、その出力目的に合わせて最適な画像が得られれば、ユーザにとっての使い易さを飛躍的に向上させることができる。上記特許文献1および特許文献2には、かかるテンプレートに対応する処理技術は何ら示されていない。   Furthermore, not only when outputting individually or when outputting a layout, but a type (template) such as a decorative frame and background is determined in advance, and it is required to embed the acquired image in the determined type. There is a case. In such a case, for example, if an image taken under different conditions is embedded as it is, the resulting output image becomes very difficult to see. Also, the output purpose and the like may differ for each template, and if an optimal image can be obtained according to the output purpose, the ease of use for the user can be dramatically improved. Patent Document 1 and Patent Document 2 do not show any processing technique corresponding to such a template.

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、任意の条件によって形成された画像について、合成されるテンプレートに基づく適切な処理を施すことにある。
また他の目的は、例えば、複数の画像をレイアウト統合して出力する際に、合成されるテンプレート情報に基づき良好な統合レイアウト合成画像を得ることにある。
The present invention has been made to solve the technical problems as described above, and an object of the present invention is to perform an appropriate process based on a template to be synthesized on an image formed under an arbitrary condition. There is to do.
Another object is to obtain a good integrated layout composite image based on template information to be combined when, for example, a plurality of images are combined and output.

かかる目的のもと、本発明が適用される画像処理装置は、所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から、読み出し手段によりテンプレート情報を読み出し、このテンプレート画像に合成されるデジタル画像が有する特徴量を特徴量解析手段により解析する。そして、この特徴量解析手段により解析された特徴量と読み出し手段により読み出されたテンプレート情報とに基づいて、画像補正量算出手段によりデジタル画像の画像補正量を算出している。   For this purpose, an image processing apparatus to which the present invention is applied receives template information from a template information storage unit that stores template information that is attribute information of a template image for synthesizing a digital image in a predetermined area by a reading unit. The feature amount of the digital image read out and synthesized with the template image is analyzed by the feature amount analyzing means. Based on the feature amount analyzed by the feature amount analyzing unit and the template information read by the reading unit, the image correction amount calculating unit calculates the image correction amount of the digital image.

ここで、この画像補正量算出手段により算出された画質補正量を用いてデジタル画像の幾何特徴量および/または画質を補正する補正手段と、この補正手段により補正されたデジタル画像を、他のデジタル画像とともに統合レイアウトして出力する出力手段とを更に備えたことを特徴とすることができる。
また、この特徴量解析手段は、デジタル画像が有する幾何特徴量および/または画質特徴量を解析し、画像補正量算出手段は、解析された幾何特徴量および/または画質特徴量を用いて、テンプレート情報に合わせた幾何特徴量の補正量および/または画質の補正量を算出することを特徴とすることができる。
Here, the correction means for correcting the geometric feature amount and / or the image quality of the digital image using the image quality correction amount calculated by the image correction amount calculation means, and the digital image corrected by the correction means are converted into other digital images. The image processing apparatus may further include output means for outputting an integrated layout together with the image.
Further, the feature amount analyzing means analyzes the geometric feature amount and / or image quality feature amount of the digital image, and the image correction amount calculating means uses the analyzed geometric feature amount and / or image quality feature amount to generate a template. It is possible to calculate a geometric feature amount correction amount and / or image quality correction amount in accordance with information.

他の観点から捉えると、本発明が適用される画像処理方法は、デジタル画像を画像格納手段から読み出すステップと、読み出されたデジタル画像が合成されるテンプレート画像の選択を受けるステップと、選択されたテンプレート画像の属性情報であるテンプレート情報をテンプレート情報格納手段から取得するステップと、デジタル画像の有する幾何特徴量および/または画質特徴量を解析するステップと、取得されたテンプレート情報を用いて、解析された幾何特徴量および/または画質特徴量を補正し、デジタル画像をテンプレート画像に貼り付けるステップとを含む。   From another viewpoint, the image processing method to which the present invention is applied includes a step of reading a digital image from the image storage means, a step of receiving a selection of a template image to be synthesized with the read digital image, Template information that is attribute information of the template image is acquired from the template information storage means, a geometric feature value and / or image quality feature value of the digital image is analyzed, and analysis is performed using the acquired template information. Correcting the geometric feature quantity and / or image quality feature quantity and pasting the digital image on the template image.

ここで、このテンプレート画像に貼り付けるステップは、複数からなるデジタル画像を統合レイアウト処理して貼り付けることを特徴とすることができる。この統合レイアウト処理とは、テンプレート画像と処理画像とが合成された複数の合成画像を例えば1枚の用紙や1つのページ画面上にレイアウトして出力する処理をいう。また、この補正される幾何特徴量は、テンプレート画像の有する貼り付け位置に対するデジタル画像の主要被写体の位置であることを特徴とすることができる。更に、この補正される画質特徴量は、テンプレート画像の明るさに基づいて補正されるデジタル画像の明るさであることを特徴とすることができる。   Here, the step of pasting to the template image can be characterized in that a plurality of digital images are pasted by performing an integrated layout process. This integrated layout process refers to a process of laying out and outputting a plurality of composite images obtained by combining a template image and a processed image on, for example, one sheet of paper or one page screen. Further, the geometric feature value to be corrected can be characterized in that it is the position of the main subject of the digital image with respect to the pasting position of the template image. Further, the image quality feature quantity to be corrected can be characterized in that the brightness of the digital image is corrected based on the brightness of the template image.

一方、本発明は、コンピュータに実行させるプログラムとして把握することができる。このプログラムは、コンピュータに、所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段からテンプレート情報を読み出す機能と、テンプレート画像に合成されるデジタル画像が有する特徴量を解析する機能と、解析された特徴量と読み出されたテンプレート情報とに基づいて、デジタル画像の画像補正量を算出する機能と、算出された画像補正量を用いてデジタル画像を補正する機能と、補正されたデジタル画像を、所定の格納手段から読み出されたテンプレート画像に合成する機能とを実現させる。   On the other hand, the present invention can be understood as a program to be executed by a computer. This program has a function of reading template information from a template information storage unit that stores template information, which is attribute information of a template image for synthesizing a digital image in a predetermined area, and a digital image to be synthesized with the template image. A function for analyzing the feature value, a function for calculating the image correction amount of the digital image based on the analyzed feature value and the read template information, and correcting the digital image using the calculated image correction amount And a function of synthesizing the corrected digital image with a template image read from a predetermined storage means.

本発明によれば、例えば任意の条件によって形成された画像について、合成されるテンプレートに基づく適切な処理を施すことが可能となる。   According to the present invention, for example, an image formed under an arbitrary condition can be subjected to appropriate processing based on a template to be synthesized.

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態が適用される画像処理システムの全体構成例を示した図である。ここでは、インターネットなどのネットワーク9を介して各機能が接続されている。図1に示す画像処理システムは、分散撮影される画像の統合レイアウト処理を行う画像処理サーバ1、分散撮影された画像を取得すると共に統合レイアウト処理を行う画像を選定する画像データベースサーバ2、画像データベースサーバ2に接続され、分散撮影された画像を格納する1または複数の画像データベース(画像DB)3を備えている。また、撮影手段であるデジタルカメラ4にて撮影された画像を読み取り、ネットワーク9を介して画像データベースサーバ2に画像を転送する画像転送装置5、画像処理サーバ1で補正処理がなされた画像を表示出力する表示装置6、画像処理サーバ1で補正処理がなされた画像を、画像プリント出力手段であるプリンタ7に出力するための各種画像処理を行う印刷用画像処理装置8を備えている。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating an overall configuration example of an image processing system to which the exemplary embodiment is applied. Here, each function is connected via a network 9 such as the Internet. An image processing system shown in FIG. 1 includes an image processing server 1 that performs integrated layout processing of images that are distributedly shot, an image database server 2 that acquires images that are distributedly shot and selects images to be subjected to integrated layout processing, and an image database One or a plurality of image databases (image DBs) 3 that are connected to the server 2 and store images taken in a distributed manner are provided. In addition, the image captured by the digital camera 4 serving as a photographing unit is read, and the image transferred by the image database server 2 via the network 9 and the image corrected by the image processing server 1 are displayed. A display device 6 for output and a printing image processing device 8 for performing various image processing for outputting an image corrected by the image processing server 1 to a printer 7 as an image print output means are provided.

画像転送装置5、表示装置6、および印刷用画像処理装置8は、ノートブック型コンピュータ装置(ノートPC)やデスクトップ型PCなどのコンピュータ装置で構成することができる。また、画像処理サーバ1や画像データベースサーバ2もPCなどの各種コンピュータ装置として把握することができる。本実施の形態では、異なる撮影場所、異なる撮影条件で分散撮影された複数画像を、所定のテンプレートに合成させる点に特徴がある。そこで、複数のデジタルカメラ4とこれに接続される複数の画像転送装置5がネットワーク9に接続されて各所に配置されている。また、デジタルカメラ4は、自らが有する通信機能を利用して、例えば中継局(図示せず)を介してネットワーク9に接続し、撮影した画像を直接、画像処理サーバ1に送信する形態もある。また、無線LAN機能を備えていれば、例えばアクセスポイント(図示せず)を介してネットワーク9に接続し、撮影した画像をデジタルカメラ4から直接、画像処理サーバ1に送信する形態も考えられる。   The image transfer device 5, the display device 6, and the printing image processing device 8 can be configured by a computer device such as a notebook computer device (notebook PC) or a desktop computer. Further, the image processing server 1 and the image database server 2 can be grasped as various computer devices such as a PC. The present embodiment is characterized in that a plurality of images that are dispersedly photographed at different photographing locations and different photographing conditions are combined with a predetermined template. Therefore, a plurality of digital cameras 4 and a plurality of image transfer apparatuses 5 connected thereto are connected to a network 9 and arranged at various places. Also, the digital camera 4 may be connected to the network 9 via a relay station (not shown), for example, using its own communication function, and directly transmit the captured image to the image processing server 1. . In addition, if the wireless LAN function is provided, for example, a mode in which the photographed image is directly transmitted from the digital camera 4 to the image processing server 1 by connecting to the network 9 via an access point (not shown) is conceivable.

図2は、本実施の形態における画像処理を実行するための画像処理サーバ1の機能を示すブロック図である。画像処理サーバ1は、画像DB3に格納された画像データ(デジタル画像)を画像データベースサーバ2より取得する画像入力部11、画像入力部11によって入力された複数画像に対して、画像番号(Gn)の付与と総数カウント等の前処理を実行する番号付与・総数カウント処理部12、画像処理が施された個別画像を個々に、またはレイアウト配置された状態でネットワーク9に送出する画像出力部13を備えている。また、例えばネットワーク9を介してユーザ端末(画像転送装置5、表示装置6、印刷用画像処理装置8、デジタルカメラ4等)からのテンプレート選択を入力するテンプレート選択入力部21、例えばハードディスクドライブ(HDD)等の記録媒体により構成され、各種テンプレート画像およびテンプレート情報(テンプレート属性情報)が格納されるテンプレート情報格納部22、テンプレート選択入力部21により入力された選択情報を用いてテンプレート情報格納部22から所定のテンプレート情報を読み出すテンプレート情報読み出し部23を備えている。ここで、テンプレート情報格納部22に格納されるテンプレートには、例えば写真画像等のデジタル画像がはめ込まれる枠体や、背景画像、デジタル画像が組み込まれる型等が含まれる。本実施の形態では、テンプレート画像は合成処理される画像そのものを意味し、テンプレート情報はテンプレート画像の有する属性情報を意味している。
尚、テンプレートの選択情報が個々の画像データに含まれ、または添付されている場合がある。かかる場合には、テンプレート選択入力部21は、画像入力部11にて個々の画像データが入力された際に、画像入力部11からテンプレート選択情報を取得する。
FIG. 2 is a block diagram showing functions of the image processing server 1 for executing image processing in the present embodiment. The image processing server 1 obtains image data (digital image) stored in the image DB 3 from the image database server 2, and an image number (Gn) for a plurality of images input by the image input unit 11. A numbering / total number counting processing unit 12 that executes preprocessing such as image numbering and total number counting, and an image output unit 13 that sends individual images subjected to image processing individually or in a layout arrangement to the network 9. I have. Further, for example, a template selection input unit 21 for inputting a template selection from a user terminal (image transfer device 5, display device 6, printing image processing device 8, digital camera 4, etc.) via the network 9, for example, a hard disk drive (HDD) ) And the like, and the template information storage unit 22 in which various template images and template information (template attribute information) are stored, and the template information storage unit 22 using the selection information input by the template selection input unit 21. A template information reading unit 23 for reading predetermined template information is provided. Here, the template stored in the template information storage unit 22 includes, for example, a frame in which a digital image such as a photographic image is fitted, a background image, a type in which a digital image is incorporated, and the like. In the present embodiment, the template image means the image itself to be combined, and the template information means attribute information that the template image has.
Note that template selection information may be included or attached to individual image data. In such a case, the template selection input unit 21 acquires template selection information from the image input unit 11 when individual image data is input by the image input unit 11.

また、画像処理サーバ1は、画像入力部11から入力され番号付与・総数カウント処理部12によって画像番号(Gn)の付与と総数カウント等の前処理が実行された個別画像につき、その特徴量を解析して画像補正量を算出する補正量算出機能30、補正量算出機能30にて算出された個別画像の補正量に基づいて各種画像処理を実行すると共に、テンプレート画像を用いた合成処理を行う画像処理機能40を備えている。この補正量算出機能30は、補正処理が施される画像における幾何特徴量や画質特徴量などの特徴量を抽出する画像特徴量抽出部31、画像特徴量抽出部31によって特徴量が抽出された画像の特徴量と、合成されるテンプレート画像の有するテンプレート情報とに基づいて画像特徴量を解析する画像特徴量解析部32、画像特徴量解析部32による解析結果により画像の補正量を算出する画像補正量算出部33を備えている。幾何特徴量は、デジタル画像(処理画像)が有する主要被写体(主要オブジェクト)の位置、重心位置、大きさ(縦×横サイズ)、画像方向(縦、横、斜め)等の特徴量である。画質特徴量は、明るさ、色、グレーバランス、階調補正などの画質に関する特徴量である。この画質特徴量には、主要被写体と背景とを分けて把握される。更に、画像処理機能40は、主要被写体として認識されたオブジェクトの位置、大きさ、傾き等の幾何的な特徴量を補正する幾何特徴量補正部41、明るさ、色、グレーバランス、階調補正などの画質を補正する画質補正部42、背景の除去や背景の統一等の背景を補正する背景処理部43、テンプレート画像との合成や、統合レイアウト処理を実行する合成処理部44を備えている。   In addition, the image processing server 1 determines the feature amount of each individual image input from the image input unit 11 and subjected to preprocessing such as image number (Gn) assignment and total number count by the number assignment / total number count processing unit 12. A correction amount calculation function 30 that analyzes and calculates an image correction amount, executes various image processing based on the correction amount of the individual image calculated by the correction amount calculation function 30, and performs a composition process using a template image An image processing function 40 is provided. In the correction amount calculation function 30, the feature amount is extracted by the image feature amount extraction unit 31 and the image feature amount extraction unit 31 that extract the feature amount such as the geometric feature amount and the image quality feature amount in the image to be corrected. An image feature amount analyzing unit 32 that analyzes the image feature amount based on the feature amount of the image and the template information of the template image to be synthesized, and an image that calculates the correction amount of the image based on the analysis result by the image feature amount analyzing unit 32 A correction amount calculation unit 33 is provided. The geometric feature amount is a feature amount such as a position, a center of gravity position, a size (vertical × horizontal size), an image direction (vertical, horizontal, or diagonal) of a main subject (main object) included in the digital image (processed image). The image quality feature amount is a feature amount related to image quality such as brightness, color, gray balance, and gradation correction. The image quality feature amount is grasped separately from the main subject and the background. Further, the image processing function 40 includes a geometric feature amount correction unit 41 that corrects a geometric feature amount such as the position, size, and inclination of the object recognized as the main subject, brightness, color, gray balance, and tone correction. An image quality correction unit 42 that corrects image quality, a background processing unit 43 that corrects a background such as background removal and background unification, and a synthesis processing unit 44 that performs synthesis with a template image and integrated layout processing. .

画質補正部42は、例えば、ノイズ抑制処理を行う平滑化処理、画像の分布で明るい方に寄っているか暗い方に寄っているか等によって基準のポイントを移動させる明度補正、画像分布の明るい部分、シャドー部分の分布特性を調整するハイライトシャドー補正、明暗の分布ヒストグラムから分布状態を得て明暗のコントラストを補正する明暗コントラスト補正を機能として備えている。また、例えば、1番明るいと考えられる白領域部を基準として、白い部分の色ずれを補正する色相・カラーバランス補正、例えばやや彩度が低めの画像に対しては鮮やかになるように、グレーに近い画像には、彩度を抑え目にする等の処理を施す彩度補正、例えば肌色を基準として肌色を所定の値に近づけるように補正する等、特定の記憶色を補正する記憶色補正等の各機能を有している。更に、全体のエッジ度からエッジの強さを判断し、例えばシャキシャキとした画像(シャープな画像)に補正するシャープネス強調処理の機能を備えることができる。   The image quality correction unit 42 includes, for example, a smoothing process for performing noise suppression processing, brightness correction for moving a reference point depending on whether the image distribution is closer to the brighter side or the darker side, a brighter part of the image distribution, Functions include highlight shadow correction for adjusting the distribution characteristics of the shadow portion and light / dark contrast correction for correcting the contrast of light and dark by obtaining the distribution state from the light / dark distribution histogram. In addition, for example, a hue / color balance correction that corrects a color shift of a white portion on the basis of a white area portion considered to be the brightest, for example, a gray color so that it is bright for an image having a slightly low saturation. Saturation correction that performs processing such as reducing the saturation and making the eye close to the image, for example, correcting the skin color closer to a predetermined value with the skin color as a reference, memory color correction that corrects a specific memory color It has each function. Furthermore, it is possible to provide a sharpness enhancement function that determines the strength of the edge from the overall edge degree and corrects the image to a crisp image (sharp image), for example.

次に、図2に示すブロック図にて実行される処理の流れについて説明する。
図3は、画像処理サーバ1にて実行される処理を示すフローチャートである。まず、画像処理サーバ1の画像入力部11にて処理画像が入力され、番号付与・総数カウント処理部12にて処理画像の総数Nがカウントされる(ステップ101)。また、番号付与・総数カウント処理部12は、処理画像の画像番号Gnを付与する(ステップ102)。次に、補正量算出機能30の画像特徴量抽出部31にて、処理画像から幾何特徴量が抽出され(ステップ103)、また、処理画像から画質特徴量が抽出される(ステップ104)。補正量算出機能30は、合成されるテンプレート画像の有するテンプレート情報をテンプレート情報読み出し部23から読み出し(ステップ105)、画像特徴量解析部32では、抽出された処理画像の各特徴量と読み出されたテンプレート情報とを用いて幾何特徴量および画質特徴量の解析がなされる(ステップ106)。更に、画像補正量算出部33は、解析された結果を用いて画像補正量を算出し(ステップ107)、画像処理機能40に提供する。
Next, the flow of processing executed in the block diagram shown in FIG. 2 will be described.
FIG. 3 is a flowchart showing processing executed by the image processing server 1. First, the processed image is input by the image input unit 11 of the image processing server 1, and the total number N of processed images is counted by the number assignment / total number processing unit 12 (step 101). The number assigning / total count processing unit 12 assigns the image number Gn of the processed image (step 102). Next, the geometric feature amount is extracted from the processed image by the image feature amount extraction unit 31 of the correction amount calculation function 30 (step 103), and the image quality feature amount is extracted from the processed image (step 104). The correction amount calculation function 30 reads the template information of the template image to be combined from the template information reading unit 23 (step 105), and the image feature amount analysis unit 32 reads out the feature amounts of the extracted processed image. The geometric feature amount and the image quality feature amount are analyzed using the template information (step 106). Further, the image correction amount calculation unit 33 calculates an image correction amount using the analyzed result (step 107), and provides it to the image processing function 40.

画像処理機能40は、補正量算出機能30から提供される画像補正量により、処理画像に対して各種画像処理を施す(ステップ108)。そして、例えばRAM等からなるメモリに、処理画像を一旦、蓄積する。その後、統合レイアウト処理に必要な統合数の画像について補正が終了したか否かが判断される(ステップ109)。例えば、1枚の出力画像に所定枚数(例えば4枚、8枚、12枚等)の画像をレイアウト配置する場合には、その所定枚数の処理が終了したか否かが判断される。統合数の補正が終了していない場合には、ステップ102に戻って処理が繰り返される。統合数の補正が終了した場合には、合成すべきテンプレート画像がテンプレート情報読み出し部23から読み出され、合成処理部44にて、画像処理が施された画像にテンプレート画像が貼り付けられて画像が合成される(ステップ110)。また、合成処理部44にて統合レイアウト処理が実施され(ステップ111)、処理後の画像が画像出力部13から出力される(ステップ112)。ここで、画像番号Gnが総数Nになったか否か、即ち、Gn<Nの判定がなされる(ステップ113)。Gn<Nである場合には、ステップ102へ戻って処理が繰り返される。Gn<Nでない場合には、処理が終了する。尚、レイアウトの方法としては、最も簡単なものは、処理画像の読み込まれた順に並べるものであるが、ユーザが任意に設定するように構成することも可能である。かかるユーザに設定は、ネットワーク9を介して各ユーザ端末から取得するように構成することができる。   The image processing function 40 performs various image processing on the processed image using the image correction amount provided from the correction amount calculation function 30 (step 108). Then, the processed image is temporarily stored in a memory such as a RAM. Thereafter, it is determined whether or not the correction has been completed for the number of images required for the integrated layout process (step 109). For example, when a predetermined number of images (for example, four, eight, twelve, etc.) are laid out in one output image, it is determined whether or not the predetermined number of processes have been completed. If correction of the integration number has not ended, the process returns to step 102 and is repeated. When the correction of the integration number is completed, the template image to be synthesized is read from the template information reading unit 23, and the synthesis processing unit 44 pastes the template image on the image that has been subjected to the image processing. Are synthesized (step 110). Further, an integrated layout process is performed in the synthesis processing unit 44 (step 111), and the processed image is output from the image output unit 13 (step 112). Here, it is determined whether or not the image number Gn has reached the total number N, that is, Gn <N (step 113). If Gn <N, the process returns to step 102 and the process is repeated. If Gn <N, the process ends. The simplest layout method is to arrange the processed images in the order in which they are read. However, the layout can be arbitrarily set by the user. The setting for such a user can be obtained from each user terminal via the network 9.

次に、図3に示す処理フローの主要な処理について、更に詳述する。
図4(a)〜(d)は、図3のステップ103に示す処理画像の有する幾何特徴量の抽出工程を説明するための図である。図4(a)には、画像特徴量抽出部31に入力される処理画像の例が示されている。ここでは、複数(4つ)の対象物により被写体が構成されている。画像特徴量抽出部31では、幾何特徴量の抽出に際し、まず、図4(b)に示すような2値化処理が実行される。次に、2値化された画像に対して、図4(c)に示すようなラベリング処理が施される。ここでは、L1〜L3の3つの画像要素に対してラベリングがなされている。その後、図4(d)に示すようにラベリングされた画像要素を全て含む最大外接矩形が算出される。算出される最大外接矩形としては、例えば座標軸を左上からとるとすると、トップの最小(Top min)、レフトの最小(Left min)、ボトムの最大(Bottom max)、ライトの最大(Right max)があり、これらについて各々算出される。以上のようにして、主要被写体(主要オブジェクト)の位置座標を求めることができるが、幾何特徴量としては、上記以外の特性、例えば、画像サイズ、画像方向(縦/横)等も把握することができる。
Next, the main processing of the processing flow shown in FIG. 3 will be described in further detail.
FIGS. 4A to 4D are diagrams for explaining the geometric feature amount extraction process of the processed image shown in step 103 of FIG. 3. FIG. 4A shows an example of a processed image input to the image feature amount extraction unit 31. Here, a subject is composed of a plurality (four) of objects. The image feature quantity extraction unit 31 first executes a binarization process as shown in FIG. 4B when extracting a geometric feature quantity. Next, a labeling process as shown in FIG. 4C is performed on the binarized image. Here, labeling is performed on the three image elements L1 to L3. Thereafter, as shown in FIG. 4D, the maximum circumscribed rectangle including all the labeled image elements is calculated. As the maximum circumscribed rectangle calculated, for example, if the coordinate axis is taken from the upper left, the top minimum (Top min), the left minimum (Left min), the bottom maximum (Bottom max), the right maximum (Right max) Yes, each of these is calculated. As described above, the position coordinates of the main subject (main object) can be obtained. However, as geometric features, characteristics other than the above, for example, the image size, the image direction (vertical / horizontal), etc., should also be grasped. Can do.

図5は、図3のステップ104に示す画質特徴量の抽出工程を説明するためのフローチャートである。画像特徴量抽出部31にて、まず処理画像が読み出され(ステップ201)、対象物と背景とが分離される(ステップ202)。対象物と背景との分離方法については従来から多数、存在するので、ここではその説明を省略する。その後、分離された対象物と背景との各々について、以下の処理が実行される。すなわち、ステップ203からステップ205では輝度の抽出、ステップ206からステップ210ではR(赤),G(緑),B(青)の分布抽出、ステップ211からステップ213では彩度の抽出がなされる。輝度の抽出では、まず、輝度色差形の色信号として例えばLに変換されて輝度変換が行われ(ステップ203)、輝度ヒストグラムが採取される(ステップ204)。その後、分布平均値L_aveが算出される(ステップ205)。この輝度変換は、例えば、ハイライトシャドー補正や明暗コントラスト補正に用いられる。例えば、明暗コントラスト補正では、基準画像から、明暗の分布(例えばヒストグラム)をとり、例えば、レンジを5段程度として分布の程度が把握される。この分布の程度は、背景および背景と分離された主要被写体(被写体)を分けて各々について把握される。 FIG. 5 is a flowchart for explaining the image quality feature amount extraction step shown in step 104 of FIG. The image feature quantity extraction unit 31 first reads a processed image (step 201), and separates the object and the background (step 202). Since there are many conventional methods for separating the object and the background, description thereof is omitted here. Thereafter, the following processing is executed for each of the separated object and background. That is, luminance extraction is performed from step 203 to step 205, distribution distribution of R (red), G (green), and B (blue) is extracted from step 206 to step 210, and saturation is extracted from step 211 to step 213. In the luminance extraction, first, a luminance color difference type color signal is converted into, for example, L * a * b * , luminance conversion is performed (step 203), and a luminance histogram is collected (step 204). Thereafter, the distribution average value L_ave is calculated (step 205). This luminance conversion is used, for example, for highlight shadow correction and light / dark contrast correction. For example, in light / dark contrast correction, a light / dark distribution (for example, a histogram) is taken from a reference image, and the degree of distribution is grasped, for example, with a range of about five steps. The degree of this distribution is grasped for each of the background and the main subject (subject) separated from the background.

一方、RGBの分布抽出では、まずRGB変換がなされ(ステップ206)、RGBヒストグラムが採取される(ステップ207)。そして、R分布の最大値(Max値)であるr_maxの算出(ステップ208)、G分布の最大値であるg_maxの算出(ステップ209)、B分布の最大値であるb_maxの算出(ステップ210)がなされる。例えば色相・カラーバランス補正を行うに際して、このように、ヒストグラムでRGBが別々に採取される。   On the other hand, in RGB distribution extraction, RGB conversion is first performed (step 206), and an RGB histogram is collected (step 207). Then, r_max that is the maximum value (Max value) of the R distribution (step 208), g_max that is the maximum value of the G distribution (step 209), and b_max that is the maximum value of the B distribution (step 210). Is made. For example, when performing hue / color balance correction, RGB are separately collected in the histogram as described above.

更に、彩度補正を行うために、彩度変換がなされる(ステップ211)。まず、背景と分離された主要被写体について、彩度ヒストグラムが採取され(ステップ212)、分布平均値S_aveが算出される(ステップ213)。ここでは、Lのaの2平面で彩度を表すことができる。aが00でグレーとなる。尚、処理としては、テンプレート画像へ合わせる補正の他に、例えば、グレーに近い方はグレーに縮め、即ち、少々色付く程度の場合には、彩度を抑え目にし、補正によってグレーになる方向に補正するように構成することもできる。また、彩度が中高程度の分布では、鮮やかさを強調するように彩度補正を行うことも有効である。
尚、抽出される画質特徴量としては、上記以外に、例えば画像解像度等がある。
Further, in order to perform saturation correction, saturation conversion is performed (step 211). First, with respect to the main subject separated from the background, a saturation histogram is collected (step 212), and a distribution average value S_ave is calculated (step 213). Here, the saturation can be expressed by two planes a * b * of L * a * b * . When a * b * is 00, it becomes gray. As processing, in addition to correction to match the template image, for example, the one closer to gray is shrunk to gray, that is, if it is slightly colored, the saturation is reduced and the correction is made in the direction of becoming gray. It can also be configured to correct. It is also effective to perform saturation correction so as to enhance vividness in a distribution where the saturation is medium to high.
In addition to the above, the extracted image quality feature amount includes, for example, image resolution.

次に、図3のステップ105に示すテンプレート情報の読み出しと、ステップ106に示す幾何特徴量、画質特徴量の解析について説明する。
図6は、テンプレート情報格納部22に格納されているテンプレート画像とテンプレート情報(テンプレート属性情報)を説明するための図である。テンプレート情報格納部22には、合成されるテンプレート画像(テンプレート)の集合であるテンプレート集と、合成に際して処理画像の補正量を決定するためのテンプレート属性情報とが相互に対応可能な状態にて格納されている。テンプレート情報(テンプレート属性情報)の例としては、画像枠情報として、合成箇所の縦×横サイズ、縦・横の画像方向、画像解像度、合成される主要オブジェクトの合成位置座標、背景色(周囲色)等が格納されている。この合成箇所の縦×横サイズでは、貼り付けられる画像の最大サイズとして、例えば矩形の範囲が設定されている。合成箇所の枠が円や楕円等の曲線を有している場合でも、例えば画像が欠けずに合成できる最大サイズが設定されている。例えば円の場合には直径を対角線とする矩形範囲、楕円の場合には四隅が内接する矩形範囲等である。また、画像解像度は、各々のテンプレートが用いられる態様等によっても異なる場合がある。例えば、Webページとしてディスプレイへの表示だけであれば100dpi(ドット/インチ)程度、印刷される場合には200dpiや400dpi程度などが好ましいことから、用いられる態様によってテンプレートが区別されている場合には、解像度の情報は非常に有意義である。更に、主要オブジェクトの合成位置座標は、処理画像の主要被写体(主要オブジェクト)の位置を見易い位置に合成するために有意義な情報である。
Next, the reading of template information shown in step 105 of FIG. 3 and the analysis of the geometric feature value and image quality feature value shown in step 106 will be described.
FIG. 6 is a diagram for explaining a template image and template information (template attribute information) stored in the template information storage unit 22. The template information storage unit 22 stores a template collection, which is a set of template images (templates) to be combined, and template attribute information for determining the correction amount of the processed image at the time of combination in a mutually compatible state. Has been. Examples of template information (template attribute information) include, as image frame information, the vertical / horizontal size of the composite part, the vertical / horizontal image direction, the image resolution, the composite position coordinates of the main object to be composited, the background color (ambient color ) Etc. are stored. In the vertical × horizontal size of the composite portion, for example, a rectangular range is set as the maximum size of the image to be pasted. Even when the frame of the synthesis location has a curve such as a circle or an ellipse, for example, the maximum size that can be synthesized without missing an image is set. For example, in the case of a circle, it is a rectangular range whose diameter is a diagonal line, and in the case of an ellipse, it is a rectangular range in which four corners are inscribed. In addition, the image resolution may vary depending on the manner in which each template is used. For example, about 100 dpi (dots / inch) is preferable if it is only displayed on a display as a Web page, and about 200 dpi or 400 dpi is preferable for printing. The resolution information is very meaningful. Furthermore, the synthesis position coordinates of the main object are meaningful information for synthesizing the position of the main subject (main object) of the processed image into a position where it can be easily seen.

また、テキスト枠情報として、合成されるテキストのフォント、サイズ、縦書きおよび横書きの区別、段落スタイル等が格納されている。これらのテンプレート情報(テンプレート属性情報)は、テンプレート情報読み出し部23によるテンプレート画像の指定に基づき、指定されたテンプレート画像と共にテンプレート情報読み出し部23に提供される。
その後、図3のステップ106に示すように、画像特徴量解析部32では、上述のようにして抽出された処理画像の各特徴量と読み出されたテンプレート情報とを用いて幾何特徴量および画質特徴量の解析がなされる。また、ステップ107に示すように、画像補正量算出部33では、画像特徴量解析部32により解析された結果を用いて画像補正量が算出される。その後、処理画像の補正などが実行される。
In addition, as text frame information, a font of a text to be synthesized, a size, a distinction between vertical writing and horizontal writing, a paragraph style, and the like are stored. The template information (template attribute information) is provided to the template information reading unit 23 together with the designated template image based on the template image designation by the template information reading unit 23.
After that, as shown in step 106 of FIG. 3, the image feature amount analysis unit 32 uses the feature amounts of the processed image extracted as described above and the read template information, and the geometric feature amount and image quality. The feature amount is analyzed. Further, as shown in step 107, the image correction amount calculation unit 33 calculates the image correction amount using the result analyzed by the image feature amount analysis unit 32. Thereafter, correction of the processed image is performed.

図7(a)〜(c)は、統合数4の場合として、4枚の画像についてテンプレート画像に基づく補正が施され、統合レイアウト処理が施されて合成画像が出力される例を示した図である。図7(a)には、テンプレート情報格納部22のテンプレート集から選択されて読み出された所定のテンプレートが示されている。図7(b)には、画像データベースサーバ2から読み出され、画像入力部11に入力された4枚の処理画像が示されている。更に図7(c)には、図7(b)に示す4枚の処理画像について補正が施された後、図7(a)に示すテンプレート画像が合成され、統合数4の統合レイアウト処理がなされた結果が示されている。図7(b)に示す例では、4枚の処理画像の各々の主要被写体(主要オブジェクト)の位置が中心からずれている。また、テンプレートの貼り付け位置の大きさに対して主要被写体が適度な大きさとなっていない。そこで、上述した幾何特徴量の解析により、処理画像の縦×横サイズを把握し、テンプレート情報を用いて縦×横サイズを変更するとともに、認識して切り取られた主要被写体がテンプレート画像の貼り付け位置の中心位置となるように調整し、合成される。また、統合数によっては、表示(出力)されるテンプレート画像の大きさが異なってくることから、統合数に応じて処理画像の縦×横サイズ等を変更する作業も実施される。   FIGS. 7A to 7C are diagrams showing an example in which correction based on a template image is performed on four images, and a combined image is output by performing integrated layout processing, in the case of the integration number 4. It is. FIG. 7A shows a predetermined template selected and read from the template collection in the template information storage unit 22. FIG. 7B shows four processed images read from the image database server 2 and input to the image input unit 11. Further, in FIG. 7C, after the four processed images shown in FIG. 7B are corrected, the template image shown in FIG. The results made are shown. In the example shown in FIG. 7B, the position of the main subject (main object) of each of the four processed images is shifted from the center. In addition, the main subject is not appropriately sized relative to the size of the template attachment position. Therefore, by analyzing the geometric feature amount described above, the vertical and horizontal sizes of the processed image are grasped, the vertical and horizontal sizes are changed using the template information, and the recognized main subject is pasted to the template image. It adjusts so that it may become the center position of a position, and is compounded. In addition, since the size of the template image to be displayed (output) differs depending on the number of integrations, an operation of changing the vertical x horizontal size of the processed image according to the number of integrations is also performed.

尚、画質に関する補正では、例えばテンプレート画像の色に合わせて背景の色を変える等の処理がなされる。例えば、テンプレートが濃い色であれば背景は明る目に設定し、テンプレートが薄い色であれば濃い目に背景を設定する等である。逆に、ユーザの好みによっては同系列の明るさにすることも有効である。このユーザの好みは、ネットワーク9を介してユーザ端末から取得することができる。また、設定された背景や選択されたテンプレートの明るさに応じ、主要被写体の明るさを変えることもできる。同様に、選択されたテンプレートの色彩に応じて背景や主要被写体の色彩を変えることも有効である。   In the correction relating to the image quality, for example, processing such as changing the background color in accordance with the color of the template image is performed. For example, if the template is a dark color, the background is set to a bright color, and if the template is a light color, the background is set to a dark color. Conversely, it is also effective to set the brightness to the same series depending on the user's preference. This user preference can be acquired from the user terminal via the network 9. Also, the brightness of the main subject can be changed according to the set background and the brightness of the selected template. Similarly, it is also effective to change the color of the background and main subject according to the color of the selected template.

また、画像データベース3に格納されている処理画像(デジタル画像)を、図示しない商品データベースとリンクさせるように構成することもできる。この商品データベースでは、処理画像の識別番号(イメージNO.)に対応させて、商品名、型番、メーカ名、商品の種類、その他各種情報を格納することができる。テンプレート画像に処理画像をはめ込む際に、処理画像に対応させて商品データベースからこれらの商品情報を読み出し、テンプレート画像のテキスト貼り付け欄に書き込むことができる。このとき、書き込むテキスト情報をテンプレート情報に基づいて補正することも有効である。例えば、テンプレート画像の有する枠の色に合わせて最適なテキスト色を選択する等である。   Further, the processed image (digital image) stored in the image database 3 can be linked to a product database (not shown). In this product database, product name, model number, manufacturer name, product type, and other various information can be stored in correspondence with the identification number (image No.) of the processed image. When the processed image is fitted into the template image, the product information can be read from the product database in correspondence with the processed image and can be written in the text pasting column of the template image. At this time, it is also effective to correct the text information to be written based on the template information. For example, an optimal text color is selected according to the color of the frame of the template image.

以上、詳述したように、本実施の形態によれば、貼り付けられるテンプレートに合わせて、例えば撮影されて取得された画像を自動的に修正することが可能となり、見栄えの良い画像を得ることができる。このとき、例えば撮影して取得された複数の商品物が有する大きさ、位置、傾き等の微妙なずれを自動的に修正することで、ユーザにとって非常に見易い商品レイアウトを簡易に取得することができる。また、テンプレート画像のデザインを変更するだけで、レイアウトのイメージを簡単に変えることが可能となる。これにより、例えばWebページのリニューアルなどを簡易に実施することが可能となる。   As described above in detail, according to the present embodiment, it is possible to automatically correct, for example, an image captured and acquired in accordance with a template to be pasted, and to obtain a good-looking image. Can do. At this time, it is possible to easily acquire a product layout that is very easy for the user to view by automatically correcting, for example, subtle deviations such as the size, position, and tilt of a plurality of products obtained by photographing. it can. In addition, the layout image can be easily changed simply by changing the design of the template image. Thereby, for example, renewal of a Web page can be easily performed.

尚、本実施の形態は、アプリケーションタイプ、プリンタドライバタイプ、およびデジタルカメラとの連携タイプ等の各タイプにて、使用されることが想定できる。アプリケーションタイプでは、例えば、デジタルスチールカメラ(DSC)画像をアルバム化、あるいは管理するソフトのプラグイン等として、ユーザの採取画像を自動調整する機能等に用いることができる。また、プリンタドライバタイプでは、ドライバ設定において、オプション機能として選択可能とする、あるいは、モード設定自体に組み込む機能とすることができる。更に、デジタルカメラとの連携タイプでは、ファイルフォーマットにタグ(Tag)情報を埋め込み、プリント段階での調整指示を可能とする機能として、本実施の形態を適用することが可能である。   Note that this embodiment can be assumed to be used in various types such as an application type, a printer driver type, and a cooperation type with a digital camera. In the application type, for example, it can be used for a function of automatically adjusting a collected image of a user as a plug-in of software for albuming or managing a digital still camera (DSC) image. In the printer driver type, the driver setting can be selected as an optional function, or can be a function incorporated in the mode setting itself. Further, in the cooperation type with the digital camera, the present embodiment can be applied as a function for embedding tag information in a file format and enabling an adjustment instruction at the printing stage.

また、本実施の形態が適用されるコンピュータプログラムは、コンピュータに対して提供される際に、例えばコンピュータにインストールされた状態にて提供される場合の他、コンピュータに実行させるプログラムをコンピュータが読取可能に記憶した記憶媒体にて提供される形態が考えられる。この記憶媒体としては、例えば各種DVDやCD−ROM媒体、カード型記憶媒体等が該当し、上記の各コンピュータに設けられたDVDやCD−ROM読取装置、カード読み取り装置等によってプログラムが読み取られる。そして、各コンピュータに設けられたHDDやフラッシュROM等の各種メモリにこのプログラムが格納され、CPUにて実行される。また、これらのプログラムは、例えば、プログラム伝送装置からネットワークを介してコンピュータに提供される形態もある。   In addition, when the computer program to which the present embodiment is applied is provided to the computer, the computer can read the program to be executed by the computer, in addition to the case where the computer program is installed in the computer, for example. A form provided by a storage medium stored in the above is conceivable. Examples of the storage medium include various DVDs, CD-ROM media, card-type storage media, and the like, and a program is read by a DVD, CD-ROM reader, card reader, or the like provided in each of the above computers. Then, this program is stored in various memories such as an HDD and a flash ROM provided in each computer, and is executed by the CPU. These programs may be provided to a computer via a network from a program transmission device, for example.

本発明の活用例としては、例えばプリンタ等の画像形成装置に接続されるコンピュータ、インターネット等を介して情報を提供するサーバ、デジタルカメラ、また、これらの各種コンピュータ機器にて実行されるプログラム等への活用がある。   Examples of utilization of the present invention include, for example, a computer connected to an image forming apparatus such as a printer, a server that provides information via the Internet, a digital camera, a program executed by these various computer devices, and the like. There is utilization of.

本実施の形態が適用される画像処理システムの全体構成例を示した図である。It is the figure which showed the example of whole structure of the image processing system to which this Embodiment is applied. 本実施の形態における画像処理を実行するための画像処理サーバの機能を示すブロック図である。It is a block diagram which shows the function of the image processing server for performing the image processing in this Embodiment. 画像処理サーバにて実行される処理を示すフローチャートである。It is a flowchart which shows the process performed with an image processing server. (a)〜(d)は、処理画像の有する幾何特徴量の抽出工程を説明するための図である。(a)-(d) is a figure for demonstrating the extraction process of the geometric feature-value which a process image has. 画質特徴量の抽出工程を説明するためのフローチャートである。It is a flowchart for demonstrating the extraction process of an image quality feature-value. テンプレート情報格納部に格納されているテンプレート画像とテンプレート情報(テンプレート属性情報)を説明するための図である。It is a figure for demonstrating the template image and template information (template attribute information) stored in the template information storage part. (a)〜(c)は、4枚の画像についてテンプレート画像に基づく補正が施され、統合レイアウト処理が施されて合成画像が出力される例を示した図である。(a)-(c) is the figure which showed the example based on which the correction based on a template image is performed about four images, an integrated layout process is performed, and a synthesized image is output.

符号の説明Explanation of symbols

1…画像処理サーバ、2…画像データベースサーバ、3…画像データベース(画像DB)、4…デジタルカメラ、5…画像転送装置、6…表示装置、7…プリンタ、8…印刷用画像処理装置、9…ネットワーク、11…画像入力部、12…番号付与・総数カウント処理部、13…画像出力部、21…テンプレート選択入力部、22…テンプレート情報格納部、23…テンプレート情報読み出し部、30…補正量算出機能、31…画像特徴量抽出部、32…画像特徴量解析部、33…画像補正量算出部、40…画像処理機能、41…幾何特徴量補正部、42…画質補正部、43…背景処理部、44…合成処理部 DESCRIPTION OF SYMBOLS 1 ... Image processing server, 2 ... Image database server, 3 ... Image database (image DB), 4 ... Digital camera, 5 ... Image transfer apparatus, 6 ... Display apparatus, 7 ... Printer, 8 ... Image processing apparatus for printing, 9 DESCRIPTION OF SYMBOLS ... Network, 11 ... Image input part, 12 ... Number assignment and total number processing part, 13 ... Image output part, 21 ... Template selection input part, 22 ... Template information storage part, 23 ... Template information reading part, 30 ... Correction amount Calculation function 31 ... Image feature value extraction unit 32 ... Image feature value analysis unit 33 ... Image correction amount calculation unit 40 ... Image processing function 41 ... Geometric feature value correction unit 42 ... Image quality correction unit 43 ... Background Processing unit, 44... Synthesis processing unit

Claims (10)

所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から当該テンプレート情報を読み出す読み出し手段と、
前記テンプレート画像に合成される前記デジタル画像が有する特徴量を解析する特徴量解析手段と、
前記特徴量解析手段により解析された前記特徴量と前記読み出し手段により読み出された前記テンプレート情報とに基づいて、前記デジタル画像の画像補正量を算出する画像補正量算出手段と
を含む画像処理装置。
A reading unit that reads the template information from a template information storage unit that stores template information that is attribute information of a template image that synthesizes a digital image in a predetermined region;
A feature amount analyzing means for analyzing a feature amount of the digital image combined with the template image;
An image processing apparatus comprising: an image correction amount calculating unit that calculates an image correction amount of the digital image based on the feature amount analyzed by the feature amount analyzing unit and the template information read by the reading unit. .
前記画像補正量算出手段により算出された画質補正量を用いて前記デジタル画像の幾何特徴量および/または画質を補正する補正手段を更に備えたことを特徴とする請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a correction unit that corrects a geometric feature amount and / or image quality of the digital image using the image quality correction amount calculated by the image correction amount calculation unit. 前記補正手段により補正された前記デジタル画像を、他のデジタル画像とともに統合レイアウトして出力する出力手段を更に備えたことを特徴とする請求項2記載の画像処理装置。   The image processing apparatus according to claim 2, further comprising an output unit that outputs the digital image corrected by the correction unit in an integrated layout together with another digital image. 前記特徴量解析手段は、前記デジタル画像が有する幾何特徴量および/または画質特徴量を解析し、
前記画像補正量算出手段は、解析された前記幾何特徴量および/または前記画質特徴量を用いて、前記テンプレート情報に合わせた幾何特徴量の補正量および/または画質の補正量を算出することを特徴とする請求項1記載の画像処理装置。
The feature amount analyzing means analyzes a geometric feature amount and / or image quality feature amount of the digital image,
The image correction amount calculating means calculates the geometric feature amount correction amount and / or the image quality correction amount according to the template information using the analyzed geometric feature amount and / or the image quality feature amount. The image processing apparatus according to claim 1, wherein:
デジタル画像を画像格納手段から読み出すステップと、
読み出された前記デジタル画像が合成されるテンプレート画像の選択を受けるステップと、
選択された前記テンプレート画像の属性情報であるテンプレート情報をテンプレート情報格納手段から取得するステップと、
前記デジタル画像の有する幾何特徴量および/または画質特徴量を解析するステップと、
取得された前記テンプレート情報を用いて、解析された前記幾何特徴量および/または前記画質特徴量を補正し、前記デジタル画像を前記テンプレート画像に貼り付けるステップと
を含む画像処理方法。
Reading a digital image from the image storage means;
Receiving a selection of a template image on which the read digital image is synthesized;
Obtaining template information that is attribute information of the selected template image from a template information storage unit;
Analyzing the geometric feature and / or image quality feature of the digital image;
Correcting the analyzed geometric feature value and / or the image quality feature value using the obtained template information, and pasting the digital image on the template image.
前記テンプレート画像に貼り付けるステップは、複数からなる前記デジタル画像を統合レイアウト処理して貼り付けることを特徴とする請求項5記載の画像処理方法。   6. The image processing method according to claim 5, wherein the step of pasting to the template image includes pasting the plurality of digital images by performing an integrated layout process. 補正される前記幾何特徴量は、前記テンプレート画像の有する貼り付け位置に対する前記デジタル画像の主要被写体の位置であることを特徴とする請求項5記載の画像処理方法。   6. The image processing method according to claim 5, wherein the geometric feature value to be corrected is a position of a main subject of the digital image with respect to a pasting position of the template image. 補正される前記画質特徴量は、前記テンプレート画像の明るさに基づいて補正される前記デジタル画像の明るさであることを特徴とする請求項5記載の画像処理方法。   6. The image processing method according to claim 5, wherein the image quality feature value to be corrected is the brightness of the digital image corrected based on the brightness of the template image. コンピュータに、
所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から当該テンプレート情報を読み出す機能と、
前記テンプレート画像に合成される前記デジタル画像が有する特徴量を解析する機能と、
解析された前記特徴量と読み出された前記テンプレート情報とに基づいて、前記デジタル画像の画像補正量を算出する機能と
を実現させるプログラム。
On the computer,
A function of reading the template information from the template information storage means for storing the template information that is the attribute information of the template image for synthesizing the digital image in a predetermined area;
A function of analyzing a feature amount of the digital image combined with the template image;
A program for realizing a function for calculating an image correction amount of the digital image based on the analyzed feature amount and the read template information.
算出された前記画像補正量を用いて前記デジタル画像を補正する機能と、
補正された前記デジタル画像を、所定の格納手段から読み出された前記テンプレート画像に合成する機能とを前記コンピュータに更に実現させる請求項9記載のプログラム。
A function of correcting the digital image using the calculated image correction amount;
The program according to claim 9, further causing the computer to realize a function of synthesizing the corrected digital image with the template image read from a predetermined storage unit.
JP2004111948A 2004-04-06 2004-04-06 Image processing apparatus, image processing method, and program Expired - Fee Related JP4507673B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004111948A JP4507673B2 (en) 2004-04-06 2004-04-06 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004111948A JP4507673B2 (en) 2004-04-06 2004-04-06 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2005301337A true JP2005301337A (en) 2005-10-27
JP4507673B2 JP4507673B2 (en) 2010-07-21

Family

ID=35332842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004111948A Expired - Fee Related JP4507673B2 (en) 2004-04-06 2004-04-06 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP4507673B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221675A (en) * 2006-02-20 2007-08-30 Seiko Epson Corp Image processor, image processing method and image processing program
JP2007299321A (en) * 2006-05-02 2007-11-15 Ricoh Co Ltd Information processor, information processing method, information processing program and information storage medium
JP2010102576A (en) * 2008-10-24 2010-05-06 Atsushi Iga Photograph for advertising for resident of rental housing
WO2023175833A1 (en) * 2022-03-17 2023-09-21 日本電気株式会社 Image processing device, system, method, and computer-readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07221975A (en) * 1993-09-24 1995-08-18 Eastman Kodak Co Composition method of image as well as method and apparatus for generation of image
JPH11144067A (en) * 1997-11-07 1999-05-28 Nec Corp System and method for image layout and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07221975A (en) * 1993-09-24 1995-08-18 Eastman Kodak Co Composition method of image as well as method and apparatus for generation of image
JPH11144067A (en) * 1997-11-07 1999-05-28 Nec Corp System and method for image layout and recording medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221675A (en) * 2006-02-20 2007-08-30 Seiko Epson Corp Image processor, image processing method and image processing program
JP4725351B2 (en) * 2006-02-20 2011-07-13 セイコーエプソン株式会社 Image processing apparatus, image processing method, and image processing program
JP2007299321A (en) * 2006-05-02 2007-11-15 Ricoh Co Ltd Information processor, information processing method, information processing program and information storage medium
JP2010102576A (en) * 2008-10-24 2010-05-06 Atsushi Iga Photograph for advertising for resident of rental housing
WO2023175833A1 (en) * 2022-03-17 2023-09-21 日本電気株式会社 Image processing device, system, method, and computer-readable medium

Also Published As

Publication number Publication date
JP4507673B2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4285290B2 (en) Image processing apparatus, image processing method, and program
US8280188B2 (en) System and method for making a correction to a plurality of images
KR100667663B1 (en) Image processing apparatus, image processing method and computer readable recording medium which records program therefore
US8254679B2 (en) Content-based image harmonization
US8630485B2 (en) Method for combining image and imaging product
JP2009038523A (en) Unit and method for processing image
JP2005176230A (en) Image processor and print system
US20180234559A1 (en) Image processing system, information processing apparatus, and method of controlling the same
US8169652B2 (en) Album creating system, album creating method and creating program with image layout characteristics
US7561305B2 (en) Image processing apparatus, image processing method and program product therefor
CN101600038A (en) Image processing equipment and image processing method
US8107757B2 (en) Data correction method, apparatus and program
US20120250997A1 (en) Image processing apparatus, image processing method, and storage medium
JP5569504B2 (en) Image processing apparatus, image processing method, and program
JP4920814B2 (en) Image processing method, apparatus, and recording medium
JP4507673B2 (en) Image processing apparatus, image processing method, and program
JP2001056867A (en) Image data processor, medium where image data set is recorded, medium where image data processing program is recorded, and image data processing method
US6850341B1 (en) Method, system and recording medium for image processing
JP2006092127A (en) Image processor, image processing method and program
KR101663042B1 (en) Photo fusing apparatus
EP1883048B1 (en) Data correction method, apparatus and program
WO2018066344A1 (en) Image processing device, image processing method and image processing program
JP2004192401A (en) Image processing apparatus, method and program
JP2006039657A (en) Image processing method, image processor and image processing program
JP2004127287A (en) Image storage method, image storage device, image processing method, image processing device, storage medium, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100426

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4507673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees