JP2005301337A - Apparatus and method for image processing, and program - Google Patents
Apparatus and method for image processing, and program Download PDFInfo
- Publication number
- JP2005301337A JP2005301337A JP2004111948A JP2004111948A JP2005301337A JP 2005301337 A JP2005301337 A JP 2005301337A JP 2004111948 A JP2004111948 A JP 2004111948A JP 2004111948 A JP2004111948 A JP 2004111948A JP 2005301337 A JP2005301337 A JP 2005301337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- feature amount
- digital image
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、例えば撮影された画像などを処理する画像処理装置などに係り、より詳しくは、例えば異なる条件下で撮影された複数画像に補正処理を施す画像処理装置などに関する。 The present invention relates to, for example, an image processing apparatus that processes captured images and the like, and more particularly, to an image processing apparatus that performs correction processing on, for example, a plurality of images captured under different conditions.
例えば商品チラシや広告、雑誌記事への利用等の印刷市場において、また、展示会やセミナー資料、現場記録写真、不動産や製品等の商品スナップ作成等のビジネス市場において、デジタルカメラ(デジタルスチールカメラ:DSC)で撮影された画像(画像データ、デジタル画像)やスキャナで読み込まれた画像などの複数の画像を所定の領域に配置し、編集されたレイアウト画像を視覚化して出力する作業が広く行われている。従来では、例えばレイアウトされる画像は、専門のカメラマンにより撮影され、また、画像処理の専門家であるユーザにより個々の画像状態を観察しながら個々に調整が加えられ、編集されている。その一方で、近年、デジタルカメラや携帯電話などに代表される撮影装置の急速な発達とその普及、インターネット等のネットワーク技術の進展に伴い、分散され異なった撮影条件下にて一般ユーザにより撮影された複数の画像をまとめてデータベース化する機会が非常に多くなっている。 For example, in the printing market such as product flyers, advertisements, use for magazine articles, etc., and in the business market such as exhibitions, seminar materials, site record photographs, real estate and product snapshots, etc., digital cameras (digital still cameras: A wide range of work is performed to arrange a plurality of images such as images (image data, digital images) photographed by DSC) and images read by a scanner in a predetermined area and visualize and output the edited layout image. ing. Conventionally, for example, an image to be laid out is photographed by a professional photographer, and adjusted and edited individually while observing individual image states by a user who is an image processing specialist. On the other hand, in recent years, with the rapid development and popularization of imaging devices represented by digital cameras and mobile phones, and the development of network technologies such as the Internet, images are taken by general users under different and different shooting conditions. There are many opportunities to create a database of multiple images.
複数の画像をレイアウトする内容を開示した従来技術として、複数のアルゴリズムの中から選択されたアルゴリズムに従って複数の画像が指定領域内にレイアウトされるものが存在する(例えば、特許文献1参照。)。また、複数の商品が掲載された同一内容の共通チラシにおいて、そのレイアウトを簡易に生成するために、複数の画像のそれぞれについて余白付加画像に外接する矩形領域が生成され、所定の配置ルールに従って配置出力する技術が開示されている(例えば、特許文献2参照。)。 As a prior art disclosing contents for laying out a plurality of images, there is one in which a plurality of images are laid out in a designated area in accordance with an algorithm selected from a plurality of algorithms (see, for example, Patent Document 1). In addition, in order to easily generate the layout of a common leaflet with the same content on which a plurality of products are posted, a rectangular area circumscribing the margin added image is generated for each of the plurality of images and arranged according to a predetermined arrangement rule. A technique for outputting is disclosed (for example, see Patent Document 2).
ここで、複数の画像について、全ての画像が撮影条件等を一定にして撮影されていれば、例えば統合してレイアウト出力した場合であっても、ユーザにとって見易い画像を提供することが可能となる。しかしながら、異なった環境下、異なった撮影者により異なったカメラで、また、異なった撮影条件にて撮影された複数の画像は、そのままレイアウト表示を施しても、見易いものとはならない。例えば、商品のパッケージや玩具等、限定した種類の商品が撮影された場合であっても、撮影のための各種条件(撮影場所、時間、被写体位置、被写体角度、照明、カメラ等)が異なる場合には、これらの商品の大きさ、位置、傾き等の微妙なズレによって、レイアウト表示された複数画像は、非常に見苦しいものとなる。また、これらの幾何的な特徴量の違いの他に、各画像の明るさ、色、グレーバランス、階調表現などの画質に対する特徴量がバラバラの状態でレイアウト表示された場合にも見苦しい画像となる。 Here, as long as all the images are taken with a constant shooting condition or the like for a plurality of images, it is possible to provide an image that is easy for the user to see even if the images are integrated and output as a layout, for example. . However, a plurality of images taken with different cameras by different photographers under different circumstances and under different photographing conditions are not easy to see even if the layout display is performed as it is. For example, even when limited types of products such as product packages and toys are photographed, various conditions for photographing (photographing location, time, subject position, subject angle, lighting, camera, etc.) are different. However, due to subtle deviations such as the size, position, and inclination of these products, the multiple images displayed in the layout are very unsightly. In addition to these geometric feature amounts, images that are unsightly can also be displayed when the feature values for image quality such as brightness, color, gray balance, and gradation expression are displayed in a disparate layout. Become.
更に、個別に出力する場合やレイアウト出力する場合に限らず、飾り枠や背景等、予め型(テンプレート)が決定されており、その決定されている型に取得された画像を埋め込むことが要求される場合がある。かかる場合に、例えば異なった条件下で撮影された画像をそのまま埋め込むと、得られる出力画像が非常に見難くなってしまう。また、テンプレート毎に出力目的等が異なる場合もあり、その出力目的に合わせて最適な画像が得られれば、ユーザにとっての使い易さを飛躍的に向上させることができる。上記特許文献1および特許文献2には、かかるテンプレートに対応する処理技術は何ら示されていない。
Furthermore, not only when outputting individually or when outputting a layout, but a type (template) such as a decorative frame and background is determined in advance, and it is required to embed the acquired image in the determined type. There is a case. In such a case, for example, if an image taken under different conditions is embedded as it is, the resulting output image becomes very difficult to see. Also, the output purpose and the like may differ for each template, and if an optimal image can be obtained according to the output purpose, the ease of use for the user can be dramatically improved. Patent Document 1 and
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、任意の条件によって形成された画像について、合成されるテンプレートに基づく適切な処理を施すことにある。
また他の目的は、例えば、複数の画像をレイアウト統合して出力する際に、合成されるテンプレート情報に基づき良好な統合レイアウト合成画像を得ることにある。
The present invention has been made to solve the technical problems as described above, and an object of the present invention is to perform an appropriate process based on a template to be synthesized on an image formed under an arbitrary condition. There is to do.
Another object is to obtain a good integrated layout composite image based on template information to be combined when, for example, a plurality of images are combined and output.
かかる目的のもと、本発明が適用される画像処理装置は、所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から、読み出し手段によりテンプレート情報を読み出し、このテンプレート画像に合成されるデジタル画像が有する特徴量を特徴量解析手段により解析する。そして、この特徴量解析手段により解析された特徴量と読み出し手段により読み出されたテンプレート情報とに基づいて、画像補正量算出手段によりデジタル画像の画像補正量を算出している。 For this purpose, an image processing apparatus to which the present invention is applied receives template information from a template information storage unit that stores template information that is attribute information of a template image for synthesizing a digital image in a predetermined area by a reading unit. The feature amount of the digital image read out and synthesized with the template image is analyzed by the feature amount analyzing means. Based on the feature amount analyzed by the feature amount analyzing unit and the template information read by the reading unit, the image correction amount calculating unit calculates the image correction amount of the digital image.
ここで、この画像補正量算出手段により算出された画質補正量を用いてデジタル画像の幾何特徴量および/または画質を補正する補正手段と、この補正手段により補正されたデジタル画像を、他のデジタル画像とともに統合レイアウトして出力する出力手段とを更に備えたことを特徴とすることができる。
また、この特徴量解析手段は、デジタル画像が有する幾何特徴量および/または画質特徴量を解析し、画像補正量算出手段は、解析された幾何特徴量および/または画質特徴量を用いて、テンプレート情報に合わせた幾何特徴量の補正量および/または画質の補正量を算出することを特徴とすることができる。
Here, the correction means for correcting the geometric feature amount and / or the image quality of the digital image using the image quality correction amount calculated by the image correction amount calculation means, and the digital image corrected by the correction means are converted into other digital images. The image processing apparatus may further include output means for outputting an integrated layout together with the image.
Further, the feature amount analyzing means analyzes the geometric feature amount and / or image quality feature amount of the digital image, and the image correction amount calculating means uses the analyzed geometric feature amount and / or image quality feature amount to generate a template. It is possible to calculate a geometric feature amount correction amount and / or image quality correction amount in accordance with information.
他の観点から捉えると、本発明が適用される画像処理方法は、デジタル画像を画像格納手段から読み出すステップと、読み出されたデジタル画像が合成されるテンプレート画像の選択を受けるステップと、選択されたテンプレート画像の属性情報であるテンプレート情報をテンプレート情報格納手段から取得するステップと、デジタル画像の有する幾何特徴量および/または画質特徴量を解析するステップと、取得されたテンプレート情報を用いて、解析された幾何特徴量および/または画質特徴量を補正し、デジタル画像をテンプレート画像に貼り付けるステップとを含む。 From another viewpoint, the image processing method to which the present invention is applied includes a step of reading a digital image from the image storage means, a step of receiving a selection of a template image to be synthesized with the read digital image, Template information that is attribute information of the template image is acquired from the template information storage means, a geometric feature value and / or image quality feature value of the digital image is analyzed, and analysis is performed using the acquired template information. Correcting the geometric feature quantity and / or image quality feature quantity and pasting the digital image on the template image.
ここで、このテンプレート画像に貼り付けるステップは、複数からなるデジタル画像を統合レイアウト処理して貼り付けることを特徴とすることができる。この統合レイアウト処理とは、テンプレート画像と処理画像とが合成された複数の合成画像を例えば1枚の用紙や1つのページ画面上にレイアウトして出力する処理をいう。また、この補正される幾何特徴量は、テンプレート画像の有する貼り付け位置に対するデジタル画像の主要被写体の位置であることを特徴とすることができる。更に、この補正される画質特徴量は、テンプレート画像の明るさに基づいて補正されるデジタル画像の明るさであることを特徴とすることができる。 Here, the step of pasting to the template image can be characterized in that a plurality of digital images are pasted by performing an integrated layout process. This integrated layout process refers to a process of laying out and outputting a plurality of composite images obtained by combining a template image and a processed image on, for example, one sheet of paper or one page screen. Further, the geometric feature value to be corrected can be characterized in that it is the position of the main subject of the digital image with respect to the pasting position of the template image. Further, the image quality feature quantity to be corrected can be characterized in that the brightness of the digital image is corrected based on the brightness of the template image.
一方、本発明は、コンピュータに実行させるプログラムとして把握することができる。このプログラムは、コンピュータに、所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段からテンプレート情報を読み出す機能と、テンプレート画像に合成されるデジタル画像が有する特徴量を解析する機能と、解析された特徴量と読み出されたテンプレート情報とに基づいて、デジタル画像の画像補正量を算出する機能と、算出された画像補正量を用いてデジタル画像を補正する機能と、補正されたデジタル画像を、所定の格納手段から読み出されたテンプレート画像に合成する機能とを実現させる。 On the other hand, the present invention can be understood as a program to be executed by a computer. This program has a function of reading template information from a template information storage unit that stores template information, which is attribute information of a template image for synthesizing a digital image in a predetermined area, and a digital image to be synthesized with the template image. A function for analyzing the feature value, a function for calculating the image correction amount of the digital image based on the analyzed feature value and the read template information, and correcting the digital image using the calculated image correction amount And a function of synthesizing the corrected digital image with a template image read from a predetermined storage means.
本発明によれば、例えば任意の条件によって形成された画像について、合成されるテンプレートに基づく適切な処理を施すことが可能となる。 According to the present invention, for example, an image formed under an arbitrary condition can be subjected to appropriate processing based on a template to be synthesized.
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態が適用される画像処理システムの全体構成例を示した図である。ここでは、インターネットなどのネットワーク9を介して各機能が接続されている。図1に示す画像処理システムは、分散撮影される画像の統合レイアウト処理を行う画像処理サーバ1、分散撮影された画像を取得すると共に統合レイアウト処理を行う画像を選定する画像データベースサーバ2、画像データベースサーバ2に接続され、分散撮影された画像を格納する1または複数の画像データベース(画像DB)3を備えている。また、撮影手段であるデジタルカメラ4にて撮影された画像を読み取り、ネットワーク9を介して画像データベースサーバ2に画像を転送する画像転送装置5、画像処理サーバ1で補正処理がなされた画像を表示出力する表示装置6、画像処理サーバ1で補正処理がなされた画像を、画像プリント出力手段であるプリンタ7に出力するための各種画像処理を行う印刷用画像処理装置8を備えている。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating an overall configuration example of an image processing system to which the exemplary embodiment is applied. Here, each function is connected via a network 9 such as the Internet. An image processing system shown in FIG. 1 includes an image processing server 1 that performs integrated layout processing of images that are distributedly shot, an
画像転送装置5、表示装置6、および印刷用画像処理装置8は、ノートブック型コンピュータ装置(ノートPC)やデスクトップ型PCなどのコンピュータ装置で構成することができる。また、画像処理サーバ1や画像データベースサーバ2もPCなどの各種コンピュータ装置として把握することができる。本実施の形態では、異なる撮影場所、異なる撮影条件で分散撮影された複数画像を、所定のテンプレートに合成させる点に特徴がある。そこで、複数のデジタルカメラ4とこれに接続される複数の画像転送装置5がネットワーク9に接続されて各所に配置されている。また、デジタルカメラ4は、自らが有する通信機能を利用して、例えば中継局(図示せず)を介してネットワーク9に接続し、撮影した画像を直接、画像処理サーバ1に送信する形態もある。また、無線LAN機能を備えていれば、例えばアクセスポイント(図示せず)を介してネットワーク9に接続し、撮影した画像をデジタルカメラ4から直接、画像処理サーバ1に送信する形態も考えられる。
The image transfer device 5, the
図2は、本実施の形態における画像処理を実行するための画像処理サーバ1の機能を示すブロック図である。画像処理サーバ1は、画像DB3に格納された画像データ(デジタル画像)を画像データベースサーバ2より取得する画像入力部11、画像入力部11によって入力された複数画像に対して、画像番号(Gn)の付与と総数カウント等の前処理を実行する番号付与・総数カウント処理部12、画像処理が施された個別画像を個々に、またはレイアウト配置された状態でネットワーク9に送出する画像出力部13を備えている。また、例えばネットワーク9を介してユーザ端末(画像転送装置5、表示装置6、印刷用画像処理装置8、デジタルカメラ4等)からのテンプレート選択を入力するテンプレート選択入力部21、例えばハードディスクドライブ(HDD)等の記録媒体により構成され、各種テンプレート画像およびテンプレート情報(テンプレート属性情報)が格納されるテンプレート情報格納部22、テンプレート選択入力部21により入力された選択情報を用いてテンプレート情報格納部22から所定のテンプレート情報を読み出すテンプレート情報読み出し部23を備えている。ここで、テンプレート情報格納部22に格納されるテンプレートには、例えば写真画像等のデジタル画像がはめ込まれる枠体や、背景画像、デジタル画像が組み込まれる型等が含まれる。本実施の形態では、テンプレート画像は合成処理される画像そのものを意味し、テンプレート情報はテンプレート画像の有する属性情報を意味している。
尚、テンプレートの選択情報が個々の画像データに含まれ、または添付されている場合がある。かかる場合には、テンプレート選択入力部21は、画像入力部11にて個々の画像データが入力された際に、画像入力部11からテンプレート選択情報を取得する。
FIG. 2 is a block diagram showing functions of the image processing server 1 for executing image processing in the present embodiment. The image processing server 1 obtains image data (digital image) stored in the
Note that template selection information may be included or attached to individual image data. In such a case, the template
また、画像処理サーバ1は、画像入力部11から入力され番号付与・総数カウント処理部12によって画像番号(Gn)の付与と総数カウント等の前処理が実行された個別画像につき、その特徴量を解析して画像補正量を算出する補正量算出機能30、補正量算出機能30にて算出された個別画像の補正量に基づいて各種画像処理を実行すると共に、テンプレート画像を用いた合成処理を行う画像処理機能40を備えている。この補正量算出機能30は、補正処理が施される画像における幾何特徴量や画質特徴量などの特徴量を抽出する画像特徴量抽出部31、画像特徴量抽出部31によって特徴量が抽出された画像の特徴量と、合成されるテンプレート画像の有するテンプレート情報とに基づいて画像特徴量を解析する画像特徴量解析部32、画像特徴量解析部32による解析結果により画像の補正量を算出する画像補正量算出部33を備えている。幾何特徴量は、デジタル画像(処理画像)が有する主要被写体(主要オブジェクト)の位置、重心位置、大きさ(縦×横サイズ)、画像方向(縦、横、斜め)等の特徴量である。画質特徴量は、明るさ、色、グレーバランス、階調補正などの画質に関する特徴量である。この画質特徴量には、主要被写体と背景とを分けて把握される。更に、画像処理機能40は、主要被写体として認識されたオブジェクトの位置、大きさ、傾き等の幾何的な特徴量を補正する幾何特徴量補正部41、明るさ、色、グレーバランス、階調補正などの画質を補正する画質補正部42、背景の除去や背景の統一等の背景を補正する背景処理部43、テンプレート画像との合成や、統合レイアウト処理を実行する合成処理部44を備えている。
In addition, the image processing server 1 determines the feature amount of each individual image input from the
画質補正部42は、例えば、ノイズ抑制処理を行う平滑化処理、画像の分布で明るい方に寄っているか暗い方に寄っているか等によって基準のポイントを移動させる明度補正、画像分布の明るい部分、シャドー部分の分布特性を調整するハイライトシャドー補正、明暗の分布ヒストグラムから分布状態を得て明暗のコントラストを補正する明暗コントラスト補正を機能として備えている。また、例えば、1番明るいと考えられる白領域部を基準として、白い部分の色ずれを補正する色相・カラーバランス補正、例えばやや彩度が低めの画像に対しては鮮やかになるように、グレーに近い画像には、彩度を抑え目にする等の処理を施す彩度補正、例えば肌色を基準として肌色を所定の値に近づけるように補正する等、特定の記憶色を補正する記憶色補正等の各機能を有している。更に、全体のエッジ度からエッジの強さを判断し、例えばシャキシャキとした画像(シャープな画像)に補正するシャープネス強調処理の機能を備えることができる。
The image
次に、図2に示すブロック図にて実行される処理の流れについて説明する。
図3は、画像処理サーバ1にて実行される処理を示すフローチャートである。まず、画像処理サーバ1の画像入力部11にて処理画像が入力され、番号付与・総数カウント処理部12にて処理画像の総数Nがカウントされる(ステップ101)。また、番号付与・総数カウント処理部12は、処理画像の画像番号Gnを付与する(ステップ102)。次に、補正量算出機能30の画像特徴量抽出部31にて、処理画像から幾何特徴量が抽出され(ステップ103)、また、処理画像から画質特徴量が抽出される(ステップ104)。補正量算出機能30は、合成されるテンプレート画像の有するテンプレート情報をテンプレート情報読み出し部23から読み出し(ステップ105)、画像特徴量解析部32では、抽出された処理画像の各特徴量と読み出されたテンプレート情報とを用いて幾何特徴量および画質特徴量の解析がなされる(ステップ106)。更に、画像補正量算出部33は、解析された結果を用いて画像補正量を算出し(ステップ107)、画像処理機能40に提供する。
Next, the flow of processing executed in the block diagram shown in FIG. 2 will be described.
FIG. 3 is a flowchart showing processing executed by the image processing server 1. First, the processed image is input by the
画像処理機能40は、補正量算出機能30から提供される画像補正量により、処理画像に対して各種画像処理を施す(ステップ108)。そして、例えばRAM等からなるメモリに、処理画像を一旦、蓄積する。その後、統合レイアウト処理に必要な統合数の画像について補正が終了したか否かが判断される(ステップ109)。例えば、1枚の出力画像に所定枚数(例えば4枚、8枚、12枚等)の画像をレイアウト配置する場合には、その所定枚数の処理が終了したか否かが判断される。統合数の補正が終了していない場合には、ステップ102に戻って処理が繰り返される。統合数の補正が終了した場合には、合成すべきテンプレート画像がテンプレート情報読み出し部23から読み出され、合成処理部44にて、画像処理が施された画像にテンプレート画像が貼り付けられて画像が合成される(ステップ110)。また、合成処理部44にて統合レイアウト処理が実施され(ステップ111)、処理後の画像が画像出力部13から出力される(ステップ112)。ここで、画像番号Gnが総数Nになったか否か、即ち、Gn<Nの判定がなされる(ステップ113)。Gn<Nである場合には、ステップ102へ戻って処理が繰り返される。Gn<Nでない場合には、処理が終了する。尚、レイアウトの方法としては、最も簡単なものは、処理画像の読み込まれた順に並べるものであるが、ユーザが任意に設定するように構成することも可能である。かかるユーザに設定は、ネットワーク9を介して各ユーザ端末から取得するように構成することができる。
The
次に、図3に示す処理フローの主要な処理について、更に詳述する。
図4(a)〜(d)は、図3のステップ103に示す処理画像の有する幾何特徴量の抽出工程を説明するための図である。図4(a)には、画像特徴量抽出部31に入力される処理画像の例が示されている。ここでは、複数(4つ)の対象物により被写体が構成されている。画像特徴量抽出部31では、幾何特徴量の抽出に際し、まず、図4(b)に示すような2値化処理が実行される。次に、2値化された画像に対して、図4(c)に示すようなラベリング処理が施される。ここでは、L1〜L3の3つの画像要素に対してラベリングがなされている。その後、図4(d)に示すようにラベリングされた画像要素を全て含む最大外接矩形が算出される。算出される最大外接矩形としては、例えば座標軸を左上からとるとすると、トップの最小(Top min)、レフトの最小(Left min)、ボトムの最大(Bottom max)、ライトの最大(Right max)があり、これらについて各々算出される。以上のようにして、主要被写体(主要オブジェクト)の位置座標を求めることができるが、幾何特徴量としては、上記以外の特性、例えば、画像サイズ、画像方向(縦/横)等も把握することができる。
Next, the main processing of the processing flow shown in FIG. 3 will be described in further detail.
FIGS. 4A to 4D are diagrams for explaining the geometric feature amount extraction process of the processed image shown in step 103 of FIG. 3. FIG. 4A shows an example of a processed image input to the image feature
図5は、図3のステップ104に示す画質特徴量の抽出工程を説明するためのフローチャートである。画像特徴量抽出部31にて、まず処理画像が読み出され(ステップ201)、対象物と背景とが分離される(ステップ202)。対象物と背景との分離方法については従来から多数、存在するので、ここではその説明を省略する。その後、分離された対象物と背景との各々について、以下の処理が実行される。すなわち、ステップ203からステップ205では輝度の抽出、ステップ206からステップ210ではR(赤),G(緑),B(青)の分布抽出、ステップ211からステップ213では彩度の抽出がなされる。輝度の抽出では、まず、輝度色差形の色信号として例えばL*a*b*に変換されて輝度変換が行われ(ステップ203)、輝度ヒストグラムが採取される(ステップ204)。その後、分布平均値L_aveが算出される(ステップ205)。この輝度変換は、例えば、ハイライトシャドー補正や明暗コントラスト補正に用いられる。例えば、明暗コントラスト補正では、基準画像から、明暗の分布(例えばヒストグラム)をとり、例えば、レンジを5段程度として分布の程度が把握される。この分布の程度は、背景および背景と分離された主要被写体(被写体)を分けて各々について把握される。
FIG. 5 is a flowchart for explaining the image quality feature amount extraction step shown in step 104 of FIG. The image feature
一方、RGBの分布抽出では、まずRGB変換がなされ(ステップ206)、RGBヒストグラムが採取される(ステップ207)。そして、R分布の最大値(Max値)であるr_maxの算出(ステップ208)、G分布の最大値であるg_maxの算出(ステップ209)、B分布の最大値であるb_maxの算出(ステップ210)がなされる。例えば色相・カラーバランス補正を行うに際して、このように、ヒストグラムでRGBが別々に採取される。 On the other hand, in RGB distribution extraction, RGB conversion is first performed (step 206), and an RGB histogram is collected (step 207). Then, r_max that is the maximum value (Max value) of the R distribution (step 208), g_max that is the maximum value of the G distribution (step 209), and b_max that is the maximum value of the B distribution (step 210). Is made. For example, when performing hue / color balance correction, RGB are separately collected in the histogram as described above.
更に、彩度補正を行うために、彩度変換がなされる(ステップ211)。まず、背景と分離された主要被写体について、彩度ヒストグラムが採取され(ステップ212)、分布平均値S_aveが算出される(ステップ213)。ここでは、L*a*b*のa*b*の2平面で彩度を表すことができる。a*b*が00でグレーとなる。尚、処理としては、テンプレート画像へ合わせる補正の他に、例えば、グレーに近い方はグレーに縮め、即ち、少々色付く程度の場合には、彩度を抑え目にし、補正によってグレーになる方向に補正するように構成することもできる。また、彩度が中高程度の分布では、鮮やかさを強調するように彩度補正を行うことも有効である。
尚、抽出される画質特徴量としては、上記以外に、例えば画像解像度等がある。
Further, in order to perform saturation correction, saturation conversion is performed (step 211). First, with respect to the main subject separated from the background, a saturation histogram is collected (step 212), and a distribution average value S_ave is calculated (step 213). Here, the saturation can be expressed by two planes a * b * of L * a * b * . When a * b * is 00, it becomes gray. As processing, in addition to correction to match the template image, for example, the one closer to gray is shrunk to gray, that is, if it is slightly colored, the saturation is reduced and the correction is made in the direction of becoming gray. It can also be configured to correct. It is also effective to perform saturation correction so as to enhance vividness in a distribution where the saturation is medium to high.
In addition to the above, the extracted image quality feature amount includes, for example, image resolution.
次に、図3のステップ105に示すテンプレート情報の読み出しと、ステップ106に示す幾何特徴量、画質特徴量の解析について説明する。
図6は、テンプレート情報格納部22に格納されているテンプレート画像とテンプレート情報(テンプレート属性情報)を説明するための図である。テンプレート情報格納部22には、合成されるテンプレート画像(テンプレート)の集合であるテンプレート集と、合成に際して処理画像の補正量を決定するためのテンプレート属性情報とが相互に対応可能な状態にて格納されている。テンプレート情報(テンプレート属性情報)の例としては、画像枠情報として、合成箇所の縦×横サイズ、縦・横の画像方向、画像解像度、合成される主要オブジェクトの合成位置座標、背景色(周囲色)等が格納されている。この合成箇所の縦×横サイズでは、貼り付けられる画像の最大サイズとして、例えば矩形の範囲が設定されている。合成箇所の枠が円や楕円等の曲線を有している場合でも、例えば画像が欠けずに合成できる最大サイズが設定されている。例えば円の場合には直径を対角線とする矩形範囲、楕円の場合には四隅が内接する矩形範囲等である。また、画像解像度は、各々のテンプレートが用いられる態様等によっても異なる場合がある。例えば、Webページとしてディスプレイへの表示だけであれば100dpi(ドット/インチ)程度、印刷される場合には200dpiや400dpi程度などが好ましいことから、用いられる態様によってテンプレートが区別されている場合には、解像度の情報は非常に有意義である。更に、主要オブジェクトの合成位置座標は、処理画像の主要被写体(主要オブジェクト)の位置を見易い位置に合成するために有意義な情報である。
Next, the reading of template information shown in step 105 of FIG. 3 and the analysis of the geometric feature value and image quality feature value shown in step 106 will be described.
FIG. 6 is a diagram for explaining a template image and template information (template attribute information) stored in the template
また、テキスト枠情報として、合成されるテキストのフォント、サイズ、縦書きおよび横書きの区別、段落スタイル等が格納されている。これらのテンプレート情報(テンプレート属性情報)は、テンプレート情報読み出し部23によるテンプレート画像の指定に基づき、指定されたテンプレート画像と共にテンプレート情報読み出し部23に提供される。
その後、図3のステップ106に示すように、画像特徴量解析部32では、上述のようにして抽出された処理画像の各特徴量と読み出されたテンプレート情報とを用いて幾何特徴量および画質特徴量の解析がなされる。また、ステップ107に示すように、画像補正量算出部33では、画像特徴量解析部32により解析された結果を用いて画像補正量が算出される。その後、処理画像の補正などが実行される。
In addition, as text frame information, a font of a text to be synthesized, a size, a distinction between vertical writing and horizontal writing, a paragraph style, and the like are stored. The template information (template attribute information) is provided to the template
After that, as shown in step 106 of FIG. 3, the image feature amount analysis unit 32 uses the feature amounts of the processed image extracted as described above and the read template information, and the geometric feature amount and image quality. The feature amount is analyzed. Further, as shown in step 107, the image correction
図7(a)〜(c)は、統合数4の場合として、4枚の画像についてテンプレート画像に基づく補正が施され、統合レイアウト処理が施されて合成画像が出力される例を示した図である。図7(a)には、テンプレート情報格納部22のテンプレート集から選択されて読み出された所定のテンプレートが示されている。図7(b)には、画像データベースサーバ2から読み出され、画像入力部11に入力された4枚の処理画像が示されている。更に図7(c)には、図7(b)に示す4枚の処理画像について補正が施された後、図7(a)に示すテンプレート画像が合成され、統合数4の統合レイアウト処理がなされた結果が示されている。図7(b)に示す例では、4枚の処理画像の各々の主要被写体(主要オブジェクト)の位置が中心からずれている。また、テンプレートの貼り付け位置の大きさに対して主要被写体が適度な大きさとなっていない。そこで、上述した幾何特徴量の解析により、処理画像の縦×横サイズを把握し、テンプレート情報を用いて縦×横サイズを変更するとともに、認識して切り取られた主要被写体がテンプレート画像の貼り付け位置の中心位置となるように調整し、合成される。また、統合数によっては、表示(出力)されるテンプレート画像の大きさが異なってくることから、統合数に応じて処理画像の縦×横サイズ等を変更する作業も実施される。
FIGS. 7A to 7C are diagrams showing an example in which correction based on a template image is performed on four images, and a combined image is output by performing integrated layout processing, in the case of the
尚、画質に関する補正では、例えばテンプレート画像の色に合わせて背景の色を変える等の処理がなされる。例えば、テンプレートが濃い色であれば背景は明る目に設定し、テンプレートが薄い色であれば濃い目に背景を設定する等である。逆に、ユーザの好みによっては同系列の明るさにすることも有効である。このユーザの好みは、ネットワーク9を介してユーザ端末から取得することができる。また、設定された背景や選択されたテンプレートの明るさに応じ、主要被写体の明るさを変えることもできる。同様に、選択されたテンプレートの色彩に応じて背景や主要被写体の色彩を変えることも有効である。 In the correction relating to the image quality, for example, processing such as changing the background color in accordance with the color of the template image is performed. For example, if the template is a dark color, the background is set to a bright color, and if the template is a light color, the background is set to a dark color. Conversely, it is also effective to set the brightness to the same series depending on the user's preference. This user preference can be acquired from the user terminal via the network 9. Also, the brightness of the main subject can be changed according to the set background and the brightness of the selected template. Similarly, it is also effective to change the color of the background and main subject according to the color of the selected template.
また、画像データベース3に格納されている処理画像(デジタル画像)を、図示しない商品データベースとリンクさせるように構成することもできる。この商品データベースでは、処理画像の識別番号(イメージNO.)に対応させて、商品名、型番、メーカ名、商品の種類、その他各種情報を格納することができる。テンプレート画像に処理画像をはめ込む際に、処理画像に対応させて商品データベースからこれらの商品情報を読み出し、テンプレート画像のテキスト貼り付け欄に書き込むことができる。このとき、書き込むテキスト情報をテンプレート情報に基づいて補正することも有効である。例えば、テンプレート画像の有する枠の色に合わせて最適なテキスト色を選択する等である。
Further, the processed image (digital image) stored in the
以上、詳述したように、本実施の形態によれば、貼り付けられるテンプレートに合わせて、例えば撮影されて取得された画像を自動的に修正することが可能となり、見栄えの良い画像を得ることができる。このとき、例えば撮影して取得された複数の商品物が有する大きさ、位置、傾き等の微妙なずれを自動的に修正することで、ユーザにとって非常に見易い商品レイアウトを簡易に取得することができる。また、テンプレート画像のデザインを変更するだけで、レイアウトのイメージを簡単に変えることが可能となる。これにより、例えばWebページのリニューアルなどを簡易に実施することが可能となる。 As described above in detail, according to the present embodiment, it is possible to automatically correct, for example, an image captured and acquired in accordance with a template to be pasted, and to obtain a good-looking image. Can do. At this time, it is possible to easily acquire a product layout that is very easy for the user to view by automatically correcting, for example, subtle deviations such as the size, position, and tilt of a plurality of products obtained by photographing. it can. In addition, the layout image can be easily changed simply by changing the design of the template image. Thereby, for example, renewal of a Web page can be easily performed.
尚、本実施の形態は、アプリケーションタイプ、プリンタドライバタイプ、およびデジタルカメラとの連携タイプ等の各タイプにて、使用されることが想定できる。アプリケーションタイプでは、例えば、デジタルスチールカメラ(DSC)画像をアルバム化、あるいは管理するソフトのプラグイン等として、ユーザの採取画像を自動調整する機能等に用いることができる。また、プリンタドライバタイプでは、ドライバ設定において、オプション機能として選択可能とする、あるいは、モード設定自体に組み込む機能とすることができる。更に、デジタルカメラとの連携タイプでは、ファイルフォーマットにタグ(Tag)情報を埋め込み、プリント段階での調整指示を可能とする機能として、本実施の形態を適用することが可能である。 Note that this embodiment can be assumed to be used in various types such as an application type, a printer driver type, and a cooperation type with a digital camera. In the application type, for example, it can be used for a function of automatically adjusting a collected image of a user as a plug-in of software for albuming or managing a digital still camera (DSC) image. In the printer driver type, the driver setting can be selected as an optional function, or can be a function incorporated in the mode setting itself. Further, in the cooperation type with the digital camera, the present embodiment can be applied as a function for embedding tag information in a file format and enabling an adjustment instruction at the printing stage.
また、本実施の形態が適用されるコンピュータプログラムは、コンピュータに対して提供される際に、例えばコンピュータにインストールされた状態にて提供される場合の他、コンピュータに実行させるプログラムをコンピュータが読取可能に記憶した記憶媒体にて提供される形態が考えられる。この記憶媒体としては、例えば各種DVDやCD−ROM媒体、カード型記憶媒体等が該当し、上記の各コンピュータに設けられたDVDやCD−ROM読取装置、カード読み取り装置等によってプログラムが読み取られる。そして、各コンピュータに設けられたHDDやフラッシュROM等の各種メモリにこのプログラムが格納され、CPUにて実行される。また、これらのプログラムは、例えば、プログラム伝送装置からネットワークを介してコンピュータに提供される形態もある。 In addition, when the computer program to which the present embodiment is applied is provided to the computer, the computer can read the program to be executed by the computer, in addition to the case where the computer program is installed in the computer, for example. A form provided by a storage medium stored in the above is conceivable. Examples of the storage medium include various DVDs, CD-ROM media, card-type storage media, and the like, and a program is read by a DVD, CD-ROM reader, card reader, or the like provided in each of the above computers. Then, this program is stored in various memories such as an HDD and a flash ROM provided in each computer, and is executed by the CPU. These programs may be provided to a computer via a network from a program transmission device, for example.
本発明の活用例としては、例えばプリンタ等の画像形成装置に接続されるコンピュータ、インターネット等を介して情報を提供するサーバ、デジタルカメラ、また、これらの各種コンピュータ機器にて実行されるプログラム等への活用がある。 Examples of utilization of the present invention include, for example, a computer connected to an image forming apparatus such as a printer, a server that provides information via the Internet, a digital camera, a program executed by these various computer devices, and the like. There is utilization of.
1…画像処理サーバ、2…画像データベースサーバ、3…画像データベース(画像DB)、4…デジタルカメラ、5…画像転送装置、6…表示装置、7…プリンタ、8…印刷用画像処理装置、9…ネットワーク、11…画像入力部、12…番号付与・総数カウント処理部、13…画像出力部、21…テンプレート選択入力部、22…テンプレート情報格納部、23…テンプレート情報読み出し部、30…補正量算出機能、31…画像特徴量抽出部、32…画像特徴量解析部、33…画像補正量算出部、40…画像処理機能、41…幾何特徴量補正部、42…画質補正部、43…背景処理部、44…合成処理部
DESCRIPTION OF SYMBOLS 1 ... Image processing server, 2 ... Image database server, 3 ... Image database (image DB), 4 ... Digital camera, 5 ... Image transfer apparatus, 6 ... Display apparatus, 7 ... Printer, 8 ... Image processing apparatus for printing, 9 DESCRIPTION OF SYMBOLS ... Network, 11 ... Image input part, 12 ... Number assignment and total number processing part, 13 ... Image output part, 21 ... Template selection input part, 22 ... Template information storage part, 23 ... Template information reading part, 30 ... Correction
Claims (10)
前記テンプレート画像に合成される前記デジタル画像が有する特徴量を解析する特徴量解析手段と、
前記特徴量解析手段により解析された前記特徴量と前記読み出し手段により読み出された前記テンプレート情報とに基づいて、前記デジタル画像の画像補正量を算出する画像補正量算出手段と
を含む画像処理装置。 A reading unit that reads the template information from a template information storage unit that stores template information that is attribute information of a template image that synthesizes a digital image in a predetermined region;
A feature amount analyzing means for analyzing a feature amount of the digital image combined with the template image;
An image processing apparatus comprising: an image correction amount calculating unit that calculates an image correction amount of the digital image based on the feature amount analyzed by the feature amount analyzing unit and the template information read by the reading unit. .
前記画像補正量算出手段は、解析された前記幾何特徴量および/または前記画質特徴量を用いて、前記テンプレート情報に合わせた幾何特徴量の補正量および/または画質の補正量を算出することを特徴とする請求項1記載の画像処理装置。 The feature amount analyzing means analyzes a geometric feature amount and / or image quality feature amount of the digital image,
The image correction amount calculating means calculates the geometric feature amount correction amount and / or the image quality correction amount according to the template information using the analyzed geometric feature amount and / or the image quality feature amount. The image processing apparatus according to claim 1, wherein:
読み出された前記デジタル画像が合成されるテンプレート画像の選択を受けるステップと、
選択された前記テンプレート画像の属性情報であるテンプレート情報をテンプレート情報格納手段から取得するステップと、
前記デジタル画像の有する幾何特徴量および/または画質特徴量を解析するステップと、
取得された前記テンプレート情報を用いて、解析された前記幾何特徴量および/または前記画質特徴量を補正し、前記デジタル画像を前記テンプレート画像に貼り付けるステップと
を含む画像処理方法。 Reading a digital image from the image storage means;
Receiving a selection of a template image on which the read digital image is synthesized;
Obtaining template information that is attribute information of the selected template image from a template information storage unit;
Analyzing the geometric feature and / or image quality feature of the digital image;
Correcting the analyzed geometric feature value and / or the image quality feature value using the obtained template information, and pasting the digital image on the template image.
所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から当該テンプレート情報を読み出す機能と、
前記テンプレート画像に合成される前記デジタル画像が有する特徴量を解析する機能と、
解析された前記特徴量と読み出された前記テンプレート情報とに基づいて、前記デジタル画像の画像補正量を算出する機能と
を実現させるプログラム。 On the computer,
A function of reading the template information from the template information storage means for storing the template information that is the attribute information of the template image for synthesizing the digital image in a predetermined area;
A function of analyzing a feature amount of the digital image combined with the template image;
A program for realizing a function for calculating an image correction amount of the digital image based on the analyzed feature amount and the read template information.
補正された前記デジタル画像を、所定の格納手段から読み出された前記テンプレート画像に合成する機能とを前記コンピュータに更に実現させる請求項9記載のプログラム。 A function of correcting the digital image using the calculated image correction amount;
The program according to claim 9, further causing the computer to realize a function of synthesizing the corrected digital image with the template image read from a predetermined storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004111948A JP4507673B2 (en) | 2004-04-06 | 2004-04-06 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004111948A JP4507673B2 (en) | 2004-04-06 | 2004-04-06 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005301337A true JP2005301337A (en) | 2005-10-27 |
JP4507673B2 JP4507673B2 (en) | 2010-07-21 |
Family
ID=35332842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004111948A Expired - Fee Related JP4507673B2 (en) | 2004-04-06 | 2004-04-06 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4507673B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221675A (en) * | 2006-02-20 | 2007-08-30 | Seiko Epson Corp | Image processor, image processing method and image processing program |
JP2007299321A (en) * | 2006-05-02 | 2007-11-15 | Ricoh Co Ltd | Information processor, information processing method, information processing program and information storage medium |
JP2010102576A (en) * | 2008-10-24 | 2010-05-06 | Atsushi Iga | Photograph for advertising for resident of rental housing |
WO2023175833A1 (en) * | 2022-03-17 | 2023-09-21 | 日本電気株式会社 | Image processing device, system, method, and computer-readable medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07221975A (en) * | 1993-09-24 | 1995-08-18 | Eastman Kodak Co | Composition method of image as well as method and apparatus for generation of image |
JPH11144067A (en) * | 1997-11-07 | 1999-05-28 | Nec Corp | System and method for image layout and recording medium |
-
2004
- 2004-04-06 JP JP2004111948A patent/JP4507673B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07221975A (en) * | 1993-09-24 | 1995-08-18 | Eastman Kodak Co | Composition method of image as well as method and apparatus for generation of image |
JPH11144067A (en) * | 1997-11-07 | 1999-05-28 | Nec Corp | System and method for image layout and recording medium |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221675A (en) * | 2006-02-20 | 2007-08-30 | Seiko Epson Corp | Image processor, image processing method and image processing program |
JP4725351B2 (en) * | 2006-02-20 | 2011-07-13 | セイコーエプソン株式会社 | Image processing apparatus, image processing method, and image processing program |
JP2007299321A (en) * | 2006-05-02 | 2007-11-15 | Ricoh Co Ltd | Information processor, information processing method, information processing program and information storage medium |
JP2010102576A (en) * | 2008-10-24 | 2010-05-06 | Atsushi Iga | Photograph for advertising for resident of rental housing |
WO2023175833A1 (en) * | 2022-03-17 | 2023-09-21 | 日本電気株式会社 | Image processing device, system, method, and computer-readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP4507673B2 (en) | 2010-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4285290B2 (en) | Image processing apparatus, image processing method, and program | |
US8280188B2 (en) | System and method for making a correction to a plurality of images | |
KR100667663B1 (en) | Image processing apparatus, image processing method and computer readable recording medium which records program therefore | |
US8254679B2 (en) | Content-based image harmonization | |
US8630485B2 (en) | Method for combining image and imaging product | |
JP2009038523A (en) | Unit and method for processing image | |
JP2005176230A (en) | Image processor and print system | |
US20180234559A1 (en) | Image processing system, information processing apparatus, and method of controlling the same | |
US8169652B2 (en) | Album creating system, album creating method and creating program with image layout characteristics | |
US7561305B2 (en) | Image processing apparatus, image processing method and program product therefor | |
CN101600038A (en) | Image processing equipment and image processing method | |
US8107757B2 (en) | Data correction method, apparatus and program | |
US20120250997A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5569504B2 (en) | Image processing apparatus, image processing method, and program | |
JP4920814B2 (en) | Image processing method, apparatus, and recording medium | |
JP4507673B2 (en) | Image processing apparatus, image processing method, and program | |
JP2001056867A (en) | Image data processor, medium where image data set is recorded, medium where image data processing program is recorded, and image data processing method | |
US6850341B1 (en) | Method, system and recording medium for image processing | |
JP2006092127A (en) | Image processor, image processing method and program | |
KR101663042B1 (en) | Photo fusing apparatus | |
EP1883048B1 (en) | Data correction method, apparatus and program | |
WO2018066344A1 (en) | Image processing device, image processing method and image processing program | |
JP2004192401A (en) | Image processing apparatus, method and program | |
JP2006039657A (en) | Image processing method, image processor and image processing program | |
JP2004127287A (en) | Image storage method, image storage device, image processing method, image processing device, storage medium, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100426 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4507673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |