JP2000036032A - Foreground picture extracting method, picture processor, automatic trimming device, recording medium and portrait picture device - Google Patents
Foreground picture extracting method, picture processor, automatic trimming device, recording medium and portrait picture deviceInfo
- Publication number
- JP2000036032A JP2000036032A JP10204051A JP20405198A JP2000036032A JP 2000036032 A JP2000036032 A JP 2000036032A JP 10204051 A JP10204051 A JP 10204051A JP 20405198 A JP20405198 A JP 20405198A JP 2000036032 A JP2000036032 A JP 2000036032A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- mask
- person
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は画像処理方法、特に
背景を消去して前景画像を抽出する方法及び抽出した画
像が人物の上半身である場合にそれを所定の条件に合致
するように自動的にトリミングする方法、そのような画
像処理方法を実行する画像処理装置及びコンピュータに
実行させるコンピュータプログラムを記録した記録媒
体、更に実用化例としての肖像写真装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing method, and more particularly to a method for extracting a foreground image by erasing a background, and automatically extracting an extracted image of a person's upper body so as to meet predetermined conditions. More particularly, the present invention relates to an image processing apparatus for executing such an image processing method, a recording medium storing a computer program to be executed by a computer, and a portrait photograph apparatus as a practical example.
【0002】[0002]
【従来の技術】従来、免許証,パスポート,種々の証明
書用の肖像写真、葬儀用の遺影、更には犯罪捜査用の肖
像写真の撮影には、背景が白または灰色になるようにし
て本来要求されているサイズよりも広い範囲を写真撮影
し、人物の顔が要求されている条件に合致するようにト
リミングするか、またはプリントした写真を要求されて
いるサイズに合わせて裁断していた。2. Description of the Related Art Conventionally, when taking a portrait photograph for a license, a passport, various certificates, a funeral photograph, or a portrait photograph for a criminal investigation, the background is white or gray so as to be originally used. They photographed a larger area than the required size, trimmed the face of the person to meet the required conditions, or cut the printed photo to the required size.
【0003】このような従来の肖像写真の撮影方法で
は、白または灰色の背景を得るために専用のスクリーン
及び適当な照明が必要であり、更にプリントした写真を
要求されている条件に合致するようにトリミングまたは
裁断する必要があり、手間がかかっていた。[0003] Such a conventional portrait photography method requires a dedicated screen and appropriate lighting to obtain a white or gray background, and furthermore, the printed photograph must meet the required conditions. It had to be trimmed or cut, which was troublesome.
【0004】一方、近年のパーソナルコンピュータの性
能向上及び普及に伴って種々の画像処理ソフトウェアが
市販されている。そのような市販のソフトウェアでは、
一枚の画像中から任意の領域、たとえば人物の全体像,
顔などをユーザが指定することにより抽出して他の画
像、たとえば風景などに合成することが可能な機能が備
えられていることが多い。従って、このような機能を利
用することにより上述のような証明書用の肖像写真を作
成することは容易であると考えられるが、現実には一枚
の画像から任意領域を自動的に抽出するという処理は困
難であり、ユーザが画像の境界をマウスなどのポインテ
ィングデバイスでなぞってやる必要があるか、全自動を
謳っている場合にも実際はユーザの手動操作によるある
程度の輪郭の指示が必要である場合が多い。On the other hand, various image processing softwares have been marketed with the recent improvement and spread of personal computers. With such commercial software,
Any area in one image, for example, the whole image of a person,
In many cases, a function is provided that can extract a face or the like by designating the face and synthesize it with another image, for example, a landscape. Therefore, it is considered easy to create such a portrait photograph for a certificate as described above by using such a function, but in reality, an arbitrary region is automatically extracted from one image. It is difficult for the user to trace the boundaries of the image with a pointing device such as a mouse, or even when fully automatic, it is necessary to give some outline instructions by the user's manual operation. There are many cases.
【0005】[0005]
【発明が解決しようとする課題】このように従来におい
ては、肖像写真を撮影するためには専用の設備(スクリ
ーン,照明等)が必要であり、また要求されている条件
に合致するようにトリミングするか、またはプリントを
裁断する必要があり、そのためには要求されている大き
さよりも広い範囲を撮影する必要があるなどの問題があ
った。As described above, conventionally, dedicated equipment (screen, lighting, etc.) is required to take a portrait photograph, and trimming is performed so as to meet the required conditions. Or the print needs to be cut, and this requires the photographing of a wider area than the required size.
【0006】また、画像処理ソフトウェアを利用する場
合には一枚の画像中から必要な領域を抽出する作業が人
手に頼らざるを得ないというのが実状であり、一般のパ
ーソナルコンピュータのユーザにとってはかなり高度な
技術を要求されることになる。In addition, when using image processing software, it is a fact that the operation of extracting a necessary area from one image has to be manually performed, and for a general personal computer user. Quite advanced technology will be required.
【0007】本発明はこのような事情に鑑みてなされた
ものであり、一枚の画像から背景を消去して前景画像を
抽出する方法,装置及び抽出された画像を自動的にトリ
ミングする装置、更にそれらをコンピュータによって実
現するためのプログラムコードを記録した記録媒体、並
びにそれらを統合した装置としての肖像写真装置の提供
を目的とする。The present invention has been made in view of such circumstances, and a method and an apparatus for extracting a foreground image by erasing a background from one image, and an apparatus for automatically trimming an extracted image, It is another object of the present invention to provide a recording medium on which a program code for realizing them by a computer is recorded, and a portrait photographing apparatus as an apparatus integrating them.
【0008】[0008]
【課題を解決するための手段】本発明に係る前景画像抽
出方法は、一枚の画像中の前景に撮影されている対象物
を抽出する方法であって、対象物が存在しない背景画像
を撮影するステップと、背景画像と同一フレームで前景
に対象物を位置させた対象画像を撮影するステップと、
対象画像と背景画像との所定の共通領域での明るさの差
分を算出するステップと、背景画像と対象画像との差分
を求め、明るさの差分を補正することにより第1のマス
ク画像を生成するステップと、第1のマスク画像に対し
て明るさの膨張・縮小処理を施すステップと、明るさの
膨張・縮小処理が施された第1のマスク画像に対して色
の膨張・縮小処理を施すステップと、色の膨張・縮小処
理が施された第1のマスク画像において対象物の領域と
背景の領域との境界線を判別し、その境界線において領
域を分割することにより第2のマスク画像を生成するス
テップと、対象画像に第2のマスク画像を重ねて合成す
ることにより、対象画像の背景を単一色に変換した画像
を生成するステップとを含むことを特徴とする。SUMMARY OF THE INVENTION A foreground image extraction method according to the present invention is a method for extracting an object photographed in the foreground in a single image, wherein a background image having no object is photographed. Taking a target image in which the target object is positioned in the foreground in the same frame as the background image;
Calculating a difference in brightness in a predetermined common area between the target image and the background image; obtaining a difference between the background image and the target image; and correcting the difference in brightness to generate a first mask image Performing a brightness expansion / reduction process on the first mask image, and performing a color expansion / reduction process on the first mask image that has been subjected to the brightness expansion / reduction process. Applying a second mask by determining a boundary between a target object region and a background region in the first mask image subjected to the color expansion / reduction processing, and dividing the region at the boundary. It is characterized by including a step of generating an image and a step of generating an image in which the background of the target image is converted into a single color by superimposing the second mask image on the target image and synthesizing the second mask image.
【0009】また本発明に係る画像処理装置は、一枚の
画像中の前景に撮影されている対象物を抽出する装置で
あって、対象物が存在しない状態を撮影した背景画像と
この背景画像と同一フレームで前景に対象物を位置させ
て撮影した対象画像との所定の共通領域での明るさの差
分を算出するバイアス算出手段と、背景画像と対象画像
との差分を求め、明るさの差分を補正することにより第
1のマスク画像を生成する第1マスク画像生成手段と、
第1マスク画像生成手段が生成した第1のマスク画像に
対して明るさの膨張・縮小処理を施す第1の膨張・縮小
処理手段と、第1の膨張・縮小処理手段により処理され
た第1のマスク画像に対して色の膨張・縮小処理を施す
第2の膨張・縮小処理手段と、第2の膨張・縮小処理手
段により処理された第1のマスク画像において対象物の
領域と背景の領域との境界線を判別し、その境界線にお
いて領域を分割することにより第2のマスク画像を生成
する第2マスク画像生成手段と、対象画像に第2マスク
画像生成手段により生成された第2のマスク画像を重ね
て合成することにより、対象画像から背景を消去した画
像を生成する合成手段とを備えたことを特徴とする。Further, an image processing apparatus according to the present invention is an apparatus for extracting an object photographed in the foreground in one image, wherein a background image photographing a state in which no object is present and a background image Bias calculating means for calculating a difference in brightness in a predetermined common region from a target image photographed with the target positioned in the foreground in the same frame, and a difference between the background image and the target image is calculated. First mask image generation means for generating a first mask image by correcting the difference;
First dilation / reduction processing means for performing dilation / reduction processing of brightness on the first mask image generated by the first mask image generation means, and a first dilation / reduction processing means processed by the first dilation / reduction processing means. Second dilation / reduction processing means for performing color dilation / reduction processing on the mask image, and a target object area and a background area in the first mask image processed by the second dilation / reduction processing means. A second mask image generating means for generating a second mask image by dividing an area at the boundary line, and a second mask image generated by the second mask image generating means for the target image. A synthesizing means for generating an image in which the background is deleted from the target image by superimposing and synthesizing the mask images.
【0010】このような本発明の前景画像抽出方法及び
画像処理装置では、一枚の画像中の前景に撮影されてい
る対象物を抽出する際に、対象物が存在しない背景画像
とこれと同一フレームで前景に対象物を位置させた対象
画像とを撮影することにより、両画像の所定の共通領域
での明るさの差分がまず算出され、次に背景画像と対象
画像との差分が求められ、更に明るさの差分が補正され
て第1のマスク画像が生成される。そして、この第1の
マスク画像に対して明るさの膨張・縮小処理及び色の膨
張・縮小処理が施され、その後に対象物の領域と背景の
領域との境界線が判別されてその境界線において領域が
分割されることにより第2のマスク画像が生成される。
最後に、対象画像に第2のマスク画像が重ねられて合成
されることにより、対象画像の背景を単一色に変換した
画像が生成される。According to the foreground image extraction method and image processing apparatus of the present invention, when an object photographed in the foreground in one image is extracted, the background image having no object is the same as the background image. By photographing the target image in which the object is positioned in the foreground in the frame, the difference in brightness in a predetermined common area between the two images is first calculated, and then the difference between the background image and the target image is calculated. Then, the difference in brightness is further corrected to generate a first mask image. Then, brightness expansion / reduction processing and color expansion / reduction processing are performed on the first mask image, and thereafter, a boundary between the object area and the background area is determined, and the boundary line is determined. The second mask image is generated by dividing the region in.
Finally, an image in which the background of the target image is converted to a single color is generated by superimposing and synthesizing the second mask image on the target image.
【0011】更に本発明に係る記録媒体は、一枚の画像
中の前景に撮影されている対象物を抽出する処理をコン
ピュータに実行させるコンピュータプログラムを記録し
たコンピュータ読み取り可能な記録媒体であって、対象
物が存在しない状態を撮影した背景画像とこの背景画像
と同一フレームで対象物を前景に位置させた状態を撮影
した対象画像との所定の共通領域での明るさの差分をコ
ンピュータに算出させるコンピュータ読み取り可能なプ
ログラムコード手段と、対象画像と背景画像との所定の
共通領域での明るさの差分をコンピュータに算出させる
コンピュータ読み取り可能なプログラムコード手段と、
背景画像と対象画像との差分を求め、明るさの差分を補
正することにより第1のマスク画像をコンピュータに生
成させるコンピュータ読み取り可能なコンピュータ読み
取り可能なプログラムコード手段と、第1のマスク画像
に対して明るさの膨張・縮小処理をコンピュータに施さ
せるコンピュータ読み取り可能なプログラムコード手段
と、明るさの膨張・縮小処理が施された第1のマスク画
像に対して色の膨張・縮小処理をコンピュータに施させ
るコンピュータ読み取り可能なプログラムコード手段
と、色の膨張・縮小処理が施された第1のマスク画像に
おいて対象物の領域と背景の領域との境界線を判別し、
その境界線において領域を分割することにより第2のマ
スク画像をコンピュータに生成させるコンピュータ読み
取り可能なプログラムコード手段と、対象画像に第2の
マスク画像を重ねて合成することにより、対象画像の背
景を単一色に変換した画像をコンピュータに生成させる
コンピュータ読み取り可能なコンピュータ読み取り可能
なプログラムコード手段とを含むコンピュータプログラ
ムを記録したことを特徴とする。Further, a recording medium according to the present invention is a computer-readable recording medium recording a computer program for causing a computer to execute a process of extracting an object photographed in the foreground in one image, A computer calculates a difference in brightness in a predetermined common area between a background image photographing a state where no target object is present and a target image photographing a state where the target object is positioned in the foreground in the same frame as the background image. Computer readable program code means, computer readable program code means for causing a computer to calculate a difference in brightness in a predetermined common area between the target image and the background image,
Calculating a difference between the background image and the target image, and correcting the difference in brightness to generate a first mask image by a computer; Computer-readable program code means for causing the computer to perform brightness expansion / reduction processing, and to perform color expansion / reduction processing on the first mask image subjected to brightness expansion / reduction processing to the computer. Computer-readable program code means for performing, and a boundary line between an area of the object and an area of the background in the first mask image subjected to the color expansion / reduction processing,
Computer-readable program code means for causing a computer to generate a second mask image by dividing a region at the boundary line; and superimposing and synthesizing the second mask image on the target image, thereby setting the background of the target image. And computer readable program code means for causing a computer to generate an image converted to a single color.
【0012】また上述のような本発明の記録媒体では、
その記録内容をコンピュータに読み取らせることによ
り、前述の画像処理装置が実現される。Further, in the recording medium of the present invention as described above,
By causing the computer to read the recorded contents, the above-described image processing apparatus is realized.
【0013】また本発明に係る自動トリミング装置は、
単一色の背景上に人物の上半身が撮影された画像を所定
のサイズの外廓線の範囲内において人物の顔面が所定の
位置になるように自動的にトリミングする装置であっ
て、画像中から人物の頭頂を検索する手段と、検索され
た頭頂の下方近傍で肌色を検索する手段と、検索された
肌色の平均値を算出する手段と、肌色の平均値を中心と
する所定範囲の肌色の領域を人物の顔面として顔面画像
を生成する手段と、顔面画像の中心線,及びその傾きを
検出する手段と、顔面画像中のあご位置を検出する手段
と、所定のサイズの外廓線の範囲内において人物の顔面
が所定の位置になるように顔面の位置を決定する手段と
を備えたことを特徴とする。Further, the automatic trimming device according to the present invention comprises:
A device for automatically trimming an image in which a person's upper body is photographed on a single color background so that a person's face is at a predetermined position within a range of a contour line of a predetermined size, and Means for searching for the top of the person, means for searching for the skin color in the vicinity below the searched top, means for calculating the average value of the searched skin color, and Means for generating a face image using the region as the face of a person; means for detecting the center line of the face image and its inclination; means for detecting the position of the chin in the face image; Means for deciding the position of the face so that the face of the person is at a predetermined position.
【0014】このような本発明の自動トリミング装置で
は、単一色の背景上に人物の上半身が撮影された画像を
所定のサイズの外廓線の範囲内において人物の顔面が所
定の位置になるように自動的にトリミングする際に、画
像中から人物の頭頂が検索され、その下方近傍で肌色が
検索され、検索された肌色の平均値が算出され、肌色の
平均値を中心とする所定範囲の肌色の領域を人物の顔面
として顔面画像が生成される。そして、顔面画像の中心
線,及びその傾きが検出され、更にあご位置が検出さ
れ、これらの検出結果に従って所定のサイズの外廓線の
範囲内において人物の顔面が所定の位置になるように顔
面の位置が決定される。In such an automatic trimming apparatus of the present invention, an image obtained by photographing the upper body of a person on a background of a single color is set so that the face of the person is at a predetermined position within a range of a contour line of a predetermined size. When the image is automatically trimmed, the top of the person is searched for in the image, the skin color is searched for in the vicinity below the image, the average value of the searched skin color is calculated, and a predetermined range around the average value of the skin color is calculated. A face image is generated using the skin color area as the face of the person. Then, the center line of the face image and the inclination thereof are detected, and the chin position is further detected. According to the detection results, the face of the person is positioned at a predetermined position within a range of a contour line of a predetermined size. Is determined.
【0015】更に本発明に係る肖像写真装置は、前述の
画像処理装置と自動トリミング装置とを組み合わせ、対
象物を人物の上半身に限定することにより、対象画像の
背景を単一色に変換した人物画像を生成し、更に所定の
サイズの外廓線の範囲内において人物の顔面が所定の位
置になるように顔面の位置を決定することにより自動的
に肖像写真を生成することを特徴とする。Further, the portrait photographing apparatus according to the present invention combines the above-described image processing apparatus and the automatic trimming apparatus to limit the object to the upper body of the person, thereby converting the background of the object image into a single color. Is generated, and a portrait photograph is automatically generated by determining the position of the face so that the face of the person is in a predetermined position within the range of the contour line of a predetermined size.
【0016】このような肖像写真装置では、人物がいな
い状態で撮影された背景画像とそれと同一フレームで人
物が前景にいる状態で撮影された画像とから自動的に肖
像写真が生成される。In such a portrait photographing apparatus, a portrait photograph is automatically generated from a background image photographed without a person and an image photographed in the same frame with a person in the foreground.
【0017】なお、上述の前景画像抽出方法,画像処理
装置,記録媒体及び肖像写真装置においては、背景画像
を予め撮影して保存しておいてもよい。これにより、背
景画像は最初に一枚のみ撮影しておけばよいことにな
る。In the above-described foreground image extraction method, image processing apparatus, recording medium, and portrait photographing apparatus, the background image may be photographed and stored in advance. As a result, only one background image needs to be photographed first.
【0018】また上述の前景画像抽出方法,画像処理装
置,記録媒体及び肖像写真装置においては、背景画像と
対象画像とに同一の表色系変換処理を施した上で第1の
マスク画像を生成してもよい。これにより、画像が最初
に撮影された時点の表色系以外の表色系で処理すること
により、より効果的な処理が可能になる。In the above-described foreground image extraction method, image processing apparatus, recording medium, and portrait photographing apparatus, the first mask image is generated after performing the same color system conversion processing on the background image and the target image. May be. This allows more effective processing by processing in a color system other than the color system at the time when the image was first captured.
【0019】また上述の前景画像抽出方法,画像処理装
置,記録媒体及び肖像写真装置においては、第1及び第
2の膨張・縮小処理を必要に応じて複数回反復してもよ
い。これにより、次の処理に必要な画像の状態を十分に
得ることが出来る。In the above-described foreground image extraction method, image processing apparatus, recording medium, and portrait photographing apparatus, the first and second expansion / reduction processes may be repeated a plurality of times as necessary. As a result, it is possible to sufficiently obtain an image state necessary for the next processing.
【0020】また上述の自動トリミング装置及び肖像写
真装置においては、第2のマスク画像に対してボカシ処
理を施してもよい。これにより、最終的に画像を合成す
る際に、対象物の外廓が不自然になることが防止され
る。In the above-described automatic trimming device and portrait photographing device, the second mask image may be subjected to a blurring process. This prevents the contour of the target object from becoming unnatural when the images are finally combined.
【0021】[0021]
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて詳述する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings showing the embodiments.
【0022】最初に本発明の前景画像抽出の手順及び自
動トリミングの手順の概略について、図1に示されてい
るその手順を示す画像の模式図を参照して説明する。本
発明の前景画像抽出方法の概略の手順は以下の如くであ
る。まず、図1(a)に示されているように、背景画像を
予め撮影しておく。そして、図1(b) に示されているよ
うに、予め撮影されている背景画像と同一フレームで人
物を前景として撮影を行なう。換言すれば、カメラその
ものは位置及び視野が固定されたいわゆる定点撮影を行
なう。そして、両者から、差分を抽出することにより、
図1(c) に示されているように、前景である人物の画像
のみを自動的に抽出する。以上のような前景画像抽出方
法により抽出された人物の画像、特に顔の画像を最後に
図1(d)に示されているように予め要求されている条件
に合致するように自動的にトリミングする。First, an outline of a procedure of extracting a foreground image and a procedure of automatic trimming according to the present invention will be described with reference to a schematic diagram of an image showing the procedure shown in FIG. The outline procedure of the foreground image extraction method of the present invention is as follows. First, as shown in FIG. 1A, a background image is captured in advance. Then, as shown in FIG. 1B, the photographing is performed with the person in the foreground in the same frame as the previously photographed background image. In other words, the camera itself performs so-called fixed-point imaging in which the position and the field of view are fixed. Then, by extracting the difference from both,
As shown in FIG. 1 (c), only the image of the foreground person is automatically extracted. The image of the person, especially the face, extracted by the foreground image extraction method as described above is automatically trimmed so as to finally meet the previously required condition as shown in FIG. 1 (d). I do.
【0023】以上の図1の各模式図に示されている手順
を自動的に実行することにより、証明写真などの肖像写
真を自動的に作成する装置が実現される。また、図1
(a) 乃至図1(c) に示されている手順を自動的に実行す
ることにより、任意の画像中から人物のみならずユーザ
が所望する領域(特定の被写体)を自動的に抽出する画
像処理ソフトウェアが実現される。By automatically executing the procedure shown in each schematic diagram of FIG. 1, an apparatus for automatically creating a portrait photograph such as an ID photograph is realized. FIG.
(a) through automatically executing the procedure shown in FIG. 1 (c), an image in which not only a person but also a region (specific subject) desired by the user is automatically extracted from an arbitrary image. Processing software is implemented.
【0024】以下、図1(a) 及び図1(b) の模式図に示
されているような2枚の画像から図1(c) の模式図に示
されている状態の画像を得る前景画像抽出方法について
詳述する。なお、以下の説明においては、図1(a) の模
式図に示されている予め撮影されている背景のみの画像
を背景画像と言い、この背景画像と同一フレームで前景
に人物が撮影されている図1(b) に示されているような
画像を対象画像と言う。またこれらの背景画像及び対象
画像はデジタルデータとして処理可能な状態で用意され
ていればよい。Hereinafter, a foreground for obtaining an image in the state shown in the schematic diagram of FIG. 1C from two images shown in the schematic diagrams of FIGS. 1A and 1B will be described. The image extraction method will be described in detail. In the following description, an image of only the background that has been photographed in advance, which is shown in the schematic diagram of FIG. 1A, is referred to as a background image, and a person is photographed in the foreground in the same frame as this background image. The image as shown in FIG. 1B is called a target image. The background image and the target image only need to be prepared in a state that can be processed as digital data.
【0025】まず最初に背景部分のバイアスを測定す
る。これは、背景画像が撮影された時点と対象画像が撮
影された時点とでは、背景の明るさが全く同一であると
いうことはなく、また背景画像と対象画像とを数秒の間
隔で撮影したとしても、人物が前景に入ることによって
背景の明るさが微妙に変化することが避けられないため
である。従って、単純に背景画像と対象画像との差分を
取った場合には対象画像の全体が抽出されることにな
る。このような事態を回避するために、対象画像中の必
ず背景が撮影されている部分に基準となる領域(以下、
基準領域という)を設定しておく。対象画像を撮影する
目的が人物の肖像写真である場合には、図2(b) の模式
図に示されているように、画像のフレームの上端部の両
側、具体的には人物の頭の両外側には必ず背景が撮影さ
れる。このため、図2(a) 及び図2(b) に参照符号Rで
示されているように基準領域を予め設定しておく。First, the background bias is measured. This is because the brightness of the background is not exactly the same at the time when the background image is taken and the time when the target image is taken, and the background image and the target image are taken at intervals of several seconds. This is also because it is inevitable that the brightness of the background changes slightly when a person enters the foreground. Therefore, when the difference between the background image and the target image is simply obtained, the entire target image is extracted. In order to avoid such a situation, a reference area (hereinafter, referred to as a reference area) in a part of the target image where the background is always photographed
(Referred to as a reference area). If the purpose of taking the target image is a portrait photograph of a person, as shown in the schematic diagram of FIG. 2B, both sides of the upper end of the image frame, specifically, the head of the person, The background is always photographed on both sides. For this reason, a reference area is set in advance as indicated by reference numeral R in FIGS. 2 (a) and 2 (b).
【0026】ここで、背景画像の基準領域をRB、対象画
像の基準領域をROとし、それぞれの明るさをB(RB), B(R
O)とすると、 B(RB) = B(RO)+Bi 但し、Biはバイアス値が成立する。なお、バイアス値Bi
は撮影時点における両画像の明るさの変化量であるが撮
影された両画像上では明るさの差分として検出される。Here, the reference region of the background image is RB, the reference region of the target image is RO, and the respective brightnesses are B (RB) and B (R
O), B (RB) = B (RO) + Bi where Bi is a bias value. The bias value Bi
Is the amount of change in the brightness of both images at the time of shooting, but is detected as a difference in brightness on both of the shot images.
【0027】次に、図3の各模式図に示されているよう
に、背景画像と対象画像との差分を取ることによりマス
ク画像(第1のマスク画像)を得るが、この際に必要に
応じて表色系を変換する。画像をコンピュータで処理す
る際には、フィルムまたはプリントをスキャナで取り込
むか、デジタルカメラ(スチルまたはムービー)から直
接入力するか、記録媒体(種々のディスク媒体,RAM
カード等)から読み込むか、不揮発性記憶手段(ハード
ディスク等)に予め格納しておく等の操作が必要であ
る。いずれにしろ、画像をコンピュータで処理する際に
は RGB表色系が用いられることが多いが、それ以外のた
とえば YIQ表色系、 HSI表色系、 XYZ表色系に変換した
場合には、色相,輝度などの特定のベクトルに対して感
度が向上する場合がある。従って、 RGB表色系では背景
画像と対象画像との差分があまり大きくないような場
合、たとえば背景画像が肌色に近い場合、人物の着衣が
背景の色に近い場合などにはRGB 系以外の上述のいずれ
かの表色系に変換した上で両者の差分を取るか、または
いくつかの表色系に変換してそれぞれにおいて差分を取
り、それらの結果を総合的に判断するような処理を行な
うことが望ましい。Next, as shown in each schematic diagram of FIG. 3, a mask image (first mask image) is obtained by taking a difference between the background image and the target image. The color system is converted accordingly. When an image is processed by a computer, a film or print is captured by a scanner, directly input from a digital camera (still or movie), or recorded on a recording medium (various disk media, RAM, etc.).
An operation such as reading from a card or the like or storing in a nonvolatile storage means (a hard disk or the like) in advance is required. In any case, when an image is processed by a computer, the RGB color system is often used.However, when the image is converted into a YIQ color system, an HSI color system, or an XYZ color system, for example, Sensitivity may be improved for specific vectors such as hue and luminance. Therefore, when the difference between the background image and the target image is not so large in the RGB color system, for example, when the background image is close to the skin color, or when the clothing of the person is close to the background color, the above-mentioned non-RGB system is used. After converting to any of the color systems, take the difference between them, or convert to some color system, take the difference in each, and perform a process to comprehensively judge the results It is desirable.
【0028】このように RGB表色系そのまま、または他
の表色系に変換した後の図3(a) に示されている背景画
像と図3(b) に示されている対象画像との差分を取り、
更に前述のバイアス値Biを補正することにより、前景
(この場合は人物)の領域のみが抽出された図3(c) の
模式図に示されているようなマスク画像(第1マスク画
像)が得られる。但し、図3(c) の人物の頭に相当する
部分の両横側に示されているように、背景に変化があっ
た場合にはその部分がマスク画像上に抽出されることが
あり、またノイズが混入する可能性も有り得る。The background image shown in FIG. 3A and the target image shown in FIG. 3B after being converted to the RGB color system as it is or to another color system as described above. Take the difference
Further, by correcting the above-mentioned bias value Bi, a mask image (first mask image) as shown in the schematic diagram of FIG. 3C in which only the foreground (in this case, a person) is extracted is obtained. can get. However, as shown on both sides of the part corresponding to the head of the person in FIG. 3 (c), when there is a change in the background, that part may be extracted on the mask image, In addition, there is a possibility that noise is mixed.
【0029】次に、図4の各模式図に示されているよう
に、図4(a) のマスク画像に対して図4(b) に示されて
いるように明るさの膨張処理及び図4(c) に示されてい
るように明るさの縮小処理(明るさの最大値・最小値)
を行なうことにより画像中の人物に相当する部分を平滑
化する。このような処理を加えることにより、たとえば
頭髪などをも人物の一部として判断し、また着衣が背景
と同系統の色である場合にも識別することが可能にな
る。Next, as shown in each schematic diagram of FIG. 4, the brightness expansion processing and the drawing are performed on the mask image of FIG. 4 (a) as shown in FIG. 4 (b). As shown in Fig. 4 (c), brightness reduction processing (maximum / minimum brightness)
To smooth the portion corresponding to the person in the image. By adding such processing, it is possible to determine, for example, the hair and the like as a part of the person, and to identify even when the clothes have the same system color as the background.
【0030】更に、上述のようにして膨張及び縮小を反
復して得られたマスク画像に対して、人物に相当する部
分を囲む領域全体を埋めることにより背景部分に存在し
得るノイズ及び背景の変化部分を消去すると共に、人物
に相当する部分の内部に生じている可能性がある欠損部
分を埋めることが可能である。Further, in the mask image obtained by repeating the expansion and contraction as described above, the entire area surrounding the part corresponding to the person is filled up, so that the noise and the change of the background which may exist in the background part are obtained. In addition to erasing the portion, it is possible to fill in a missing portion that may have occurred inside the portion corresponding to the person.
【0031】具体的には、図5(a) に示されているよう
に、マスク画像にはノイズ及び背景の変化部分が含まれ
ている可能性があるため、色の膨張・縮小処理を反復す
ることにより完全ではないがある程度の保証が与えられ
るようになり、図5(b) 及び(c) に示されているように
人物に相当する部分と背景との境界線の判別が可能にな
る。そして、最後に背景と人物に相当する部分との境界
線で領域を分離することにより、図5(d) に示されてい
るような人物のマスク画像(第2のマスク画像)が得ら
れる。More specifically, as shown in FIG. 5 (a), since the mask image may contain noise and a change in the background, the color expansion / reduction process is repeated. By doing so, a certain degree of guarantee is given, though not completely, and the boundary between the part corresponding to the person and the background can be determined as shown in FIGS. 5 (b) and 5 (c). . Finally, by separating the area at the boundary between the background and the part corresponding to the person, a mask image (second mask image) of the person as shown in FIG. 5D is obtained.
【0032】次に、上述のようにして得られた図6(a)
の人物のマスク画像をたとえばガウス(Gauss) ボカシな
どの処理を施すことにより、図6(b) に示されているよ
うに円滑化しておく。Next, FIG. 6A obtained as described above is used.
The mask image of the person is smoothed as shown in FIG. 6B by performing processing such as Gaussian blurring.
【0033】最後に、図7(a) の対象画像(図1(b) の
対象画像と同一)と図7(b) の人物のマスク画像とを合
成、たとえばα合成することにより図7(c) のような無
背景、より具体的には単一色背景の人物画像を得る。具
体的には、マスクの値”0”を背景色に、マスクの値”
1”を人物として処理することにより両画像を合成す
る。なお、上述の図6に示されているボカシ処理を行な
わない場合には、図7(a) の対象画像と図7(b) の人物
のマスク画像とを合成する際の境界線がシャープになり
すぎて不自然な画像が得られてしまう。Finally, the target image of FIG. 7A (same as the target image of FIG. 1B) and the mask image of the person of FIG. A person image with no background, more specifically, a single color background as in c) is obtained. Specifically, the mask value “0” is set as the background color and the mask value “
The two images are combined by processing 1 "as a person. If the above-described blurring processing shown in FIG. 6 is not performed, the target image shown in FIG. 7A and the target image shown in FIG. The boundary line when combining with a mask image of a person is too sharp, and an unnatural image is obtained.
【0034】以上により、図1(a) の背景画像と図1
(b) の対象画像とから、図7(c) の無背景の人物画像が
自動的に得られる。しかし、このままの状態では種々の
証明写真で定められている条件、具体的には写真の外廓
寸法,顔の大きさ及び外廓に対する位置等に合致しない
ため、図8(a) の模式図の状態を図8(b) の模式図の状
態にトリミングする必要がある。以下、このような自動
トリミングの手順について説明する。As described above, the background image shown in FIG.
From the target image in (b), a person image without a background in FIG. 7 (c) is automatically obtained. However, in this state, the conditions defined in various identification photographs, specifically, the outline size of the photograph, the size of the face, the position with respect to the outline, and the like do not match, so that the schematic diagram of FIG. Needs to be trimmed to the state shown in the schematic diagram of FIG. Hereinafter, such an automatic trimming procedure will be described.
【0035】まず、人物の頭頂を検出し、それを中心と
して顔面と見なせる色(肌色)の部分を検出する。具体
的には、図9(a) の単一色背景の人物画像の図9(b) の
ような輪郭線を上端から検索することにより頭頂を検出
し、更にその下方においてたとえば HIS表色系における
赤から黄色までの比較的広い範囲において検索すること
により、図9(c) に示されているように、肌の色を検索
する。First, the top of a person is detected, and a portion of a color (skin color) that can be regarded as a face is detected around the top. Specifically, the top of the head is detected by retrieving the contour line as shown in FIG. 9 (b) of the person image with the single color background of FIG. By searching in a relatively wide range from red to yellow, a skin color is searched as shown in FIG. 9 (c).
【0036】この肌の色に対応する部分は顔面部分であ
るとみなせるので、その平均値を求め、求められた平均
値を中心としてある程度の色の範囲の部分を顔面とみな
してマスクを作成する。具体的には、図10(a) に示され
ているような肌色に対応する部分を取得した画像から肌
の色の平均を求め、あごの位置を検索することを考慮し
て、暗い部分に関しては検索範囲を狭く(閾値を小さ
く)、明るい部分に関しては検索範囲を広く(閾値を大
きく)する。この結果、図10(b) に示されているような
顔のみの画像(以下、顔面マスク画像と言う)が得られ
る。Since the portion corresponding to the skin color can be regarded as a face portion, an average value thereof is obtained, and a portion in a certain color range around the obtained average value is regarded as a face to create a mask. . Specifically, the average of the skin color is obtained from the image in which the portion corresponding to the skin color as shown in FIG. 10 (a) is acquired, and the dark portion is determined in consideration of searching the position of the chin. Narrows the search range (decreases the threshold) and widens the search range (increases the threshold) for bright parts. As a result, an image of only the face as shown in FIG. 10B (hereinafter referred to as a face mask image) is obtained.
【0037】次に、顔面マスク画像から、顔面の重心を
求め、重心を含む閉領域のみの画像を作成する。具体的
には、図11(a) の顔面マスク画像から図11(b) に示され
ているような閉領域のみの画像を作成し、図11(c) に示
されているように、X方向(画像上で左右方向)にスラ
イスし、顔面部分の各Y座標でのX軸方向の重心を求
め、図11(d) に示されているように、求められた各重心
の配列から顔面の中心のX座標値と傾きとを求める。な
お、図11(c) に示されているように、閉領域の最下部を
あごの位置とみなして検出しておく。Next, the center of gravity of the face is determined from the face mask image, and an image of only a closed region including the center of gravity is created. Specifically, an image of only the closed area as shown in FIG. 11 (b) is created from the face mask image of FIG. 11 (a), and as shown in FIG. 11 (c), X 11 (d), the center of gravity of the face portion in the X-axis direction at each Y coordinate is obtained, and the face is determined from the array of the obtained centers of gravity, as shown in FIG. The X coordinate value and the inclination of the center of are calculated. Note that, as shown in FIG. 11 (c), the lowermost part of the closed area is detected as a position of the chin.
【0038】以上により、図12(b)に示されているよう
に顔面の上下方向のサイズ(頭頂を上限位置として、ま
たあごを下限位置として)、中心軸及び傾きが判明する
ので、図12(a) に示されているような写真の所定の外廓
寸法,たとえばパスポート用の写真の場合は3.5cm ×4.
5cm 、及び頭頂,あごの位置に合わせて人物画像の拡大
・縮小及び外廓に対する配置を決定してトリミングを行
なう。これにより、図12(c) に示されているような所定
の外廓サイズ内の所定の位置に顔面が配置された証明写
真が生成される。As described above, the size of the face in the vertical direction (the top is set as the upper limit position and the chin is set as the lower limit position), the central axis and the inclination are determined as shown in FIG. 12 (b). The prescribed outline dimensions of the photograph as shown in (a), for example, 3.5 cm x 4.
Trimming is performed by determining the enlargement / reduction of the person image and the arrangement with respect to the outline in accordance with the position of 5 cm, the top and the chin. As a result, an identification photograph in which the face is arranged at a predetermined position within a predetermined outline size as shown in FIG. 12 (c) is generated.
【0039】このようにして、図1(a) に示されている
ような背景画像を予め撮影しておくことにより、それと
同一背景で定点撮影した図1(b) に示されているような
人物の画像から図7(c) に示されているような無背景の
人物の肖像画像が自動的に得られ、更に図12(c) に示さ
れているような所定の条件に合致した証明写真が得られ
る。In this manner, by photographing the background image as shown in FIG. 1A in advance, a fixed point photograph as shown in FIG. 1B with the same background is taken. A portrait image of a person with no background as shown in FIG. 7 (c) is automatically obtained from the image of the person, and a proof that satisfies predetermined conditions as shown in FIG. 12 (c). A photo is obtained.
【0040】次に、上述のような本発明方法を実施する
ための画像処理装置について説明する。図13は前景画像
抽出方法を実施するための画像処理装置の構成例を示す
機能ブロック図である。Next, an image processing apparatus for carrying out the method of the present invention as described above will be described. FIG. 13 is a functional block diagram showing a configuration example of an image processing device for implementing the foreground image extraction method.
【0041】カメラ11は背景画像及び対象画像を撮影す
るために使用され、撮影された図1(a) に示されている
ような背景画像は背景画像記憶部12に、図1(b) に示さ
れているような対象画像は対象画像記憶部13にそれぞれ
記憶される。なお、カメラ11により撮影された画像(背
景画像及び対象画像)は通常は RGB表色系である。The camera 11 is used for photographing a background image and a target image. The photographed background image as shown in FIG. 1A is stored in the background image storage unit 12 and in FIG. 1B. The target images as shown are stored in the target image storage unit 13, respectively. Note that the images (background image and target image) captured by the camera 11 are usually of the RGB color system.
【0042】なお、両記憶部12,13はハードウェアとし
ては一個の記憶装置を使用してもよいことは勿論であ
る。また、背景画像は予め撮影して背景画像記憶部12に
記憶させておく必要があるが、対象画像はその都度カメ
ラ11から直接取り込むようにしてもよい。It is needless to say that one storage device may be used as the hardware for both storage units 12 and 13. Further, the background image needs to be photographed in advance and stored in the background image storage unit 12, but the target image may be directly captured from the camera 11 each time.
【0043】両画像のデータはバイアス算出部14に入力
され、図2(a) 及び(b) に示されているように、背景画
像の基準領域RB,対象画像の基準領域ROの明るさB(RB),
B(RO)からバイアス値Biが算出される。このバイアス算
出部14で算出されたバイアス値Biは後述するマスク画像
生成部16に与えられる。The data of both images is input to the bias calculator 14, and as shown in FIGS. 2A and 2B, the brightness B of the reference region RB of the background image and the reference region RO of the target image. (RB),
A bias value Bi is calculated from B (RO). The bias value Bi calculated by the bias calculator 14 is provided to a mask image generator 16 described later.
【0044】一方、両画像のデータは表色系変換部15に
も入力される。この表色系変換部15は背景画像と対象画
像との双方に同一の表色系変換処理を施す。たとえば、
前述のように、カメラ11により撮影される画像は一般的
には RGB表色系であるが、表色系変換部15では背景画像
及び対象画像をそれ以外のたとえば YIQ表色系、 HSI表
色系、 XYZ表色系等に変換する。これにより、次にマス
ク画像生成部16で行なわれる差分抽出処理の際の色相,
輝度などの特定のベクトルに対する感度を向上させる。On the other hand, the data of both images is also input to the color system conversion unit 15. The color system conversion unit 15 performs the same color system conversion processing on both the background image and the target image. For example,
As described above, the image captured by the camera 11 is generally of the RGB color system, but the color system conversion unit 15 converts the background image and the target image into other images such as the YIQ color system and the HSI color system. System, XYZ color system, etc. As a result, the hue at the time of the difference extraction processing performed by the mask image generation unit 16 next,
Improve sensitivity to specific vectors such as luminance.
【0045】マスク画像生成部16では、上述の表色系変
換部15で RGB表色系から他のいずれかの表色系に変換さ
れた背景画像と対象画像との差分を抽出し、更に先にバ
イアス算出部14で算出されているバイアス値Biを補正す
ることにより、図3(c) に示されているようなマスク画
像を生成する。The mask image generation unit 16 extracts the difference between the background image converted from the RGB color system to any other color system by the above-described color system conversion unit 15 and the target image. By correcting the bias value Bi calculated by the bias calculator 14, the mask image as shown in FIG. 3C is generated.
【0046】なお、 RGB表色系では背景画像と対象画像
との差分があまり大きくないような場合、たとえば背景
画像が肌色に近い場合、人物の着衣が背景の色に近い場
合などには RGB表色系以外の上述のいずれかの表色系に
表色系変換部15で背景画像及び対象画像を共に変換した
上で両者の差分を取るか、またはいくつかの表色系に変
換してそれぞれによって差分を取り、それらの結果を総
合的に判断するような処理を行なうことが望ましい。こ
のような事情から前述の表色系変換部15が備えられてい
るが、表色系の変換処理を行なうことなしに最初にカメ
ラ11で撮影された時点の表色系(一般的には RGB表色
系)でそのままマスク画像生成部16による処理を行なっ
てもよいことは言うまでもない。In the RGB color system, when the difference between the background image and the target image is not so large, for example, when the background image is close to the skin color, or when the clothes of the person are close to the background color, the RGB color system is used. After converting both the background image and the target image into one of the above-described color systems other than the color system by the color system conversion unit 15, take the difference between them, or convert them to some color systems and It is desirable to perform a process of taking a difference between them and judging the results comprehensively. For this reason, the color system conversion unit 15 described above is provided. However, the color system (in general, RGB) at the time when the camera 11 first shoots the image without performing the color system conversion process is provided. Needless to say, the processing by the mask image generation unit 16 may be performed as it is in the color system).
【0047】マスク画像生成部16により生成された図3
(c) に示されているようなマスク画像は次に膨張・縮小
処理部17に与えられて図4(a),(b), (c)に示されている
ような明るさの膨張処理及び縮小処理(明るさの最大値
・最小値)が施されることにより画像中の人物に相当す
る部分が平滑化すされる。この結果、図5(a) に示され
ているようなマスク画像が生成される。FIG. 3 generated by the mask image generation unit 16
The mask image as shown in (c) is then provided to the dilation / reduction processing unit 17 to perform the dilation processing of the brightness as shown in FIGS. 4 (a), (b) and (c). By performing a reduction process (maximum / minimum brightness), a portion corresponding to a person in the image is smoothed. As a result, a mask image as shown in FIG. 5A is generated.
【0048】更に、膨張・縮小処理部17での膨張・縮小
処理が施されたマスク画像は人物マスク画像生成部18に
与えられて図5(a), (b), (c) に示されているような色
の膨張処理及び縮小処理が施されることにより画像中の
人物の部分と背景の部分との境界線が検出されて領域分
割され、図5(d) に示されているような人物マスク画像
が生成される。Further, the mask image subjected to the dilation / reduction processing by the dilation / reduction processing unit 17 is given to a person mask image generation unit 18 and shown in FIGS. 5 (a), 5 (b) and 5 (c). As shown in FIG. 5 (d), a boundary line between a person portion and a background portion in an image is detected and subjected to region division by performing the color expansion and reduction processes as described above. A unique person mask image is generated.
【0049】この人物マスク画像生成部18で生成された
人物マスク画像は次にボカシ処理部19に与えられてたと
えばガウスボカシなどの処理が施され、円滑化された図
6(b) に示されているような人物マスク画像が得られ
る。The person mask image generated by the person mask image generation unit 18 is then given to a blur processing unit 19, for example, subjected to processing such as Gaussian blurring, and smoothed as shown in FIG. 6 (b). A person mask image is obtained as if it were.
【0050】ボカシ処理部19で得られた人物マスク画像
は次に合成部20に与えられる。この合成部20には図1
(b) に示されている対象画像のデータも対象画像記憶部
13から与えられており、この対象画像と図6(b) に示さ
れているボカシ処理部19で生成された人物のマスク画像
とを合成、たとえばα合成する。この結果、合成部20の
出力として図7(c) に示されているような無背景(単一
色背景)の人物画像が合成結果として得られる。The human mask image obtained by the blur processing unit 19 is then provided to the synthesizing unit 20. FIG.
The data of the target image shown in (b) is also stored in the target image storage unit.
The target image and the mask image of the person generated by the blur processing unit 19 shown in FIG. 6B are combined, for example, α combined. As a result, a non-background (single-color background) human image as shown in FIG.
【0051】合成部20での処理は具体的には、マスクの
値”0”を背景色に、マスクの値”1”を人物として処
理することにより両画像を合成する。なお、上述のボカ
シ処理部19によるボカシ処理を行なわない場合には対象
画像と人物のマスク画像とを合成する際の境界線がシャ
ープになりすぎてやや不自然な画像になる。しかしこの
ことは本質的な問題ではないため、ボカシ処理部19によ
るボカシ処理を省略してもよいことは言うまでもない。Specifically, the processing in the synthesizing unit 20 synthesizes both images by processing the mask value “0” as the background color and the mask value “1” as the person. If the blur processing by the above-described blur processing unit 19 is not performed, the boundary line at the time of combining the target image and the mask image of the person becomes too sharp, resulting in a slightly unnatural image. However, since this is not an essential problem, it goes without saying that the blur processing by the blur processing unit 19 may be omitted.
【0052】以上のように図13に示されているような構
成の画像処理装置により、図1(a)に示されているよう
な背景画像と図1(b) に示されているような対象画像と
から、図7(c) に示されているようにな無背景の人物画
像が自動的に得られる。As described above, the background image as shown in FIG. 1 (a) and the background image as shown in FIG. From the target image, a person image without a background as shown in FIG. 7C is automatically obtained.
【0053】次に、本発明の自動トリミング装置につい
て、その構成例を示す図14の機能ブロック図を参照して
説明する。Next, the automatic trimming device of the present invention will be described with reference to a functional block diagram of FIG.
【0054】人物画像記憶部31には上述の合成部20によ
り生成された無背景の人物画像が、また写真条件記憶部
32には生成されるべき写真の条件(たとえばパスポート
用証明写真の場合には外廓サイズが3.5cm ×4.5cm で、
上辺から頭頂までが7±2mmで、下辺からあごまでが11
±2mm)が予め記憶されている。The person image storage unit 31 stores the backgroundless person image generated by the combining unit 20 described above, and the photograph condition storage unit.
32 is the condition of the photo to be generated (for example, in the case of a passport ID photo, the outline size is 3.5 cm × 4.5 cm,
7 ± 2mm from top to top, 11 from bottom to chin
± 2 mm) is stored in advance.
【0055】人物画像記憶部31に記憶されている人物画
像のデータは頭頂検索部33に与えられ、頭頂が検索され
る。この頭頂検索部33での処理は具体的には、人物画像
の上端から下方へX方向へ走査し、合成部20で合成され
た単一色背景の色とは異なる色が存在するY座標値を求
めることにより行なわれる。The data of the person image stored in the person image storage unit 31 is given to the top search unit 33, and the top is searched. More specifically, the processing in the crown search unit 33 scans in the X direction downward from the upper end of the person image, and calculates the Y coordinate value in which a color different from the color of the single color background synthesized by the synthesis unit 20 exists. It is done by asking.
【0056】このようにして頭頂が見つかると、次に肌
色検索部34により頭頂の位置を中心としてたとえば HIS
表色系において肌色、より具体的には赤から黄色までの
比較的広い範囲で検索を行なうことにより、顔面と見な
すことが出来る色を検索する。When the top of the head is found in this way, the skin color search unit 34 next sets the center of the top of the head, for example, in HIS.
In the color system, a color that can be regarded as a face is searched by performing a search in a relatively wide range from flesh color, more specifically, from red to yellow.
【0057】次の顔面画像生成部35では、肌色検索部34
により検索された肌色の部分は顔面部分であるとみなせ
るのでその平均値を求め、求められた平均値を中心とし
てある程度の色の範囲の部分を顔面とみなしてマスクを
作成する。In the next facial image generation unit 35, a skin color search unit 34
Since the skin color part searched by the above can be regarded as a face part, an average value is obtained, and a part of a certain color range centered on the obtained average value is regarded as a face to create a mask.
【0058】具体的には、顔面画像生成部35は肌色検索
部34が検索した肌の色の平均を求め、あごの位置を検索
することを考慮して、暗い部分に関しては検索範囲を狭
く(閾値を小さく)、明るい部分に関しては検索範囲を
広く(閾値を大きく)する。この結果、図10(b) に示さ
れているような顔面のみの画像(以下、顔面マスク画像
と言う)が得られる。More specifically, the face image generation unit 35 finds the average of the skin colors searched by the skin color search unit 34, and narrows the search range for dark parts in consideration of searching for the position of the chin ( The threshold is set small), and the search range is widened (the threshold is set large) for a bright part. As a result, an image of only the face as shown in FIG. 10B (hereinafter referred to as a face mask image) is obtained.
【0059】次に、顔面中心・傾き検出部36が、顔面画
像生成部35により生成された顔面マスク画像から、顔面
の重心を求め、重心を含む閉領域のみの画像を作成す
る。具体的には、顔面中心・傾き検出部36は、顔面画像
生成部35が生成した図11(a) に示されているような顔面
マスク画像から図11(b) に示されているような閉領域の
みの画像を作成し、図11(c) に示されているように、X
方向(画像上で左右方向)にスライスし、顔面部分の各
Y座標でのX軸方向の重心を求め、図11(d) に示されて
いるように、求められた各重心の配列から顔面の中心の
X座標値と傾きとを求める。Next, the face center / inclination detecting section 36 obtains the center of gravity of the face from the face mask image generated by the face image generating section 35, and creates an image of only a closed region including the center of gravity. Specifically, the face center / inclination detection unit 36 converts the face mask image as shown in FIG. 11A generated by the face image generation unit 35 as shown in FIG. 11B. An image of only the closed area is created, and as shown in FIG.
11 (d), the center of gravity of the face portion in the X-axis direction at each Y coordinate is obtained, and the face is determined from the array of the obtained centers of gravity, as shown in FIG. The X coordinate value and the inclination of the center of are calculated.
【0060】次にあご位置検出部37が、図11(c) に示さ
れているように、閉領域の最下部をあごの位置とみなし
て検出する。Next, as shown in FIG. 11 (c), the jaw position detector 37 detects the lowermost portion of the closed area as the position of the jaw.
【0061】以上により顔面の上下方向のサイズ(頭頂
を上限位置として、またあごを下限位置として)、中心
軸及び傾きが判明するのでそれらのデータが肖像写真生
成部38に与えられる。また、肖像写真生成部38にはその
他に、人物画像記憶部31から人物画像のデータが、写真
条件記憶部32からは写真条件がそれぞれ与えられる。肖
像写真生成部38は人物画像記憶部31から与えられた人物
画像のデータに対して、写真の外廓に対して頭頂及びあ
ごがそれぞれ所定の位置となるように拡大または縮小
し、また人物の顔面が写真の中央に位置するように外廓
の位置を決定すると共に、傾きを補正する。As described above, the size of the face in the vertical direction (the top of the head is set as the upper limit position and the chin is set as the lower limit position), the center axis and the inclination are determined, and these data are given to the portrait photograph generation unit 38. In addition, the portrait photograph generation unit 38 is provided with data of a person image from the person image storage unit 31 and the photograph condition from the photograph condition storage unit 32. The portrait photograph generation unit 38 enlarges or reduces the portrait image data provided from the portrait image storage unit 31 so that the top and the chin are at predetermined positions with respect to the outline of the photograph. The position of the outline is determined so that the face is located at the center of the photograph, and the inclination is corrected.
【0062】以上により、図8(a) に示されているよう
な無背景の人物の肖像画像から図12(c) に示されている
ような所定の条件に合致した証明写真が生成される。As described above, a certification photograph that meets predetermined conditions as shown in FIG. 12C is generated from a portrait image of a person with no background as shown in FIG. 8A. .
【0063】なお、上述の図14に示されている構成の画
像処理装置では処理対象の人物画像のデータを記憶する
ための人物画像記憶部31を備えているが、図13に示され
ている合成部20から出力された人物画像のデータを頭頂
検索部33に直接入力してもよい。この場合には、図13に
示されている前景画像抽出方法を実施するための画像処
理装置と図14に示されている自動トリミング装置とが一
体化された肖像写真装置が実現される。The image processing apparatus having the configuration shown in FIG. 14 includes a person image storage section 31 for storing data of a person image to be processed, but is shown in FIG. The data of the person image output from the synthesizing unit 20 may be directly input to the crown retrieval unit 33. In this case, a portrait photographing apparatus is realized in which an image processing apparatus for performing the foreground image extracting method shown in FIG. 13 and the automatic trimming apparatus shown in FIG. 14 are integrated.
【0064】ところで、上述の図13及び図14に示されて
いる画像処理装置はいずれも記憶装置MU1, MU2と演算装
置PU1, PU2とで構成されているが、これらは専用のハー
ドウェアとして構成することも勿論可能ではあるが、演
算装置PU1, PU2として汎用の演算装置、即ちパーソナル
コンピュータを利用し、各機能をソフトウェアで実現す
ることも可能である。その場合、上述のような二つの装
置を一台のパーソナルコンピュータで、より具体的には
記録媒体(フレキシブルディスク,CD-ROM等)に記録さ
れている一つのコンピュータプログラムをパーソナルコ
ンピュータに読み取らせる(インストールする)ことに
より実現可能である。The image processing apparatuses shown in FIGS. 13 and 14 each include storage units MU1 and MU2 and arithmetic units PU1 and PU2. These units are configured as dedicated hardware. Of course, it is possible to use a general-purpose arithmetic device, that is, a personal computer, as the arithmetic devices PU1 and PU2, and to realize each function by software. In that case, the two devices as described above are read by one personal computer, and more specifically, one computer program recorded on a recording medium (flexible disk, CD-ROM, etc.) is read by the personal computer ( Installation).
【0065】図15はそのようなパーソナルコンピュータ
50の外観を示す模式図である。このパーソナルコンピュ
ータ50には、上述のような画像処理を行なうためのコン
ピュータプログラムPGが記録されたフレキシブルディス
クFDまたはCD-ROM CD からその記録内容 (プログラムコ
ード) を読み取るためのフレキシブルディスクドライブ
(FDD)61 及びCD-ROMドライブ(CDD)62 が備えられてい
る。また、参照符号63は不揮発性記憶手段としてのハー
ドディスクを示しており、上述のフレキシブルディスク
FDまたはCD-ROM CD から読み取られたコンピュータプロ
グラムPGの各プログラムコードを記憶する。FIG. 15 shows such a personal computer.
FIG. 50 is a schematic view showing an appearance of 50. The personal computer 50 has a flexible disk drive for reading the recorded content (program code) from a flexible disk FD or a CD-ROM CD on which a computer program PG for performing image processing as described above is recorded.
A (FDD) 61 and a CD-ROM drive (CDD) 62 are provided. Reference numeral 63 denotes a hard disk as a non-volatile storage means, and the above-mentioned flexible disk
FD or CD-ROM Stores each program code of the computer program PG read from the CD.
【0066】なお、参照符号55は表示手段としての CRT
ディスプレイを、参照符号52及び53は入力手段,ポイン
ティングデバイスとしてのキーボード及びマウスをそれ
ぞれ示している。但し、フレキシブルディスクFD,CD-R
OM CD 以外の種々の記録媒体を利用してもよいことは言
うまでもない。Reference numeral 55 denotes a CRT as a display means.
Reference numerals 52 and 53 indicate a display and a keyboard and a mouse, respectively, as input means and a pointing device. However, flexible disk FD, CD-R
It goes without saying that various recording media other than the OM CD may be used.
【0067】図16はパーソナルコンピュータ50の内部構
成例を示すブロック図であり、CPU51 を中心として、バ
ス60により上述のFDD61, CDD62, HDD63, CRTディスプレ
イ55等が接続されている。また、カメラ11,キーボード
52,マウス53はインタフェイス(I/O)54 を介してバス60
に接続されている。なお、参照符号56及び57は機種とし
てのRAM, ROMをそれぞれ示している。FIG. 16 is a block diagram showing an example of the internal configuration of the personal computer 50. The above-mentioned FDD 61, CDD 62, HDD 63, CRT display 55, etc. are connected by a bus 60 with a CPU 51 at the center. In addition, camera 11, keyboard
52 and a mouse 53 are connected to a bus 60 via an interface (I / O) 54.
It is connected to the. Reference numerals 56 and 57 indicate RAM and ROM as models, respectively.
【0068】フレキシブルディスクドライブ61によりフ
レキシブルディスクFDから、またはCD-ROMドライブ62に
よりCD-ROM CD から読み取られたコンピュータプログラ
ムPGのプログラムコードはたとえばハードディスク63に
一旦記憶され、コンピュータプログラムPGのプログラム
コードが実行される際にはRAM56 に転送されて記憶され
る。The program code of the computer program PG read from the flexible disk FD by the flexible disk drive 61 or from the CD-ROM CD by the CD-ROM drive 62 is temporarily stored in, for example, the hard disk 63. When it is executed, it is transferred to the RAM 56 and stored.
【0069】なお、ここでは記録媒体としてはフレキシ
ブルディスクFD及び/又はCD-ROM CD を示したが、これ
らに限られることはなく、適宜のドライブ (読み取り手
段)と組み合わせることにより、磁気テープ, 光磁気デ
ィスク等の利用も勿論可能である。Here, the recording medium is a flexible disk FD and / or a CD-ROM CD. However, the recording medium is not limited to these, and a magnetic tape, an optical disk, Of course, use of a magnetic disk or the like is also possible.
【0070】図17は記録媒体の一例としてのフレキシブ
ルディスクFDに記録されているコンピュータプログラム
PGの内容を示す模式図である。FIG. 17 shows a computer program recorded on a flexible disk FD as an example of a recording medium.
It is a schematic diagram which shows the content of PG.
【0071】図17に示されているフレキシブルディスク
FDには、背景画像と対象画像とのバイアス値Biを算出す
るプログラムコード(PC11), 背景画像と対象画像とに同
一の表色系変換処理を施すプログラムコード(PC12), 表
色系変換後の背景画像と対象画像との差分を求め、バイ
アス値Biを補正してマスク画像を生々するプログラムコ
ード(PC13), マスク画像に対して明るさの膨張・縮小処
理を施すプログラムコード(PC14), 人物の領域と背景の
領域との境界線で領域を分割して人物マスク画像を生成
するプログラムコード(PC15), 人物マスク画像をボカシ
処理するプログラムコード(PC16), 人物マスク画像と対
象画像とを合成して人物画像を生成するプログラムコー
ド(PC17), 人物画像中から人物の頭頂を検索するプログ
ラムコード(PC21), 検索された頭頂の下方近傍で肌色を
検索するプログラムコード(PC22), 検索された肌色の平
均値を算出するプログラムコード(PC23), 肌色の平均値
を中心とする所定範囲の肌色の領域を人物の顔面として
顔面画像を生成するプログラムコード(PC24), 顔面画像
の中心線,その傾きを検出するプログラムコード(PC2
5), 顔面画像からあご位置を検出するプログラムコード
(PC26), 写真条件に合わせて肖像写真を生成するプログ
ラムコード(PC27)が記録されている。The flexible disk shown in FIG.
In the FD, a program code (PC11) for calculating the bias value Bi between the background image and the target image, a program code (PC12) for performing the same color system conversion processing on the background image and the target image, and after the color system conversion The difference between the background image and the target image is obtained, the bias value Bi is corrected to generate a mask image, a program code (PC13), a program code for performing a brightness expansion / reduction process on the mask image (PC14), A program code (PC15) for generating a person mask image by dividing an area by a boundary line between a person region and a background region, a program code (PC16) for blurring a person mask image, and a person mask image and a target image. A program code (PC17) for generating a person image by combining, a program code (PC21) for searching for the top of a person from a person image, a program code (PC22) for searching for a flesh color near the lower part of the searched head, Was A program code for calculating an average value of color (PC23), a program code for generating a face image using a predetermined range of skin color area around the average value of skin color as a person's face (PC24), a center line of the face image, Program code (PC2
5), Program code for detecting chin position from facial image
(PC26), a program code (PC27) for generating a portrait photograph according to the photograph condition is recorded.
【0072】このようなプログラムコードが記録された
記録媒体、たとえばCD-ROM CD がCDD62 に装入された場
合、それに記録されている各プログラムコードが一旦HD
D63に記憶される。そして、必要に応じてHDD63 から各
プログラムコードが読み出されてRAM56 に記憶され、そ
れぞれがCPU51 により順次実行される。その際のパーソ
ナルコンピュータ50、換言すれば本発明の肖像写真装置
の動作は図18のフローチャートに示されているようにな
る。When a recording medium on which such a program code is recorded, for example, a CD-ROM CD, is inserted into the CDD 62, each program code recorded on the CDD 62 is once stored in an HD.
Stored in D63. Then, each program code is read out from the HDD 63 as necessary and stored in the RAM 56, and each is sequentially executed by the CPU 51. The operation of the personal computer 50 in this case, in other words, the operation of the portrait photographing apparatus of the present invention is as shown in the flowchart of FIG.
【0073】但し、背景画像はカメラ11により予め撮影
されてHDD63 に格納されているものとし、対象画像はカ
メラ11により撮影されて予めHDD63 に格納されている
か、または未だ撮影されていないものとする。更に、各
種の証明写真、たとえばパスポート用,免許証用等に対
応した写真条件は予めHDD63 に格納されているものとす
る。However, it is assumed that the background image is photographed in advance by the camera 11 and stored in the HDD 63, and the target image is photographed by the camera 11 and stored in the HDD 63 in advance, or has not been photographed yet. . Further, it is assumed that various ID photos, for example, photo conditions corresponding to passports, licenses, and the like are stored in the HDD 63 in advance.
【0074】対象画像がHDD63 に既に格納されている場
合、オペレータがHDD63 に格納されているいくつかの写
真の内のいずれを処理するかをキーボード52またはマウ
ス53を操作して指示する。一方、対象画像の写真が未だ
撮影されていない場合には、適宜の位置に人物を位置さ
せた状態でオペレータがカメラ11を操作して対象画像を
撮影する。この場合には、カメラ11から写真のデータを
一旦パーソナルコンピュータ50のHDD63 へ転送して記憶
させてもよいし、カメラ11から直接読み込んで処理して
もよい。When the target image is already stored in the HDD 63, the operator operates the keyboard 52 or the mouse 53 to specify which of the several photos stored in the HDD 63 is to be processed. On the other hand, if the photograph of the target image has not been taken yet, the operator operates the camera 11 to photograph the target image with the person positioned at an appropriate position. In this case, the photograph data may be temporarily transferred from the camera 11 to the HDD 63 of the personal computer 50 and stored, or may be read directly from the camera 11 and processed.
【0075】次に、オペレータが処理開始の指示をキー
ボード52またはマウス53の操作により与えると、CPU51
はまず、背景画像をHDD63 から読み込み、対象画像をHD
D63、またはカメラ11から直接読み込む (ステップS1
0)。そして、CPU51 は両画像のバイアス値Biを算出する
(ステップS11)。次にCPU51 は背景画像と対象画像とに
同一の表色系変換処理を施し (ステップS12)、その表色
系変換後の背景画像と対象画像との差分を求め、更にバ
イアス値Biを補正することによりマスク画像を生成する
(ステップS13)。次に、CPU51 はマスク画像に対して明
るさの膨張・縮小処理を施し (ステップS14)、更に色の
膨張・縮小処理を施す (ステップS15)。これらの膨張・
縮小処理は必要に応じて複数回反復する。Next, when the operator gives an instruction to start processing by operating the keyboard 52 or the mouse 53, the CPU 51
First, load the background image from HDD 63,
Read directly from D63 or camera 11 (Step S1
0). Then, the CPU 51 calculates the bias value Bi of both images.
(Step S11). Next, the CPU 51 performs the same color system conversion processing on the background image and the target image (step S12), obtains the difference between the background image after the color system conversion and the target image, and further corrects the bias value Bi. To generate a mask image
(Step S13). Next, the CPU 51 performs brightness expansion / reduction processing on the mask image (step S14), and further performs color expansion / reduction processing (step S15). These expansions
The reduction process is repeated a plurality of times as necessary.
【0076】そして、CPU51 は適宜の回数明るさの膨張
・縮小を反復したマスク画像から人物の領域と背景の領
域との境界線を判別し、その境界線において領域を分割
することにより人物マスク画像を生成する (ステップS1
6)。この人物マスク画像は次にガウスボカシなどの処理
(ステップS17)を施されて適宜にぼかされるが、場合に
よっては省略してもよい。次にCPU51 はHDD63 から対象
画像を再度読み出し、この対象画像に対して上述のボカ
シ処理が施された後の人物マスク画像を重ねて合成する
ことにより、無背景(背景色が白または灰色)の人物画
像を生成する (ステップS18)。Then, the CPU 51 determines a boundary line between the person region and the background region from the mask image obtained by repeating the expansion and contraction of the brightness a suitable number of times, and divides the region at the boundary line to divide the person mask image. (Step S1
6). This person mask image is then processed by Gaussian
(Step S17) is performed and is appropriately blurred, but may be omitted in some cases. Next, the CPU 51 reads out the target image from the HDD 63 again, and superimposes the target image on the target image after the above-described blurring process is performed, thereby combining the target image with no background (white or gray background). A person image is generated (step S18).
【0077】次にCPU51 は上述のようにして生成された
人物画像中から人物の頭頂を検索し(ステップS19)、検
索された頭頂の下方近傍で肌色を検索し (ステップS2
0)、検索された肌色の平均値を算出する (ステップS2
1)。そして、CPU51 は肌色の平均値を中心とする所定範
囲の肌色の領域を人物の顔面として顔面画像を生成し
(ステップS22)、顔面画像の中心線,及びその傾きを検
出し (ステップS23)、更に顔面画像からあご位置を検出
する (ステップS24)。最後に、CPU51 はHDD63 からオペ
レータが予め設定してある写真の条件を読み出し (ステ
ップS25)、その写真条件に合わせて肖像写真を生成する
(ステップS26)。Next, the CPU 51 searches the top of the person from the person image generated as described above (step S19), and searches for a flesh color near the lower part of the searched top (step S2).
0), calculate the average value of the searched skin color (step S2
1). Then, the CPU 51 generates a face image using a predetermined range of the skin color area centered on the average value of the skin color as the face of the person.
(Step S22), the center line of the face image and its inclination are detected (Step S23), and the chin position is further detected from the face image (Step S24). Finally, the CPU 51 reads out the photograph conditions preset by the operator from the HDD 63 (step S25), and generates a portrait photograph according to the photograph conditions.
(Step S26).
【0078】以上により、オペレータが指定した写真、
たとえばパスポートの証明写真用の条件に合致した写真
が自動的に生成される。As described above, the photograph designated by the operator,
For example, a photo that meets the conditions for a passport ID photo is automatically generated.
【0079】[0079]
【発明の効果】以上に詳述したように本発明の前景画像
抽出方法及び画像処理装置によれば、背景画像からその
前景に撮影されている人物,物体などを無背景(単一色
背景)の画像として抽出することが容易に可能になる。As described above in detail, according to the foreground image extraction method and the image processing apparatus of the present invention, a person or an object photographed in the foreground from a background image can be extracted from a background (single color background). It can be easily extracted as an image.
【0080】また本発明の自動トリミング装置によれ
ば、無背景(単一色背景)の人物の画像の顔面が所定の
外廓寸法内において所定の位置に配置されるように自動
的にトリミングすることが可能になる。According to the automatic trimming device of the present invention, the face of an image of a person having no background (single color background) is automatically trimmed so that the face is located at a predetermined position within a predetermined outline size. Becomes possible.
【0081】また本発明の記録媒体によれば、その記録
内容であるプログラムコードをパーソナルコンピュータ
に読み取らせることによって上述のような装置を容易に
実現することが可能になる。According to the recording medium of the present invention, the above-described apparatus can be easily realized by causing a personal computer to read the program code as the recorded content.
【0082】更に本発明の肖像写真装置によれば、背景
画像を予め撮影しておくことにより、白色または灰色の
スクリーン及び特別な証明を用意することなしに、無背
景(単一色背景)の人物の上半身の画像が生成され、更
にその顔面が所定の外廓寸法内において所定の位置に配
置された写真、即ち証明写真を容易に作成することが可
能になる。Further, according to the portrait photographing apparatus of the present invention, by taking a background image in advance, a person with no background (single color background) can be prepared without preparing a white or gray screen and a special certificate. An image of the upper body is generated, and a photograph in which the face is arranged at a predetermined position within a predetermined outline dimension, that is, an identification photograph can be easily created.
【図1】本発明の前景画像抽出及び自動トリミングの手
順の概略を説明するための模式図である。FIG. 1 is a schematic diagram for explaining the outline of the procedure of foreground image extraction and automatic trimming according to the present invention.
【図2】本発明の前景画像抽出方法の手順を説明するた
めの模式図である。FIG. 2 is a schematic diagram illustrating a procedure of a foreground image extraction method according to the present invention.
【図3】本発明の前景画像抽出方法の手順を説明するた
めの模式図である。FIG. 3 is a schematic diagram for explaining a procedure of a foreground image extraction method according to the present invention.
【図4】本発明の前景画像抽出方法の手順を説明するた
めの模式図である。FIG. 4 is a schematic diagram for explaining a procedure of a foreground image extraction method according to the present invention.
【図5】本発明の前景画像抽出方法の手順を説明するた
めの模式図である。FIG. 5 is a schematic diagram illustrating a procedure of a foreground image extraction method according to the present invention.
【図6】本発明の前景画像抽出方法の手順を説明するた
めの模式図である。FIG. 6 is a schematic diagram for explaining a procedure of a foreground image extraction method according to the present invention.
【図7】本発明の前景画像抽出方法の手順を説明するた
めの模式図である。FIG. 7 is a schematic diagram for explaining a procedure of a foreground image extraction method according to the present invention.
【図8】本発明の自動トリミングの手順を説明するため
の模式図である。FIG. 8 is a schematic diagram for explaining a procedure of automatic trimming according to the present invention.
【図9】本発明の自動トリミングの手順を説明するため
の模式図である。FIG. 9 is a schematic diagram for explaining an automatic trimming procedure according to the present invention.
【図10】本発明の自動トリミングの手順を説明するた
めの模式図である。FIG. 10 is a schematic diagram for explaining the procedure of automatic trimming according to the present invention.
【図11】本発明の自動トリミングの手順を説明するた
めの模式図である。FIG. 11 is a schematic diagram for explaining the procedure of automatic trimming according to the present invention.
【図12】本発明の自動トリミングの手順を説明するた
めの模式図である。FIG. 12 is a schematic diagram for explaining a procedure of automatic trimming according to the present invention.
【図13】本発明の画像処理装置の構成例を示す機能ブ
ロック図である。FIG. 13 is a functional block diagram illustrating a configuration example of an image processing apparatus according to the present invention.
【図14】本発明の自動トリミング装置の構成例を示す
機能ブロック図である。FIG. 14 is a functional block diagram illustrating a configuration example of an automatic trimming device according to the present invention.
【図15】本発明の記録媒体がインストールされるパー
ソナルコンピュータの外観を示す模式図である。FIG. 15 is a schematic diagram showing the appearance of a personal computer on which the recording medium of the present invention is installed.
【図16】本発明の記録媒体がインストールされるパー
ソナルコンピュータの内部構成例を示すブロック図であ
る。FIG. 16 is a block diagram showing an example of the internal configuration of a personal computer on which the recording medium of the present invention is installed.
【図17】本発明の記録媒体に記録されているコンピュ
ータプログラムの内容を示す模式図である。FIG. 17 is a schematic diagram showing the contents of a computer program recorded on a recording medium of the present invention.
【図18】本発明の肖像写真装置としてのパーソナルコ
ンピュータの動作手順を示すフローチャートである。FIG. 18 is a flowchart showing an operation procedure of a personal computer as a portrait photographing device of the present invention.
FD フレキシブルディスク CD CD-ROM PG プログラム PC11〜PC17, PC21〜PC27 プログラムコード 11 カメラ 12 背景画像記憶部 13 対象画像記憶部 14 バイアス算出部 15 表色系変換部 16 マスク画像生成部 17 膨張・縮小処理部 18 人物マスク画像生成部 19 ボカシ処理部 20 合成部 31 人物画像記憶部 32 写真条件記憶部 33 頭頂検索部 34 肌色検索部 35 顔面画像生成部 36 顔面中心・傾き検出部 37 あご位置検出部 38 肖像写真生成部 50 パーソナルコンピュータ 51 CPU 56 RAM 61 フレキシブルディスクドライブ 62 CD-ROMドライブ 63 ハードディスクドライブ FD Flexible disk CD CD-ROM PG program PC11 to PC17, PC21 to PC27 Program code 11 Camera 12 Background image storage unit 13 Target image storage unit 14 Bias calculation unit 15 Color system conversion unit 16 Mask image generation unit 17 Expansion / reduction processing Unit 18 Person mask image generation unit 19 Blurring processing unit 20 Compositing unit 31 Person image storage unit 32 Photo condition storage unit 33 Head search unit 34 Skin color search unit 35 Face image generation unit 36 Face center / tilt detection unit 37 Chin position detection unit 38 Portrait photo generator 50 Personal computer 51 CPU 56 RAM 61 Flexible disk drive 62 CD-ROM drive 63 Hard disk drive
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 15/66 450 Fターム(参考) 5B050 AA09 BA12 DA02 DA04 EA06 EA12 EA15 EA19 FA02 FA05 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE08 CE09 DA08 DB02 DB06 DB09 DC16 DC25 5C076 AA13 AA21 AA22 AA36 5C082 AA27 AA32 BA20 BB15 CA54 CA55 CA59 CB01 CB06 DA53 DA87 MM05 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 15/66 450 F-term (Reference) 5B050 AA09 BA12 DA02 DA04 EA06 EA12 EA15 EA19 FA02 FA05 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE08 CE09 DA08 DB02 DB06 DB09 DC16 DC25 5C076 AA13 AA21 AA22 AA36 5C082 AA27 AA32 BA20 BB15 CA54 CA55 CA59 CB01 CB06 DA53 DA87 MM05
Claims (8)
象物を抽出する前景画像抽出方法において、 対象物が存在しない背景画像を撮影するステップと、 前記背景画像と同一フレームで前景に対象物を位置させ
た対象画像を撮影するステップと、 前記対象画像と前記背景画像との所定の共通領域での明
るさの差分を算出するステップと、 前記背景画像と前記対象画像との差分を求め、前記明る
さの差分を補正することにより第1のマスク画像を生成
するステップと、 前記第1のマスク画像に対して明るさの膨張・縮小処理
を施すステップと、 前記明るさの膨張・縮小処理が施された第1のマスク画
像に対して色の膨張・縮小処理を施すステップと、 前記色の膨張・縮小処理が施された第1のマスク画像に
おいて対象物の領域と背景の領域との境界線を判別し、
その境界線において領域を分割することにより第2のマ
スク画像を生成するステップと、 前記対象画像に前記第2のマスク画像を重ねて合成する
ことにより、前記対象画像の背景を単一色に変換した画
像を生成するステップとを含むことを特徴とする前景画
像抽出方法。1. A foreground image extraction method for extracting an object photographed in the foreground in one image, comprising: photographing a background image in which no object is present; Photographing a target image in which a target object is located; calculating a brightness difference in a predetermined common area between the target image and the background image; and calculating a difference between the background image and the target image. Calculating a first mask image by correcting the difference in brightness; performing a brightness expansion / reduction process on the first mask image; Performing a color expansion / reduction process on the first mask image that has been subjected to the reduction process; and a region of the object and a background region in the first mask image that has been subjected to the color expansion / reduction process. To determine the boundary line,
Generating a second mask image by dividing an area at the boundary line; and superimposing and synthesizing the second mask image on the target image to convert the background of the target image into a single color. Generating an image.
象物を抽出する画像処理装置において、 対象物が存在しない状態を撮影した背景画像と該背景画
像と同一フレームで前景に対象物を位置させて撮影した
対象画像との所定の共通領域での明るさの差分を算出す
るバイアス算出手段と、 前記背景画像と前記対象画像との差分を求め、前記明る
さの差分を補正することにより第1のマスク画像を生成
する第1マスク画像生成手段と、 前記第1マスク画像生成手段が生成した第1のマスク画
像に対して明るさの膨張・縮小処理を施す第1の膨張・
縮小処理手段と、 前記第1の膨張・縮小処理手段により処理された第1の
マスク画像に対して色の膨張・縮小処理を施す第2の膨
張・縮小処理手段と、 前記第2の膨張・縮小処理手段により処理された第1の
マスク画像において対象物の領域と背景の領域との境界
線を判別し、その境界線において領域を分割することに
より第2のマスク画像を生成する第2マスク画像生成手
段と、 前記対象画像に前記第2マスク画像生成手段により生成
された第2のマスク画像を重ねて合成することにより、
前記対象画像から背景を消去した画像を生成する合成手
段とを備えたことを特徴とする画像処理装置。2. An image processing apparatus for extracting an object photographed in the foreground in one image, comprising: a background image photographing a state in which no object is present; and an object in the foreground in the same frame as the background image. Bias calculating means for calculating a difference in brightness in a predetermined common area from a target image photographed by positioning the image, calculating a difference between the background image and the target image, and correcting the difference in brightness. A first mask image generating means for generating a first mask image by using the first mask image generating means, and a first dilation / reduction processing for performing brightness dilation / reduction processing on the first mask image generated by the first mask image generation means.
Reduction processing means; second expansion / reduction processing means for performing color expansion / reduction processing on the first mask image processed by the first expansion / reduction processing means; A second mask for generating a second mask image by determining a boundary between the object area and the background area in the first mask image processed by the reduction processing means, and dividing the area at the boundary; An image generating unit, by superimposing and synthesizing the second mask image generated by the second mask image generating unit on the target image,
An image processing apparatus comprising: a synthesis unit configured to generate an image in which a background is deleted from the target image.
表色系変換処理を施す表色系変換手段を更に備え、 前記第1マスク画像生成手段は前記表色系変換手段によ
り表色系が変換された前記背景画像と前記対象画像とを
処理対象として第1のマスク画像を生成すべくなしてあ
ることを特徴とする請求項2に記載の画像処理装置。3. A color system conversion unit for performing the same color system conversion processing on the background image and the target image, wherein the first mask image generation unit is provided with a color system based on the color system conversion unit. 3. The image processing apparatus according to claim 2, wherein a first mask image is generated by using the background image and the target image that have been converted as the processing targets. 4.
は、膨張・縮小処理を必要に応じて複数回反復すること
を特徴とする請求項2に記載の画像処理装置。4. The image processing apparatus according to claim 2, wherein said first and second expansion / reduction processing means repeat the expansion / reduction processing a plurality of times as necessary.
された第2のマスク画像に対してボカシ処理を施すボカ
シ処理手段を更に備えたことを特徴とする請求項2に記
載の画像処理装置。5. The image processing apparatus according to claim 2, further comprising: a blur processing means for performing a blur processing on the second mask image generated by the second mask image generating means.
れた画像を所定のサイズの外廓線の範囲内において人物
の顔面が所定の位置になるように自動的にトリミングす
る自動トリミング装置において、 画像中から人物の頭頂を検索する手段と、 検索された頭頂の下方近傍で肌色を検索する手段と、 検索された肌色の平均値を算出する手段と、 肌色の平均値を中心とする所定範囲の肌色の領域を人物
の顔面として顔面画像を生成する手段と、 顔面画像の中心線,及びその傾きを検出する手段と、 顔面画像中のあご位置を検出する手段と、 前記所定のサイズの外廓線の範囲内において人物の顔面
が所定の位置になるように顔面の位置を決定する手段と
を備えたことを特徴とする自動トリミング装置。6. An automatic trimming device for automatically trimming an image obtained by photographing the upper body of a person on a background of a single color so that the face of the person is at a predetermined position within a range of a contour line having a predetermined size. Means for searching for the top of a person from an image, means for searching for a flesh color in the vicinity below the searched top, means for calculating an average value for the searched skin color, and centering on the average value for the skin color Means for generating a face image using a predetermined range of skin color area as the face of a person; means for detecting a center line of the face image and its inclination; means for detecting a chin position in the face image; Means for determining the position of the face so that the face of the person is at a predetermined position within the range of the outline.
象物を抽出する処理をコンピュータに実行させるコンピ
ュータプログラムを記録したコンピュータ読み取り可能
な記録媒体であって、 対象物が存在しない状態を撮影した背景画像と該背景画
像と同一フレームで前記対象物を前景に位置させた状態
を撮影した対象画像との所定の共通領域での明るさの差
分をコンピュータに算出させるコンピュータ読み取り可
能なプログラムコード手段と、 前記対象画像と前記背景画像との所定の共通領域での明
るさの差分をコンピュータに算出させるコンピュータ読
み取り可能なプログラムコード手段と、 前記背景画像と前記対象画像との差分を求め、前記明る
さの差分を補正することにより第1のマスク画像をコン
ピュータに生成させるコンピュータ読み取り可能なコン
ピュータ読み取り可能なプログラムコード手段と、 前記第1のマスク画像に対して明るさの膨張・縮小処理
をコンピュータに施させるコンピュータ読み取り可能な
プログラムコード手段と、 前記明るさの膨張・縮小処理が施された第1のマスク画
像に対して色の膨張・縮小処理をコンピュータに施させ
るコンピュータ読み取り可能なプログラムコード手段
と、 前記色の膨張・縮小処理が施された第1のマスク画像に
おいて対象物の領域と背景の領域との境界線を判別し、
その境界線において領域を分割することにより第2のマ
スク画像をコンピュータに生成させるコンピュータ読み
取り可能なプログラムコード手段と、 前記対象画像に前記第2のマスク画像を重ねて合成する
ことにより、前記対象画像の背景を単一色に変換した画
像をコンピュータに生成させるコンピュータ読み取り可
能なコンピュータ読み取り可能なプログラムコード手段
とを含むコンピュータプログラムを記録したことを特徴
とするコンピュータ読み取り可能な記録媒体。7. A computer-readable recording medium on which a computer program for causing a computer to execute a process of extracting an object photographed in the foreground in one image is recorded, wherein a state in which the object does not exist is recorded. Computer-readable program code for causing a computer to calculate a difference in brightness in a predetermined common region between a captured background image and a target image obtained by capturing a state where the target is positioned in the foreground in the same frame as the background image. Means, a computer-readable program code means for causing a computer to calculate a difference in brightness in a predetermined common area between the target image and the background image, and obtaining a difference between the background image and the target image, Computer that causes a computer to generate a first mask image by correcting a difference in brightness Computer readable program code means readable; computer readable program code means for causing a computer to perform brightness expansion / reduction processing on the first mask image; and brightness expansion / reduction processing. Computer-readable program code means for causing a computer to perform a color expansion / reduction process on the first mask image on which the color expansion / reduction process has been performed. Determine the boundary between the object area and the background area,
Computer readable program code means for causing a computer to generate a second mask image by dividing an area at the boundary line; and superimposing the second mask image on the target image to synthesize the target image. And a computer-readable program code means for causing a computer to generate an image having the background converted to a single color.
サイズの外廓線の範囲内において人物の顔面が所定の位
置になるように配置された肖像写真を生成する肖像写真
装置において、 人物が存在しない背景画像と該背景画像と同一フレーム
で前景に人物の上半身を位置させた対象画像とを撮影す
るカメラと、 該カメラにより予め撮影された前記背景画像を保存する
画像保存手段と、 前記画像保存手段に保存されている背景画像と前記カメ
ラにより撮影された対象画像との所定の共通領域での明
るさの差分を算出するバイアス算出手段と、 前記背景画像と前記対象画像との差分を求め、前記明る
さの差分を補正することにより第1のマスク画像を生成
する第1マスク画像生成手段と、 前記第1マスク画像生成手段が生成した第1のマスク画
像に対して明るさの膨張・縮小処理を施す第1の膨張・
縮小処理手段と、 前記第1の膨張・縮小処理手段により処理された第1の
マスク画像に対して色の膨張・縮小処理を施す第2の膨
張・縮小処理手段と、 前記第2の膨張・縮小処理手段により処理された第1の
マスク画像において対象物の領域と背景の領域との境界
線を判別し、その境界線において領域を分割することに
より第2のマスク画像を生成する第2マスク画像生成手
段と、 前記対象画像に前記第2マスク画像生成手段により生成
された第2のマスク画像を重ねて合成することにより、
前記対象画像の背景を単一色に変換した人物画像を生成
する合成手段と、 前記人物画像中から人物の頭頂を検索する手段と、 検索された頭頂の下方近傍で肌色を検索する手段と、 検索された肌色の平均値を算出する手段と、 肌色の平均値を中心とする所定範囲の肌色の領域を人物
の顔面として顔面画像を生成する手段と、 顔面画像の中心線,及びその傾きを検出する手段と、 顔面画像中のあご位置を検出する手段と、 前記所定のサイズの外廓線の範囲内において人物の顔面
が所定の位置になるように顔面の位置を決定する手段と
を備えたことを特徴とする肖像写真装置。8. A portrait photographing apparatus for generating a portrait photograph in which the upper body of a person is arranged on a single color background such that the face of the person is located at a predetermined position within a contour line of a predetermined size, A camera that captures a background image in which no person is present and a target image in which the upper body of the person is positioned in the foreground in the same frame as the background image; andan image storage unit that stores the background image captured in advance by the camera. Bias calculating means for calculating a brightness difference in a predetermined common area between the background image stored in the image storing means and the target image captured by the camera; and a difference between the background image and the target image. And a first mask image generating means for generating a first mask image by correcting the difference in brightness, and a first mask image generated by the first mask image generating means The first expansion and subjected to expansion and contraction processing of brightness for
Reduction processing means; second expansion / reduction processing means for performing color expansion / reduction processing on the first mask image processed by the first expansion / reduction processing means; A second mask for generating a second mask image by determining a boundary between the object area and the background area in the first mask image processed by the reduction processing means, and dividing the area at the boundary; An image generating unit, by superimposing and synthesizing the second mask image generated by the second mask image generating unit on the target image,
Synthesizing means for generating a person image in which the background of the target image is converted to a single color; means for searching for the top of a person from the person image; means for searching for a flesh color near the lower part of the searched top; Means for calculating the average value of the extracted skin color, means for generating a face image using a predetermined range of the skin color area centered on the average value of the skin color as the face of the person, and detecting the center line of the face image and its inclination Means for detecting the position of the chin in the face image; and means for determining the position of the face so that the face of the person is at a predetermined position within the range of the contour line of the predetermined size. A portrait photographing device characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10204051A JP2000036032A (en) | 1998-07-17 | 1998-07-17 | Foreground picture extracting method, picture processor, automatic trimming device, recording medium and portrait picture device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10204051A JP2000036032A (en) | 1998-07-17 | 1998-07-17 | Foreground picture extracting method, picture processor, automatic trimming device, recording medium and portrait picture device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000036032A true JP2000036032A (en) | 2000-02-02 |
Family
ID=16483944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10204051A Pending JP2000036032A (en) | 1998-07-17 | 1998-07-17 | Foreground picture extracting method, picture processor, automatic trimming device, recording medium and portrait picture device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000036032A (en) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312786A (en) * | 2001-04-13 | 2002-10-25 | Sony Corp | Image processor, image processing method, recording medium and program |
WO2003005702A1 (en) * | 2001-06-30 | 2003-01-16 | Hewlett-Packard Company | Tilt correction of electronic images |
WO2004015987A1 (en) * | 2002-08-09 | 2004-02-19 | Sharp Kabushiki Kaisha | Image combination device, image combination method, image combination program, and recording medium containing the image combination program |
JP2005196519A (en) * | 2004-01-08 | 2005-07-21 | Sony Corp | Image processor and image processing method, recording medium, and program |
JP2005208760A (en) * | 2004-01-20 | 2005-08-04 | Fujitsu Ltd | Person image extraction device and computer program |
EP1610545A1 (en) * | 2003-03-28 | 2005-12-28 | Fujitsu Limited | Photographing apparatus, photographing method and computer program |
US7024053B2 (en) | 2000-12-04 | 2006-04-04 | Konica Corporation | Method of image processing and electronic camera |
JP2006215685A (en) * | 2005-02-02 | 2006-08-17 | Funai Electric Co Ltd | Photo printer |
JP2008027401A (en) * | 2006-07-25 | 2008-02-07 | Fujifilm Corp | Image trimming equipment |
US7433498B2 (en) | 2003-09-09 | 2008-10-07 | Fujifilm Corporation | Apparatus, method and program for generating photo card data |
KR100947677B1 (en) * | 2005-03-18 | 2010-03-16 | 샤프 가부시키가이샤 | Methods and systems for extended spatial scalability with picture-level adaptation |
US7787025B2 (en) | 2001-09-18 | 2010-08-31 | Ricoh Company, Limited | Image pickup device that cuts out a face image from subject image data |
US7785201B2 (en) | 2004-09-02 | 2010-08-31 | Sega Corporation | Background image acquisition method, video game apparatus, background image acquisition program, and computer-readable medium containing computer program |
JP2010231352A (en) * | 2009-03-26 | 2010-10-14 | Kddi Corp | Display information forming apparatus and system |
US8175168B2 (en) | 2005-03-18 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
US8213720B2 (en) | 2007-09-28 | 2012-07-03 | Fujifilm Corporation | System and method for determining chin position in a digital image |
JP2012213196A (en) * | 2012-06-05 | 2012-11-01 | Toshiba Corp | Electronic apparatus, face image extraction control method, and program |
JP2013235080A (en) * | 2012-05-08 | 2013-11-21 | Sony Corp | Image display apparatus, image display program, and image display method |
KR20150070396A (en) * | 2012-10-26 | 2015-06-24 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
US9662273B2 (en) | 2012-10-26 | 2017-05-30 | Baxter Corporation Englewood | Work station for medical dose preparation system |
USD790727S1 (en) | 2015-04-24 | 2017-06-27 | Baxter Corporation Englewood | Platform for medical dose preparation |
JP2018535393A (en) * | 2015-09-16 | 2018-11-29 | サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー | Image analysis system and method |
US10347374B2 (en) | 2008-10-13 | 2019-07-09 | Baxter Corporation Englewood | Medication preparation system |
US10818387B2 (en) | 2014-12-05 | 2020-10-27 | Baxter Corporation Englewood | Dose preparation data analytics |
US11107574B2 (en) | 2014-09-30 | 2021-08-31 | Baxter Corporation Englewood | Management of medication preparation with formulary management |
US11282163B2 (en) | 2017-12-05 | 2022-03-22 | Google Llc | Method for converting landscape video to portrait mobile layout using a selection interface |
US11367533B2 (en) | 2014-06-30 | 2022-06-21 | Baxter Corporation Englewood | Managed medical information exchange |
US11575673B2 (en) | 2014-09-30 | 2023-02-07 | Baxter Corporation Englewood | Central user management in a distributed healthcare information management system |
JP7439548B2 (en) | 2020-02-04 | 2024-02-28 | 大日本印刷株式会社 | Facial image usage system, user terminal, management device, facial image usage method, program |
US11948112B2 (en) | 2015-03-03 | 2024-04-02 | Baxter Corporation Engelwood | Pharmacy workflow management with integrated alerts |
-
1998
- 1998-07-17 JP JP10204051A patent/JP2000036032A/en active Pending
Cited By (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7024053B2 (en) | 2000-12-04 | 2006-04-04 | Konica Corporation | Method of image processing and electronic camera |
JP4631198B2 (en) * | 2001-04-13 | 2011-02-16 | ソニー株式会社 | Image processing apparatus, image processing method, recording medium, and program |
JP2002312786A (en) * | 2001-04-13 | 2002-10-25 | Sony Corp | Image processor, image processing method, recording medium and program |
WO2003005702A1 (en) * | 2001-06-30 | 2003-01-16 | Hewlett-Packard Company | Tilt correction of electronic images |
US7903163B2 (en) | 2001-09-18 | 2011-03-08 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US7920187B2 (en) | 2001-09-18 | 2011-04-05 | Ricoh Company, Limited | Image pickup device that identifies portions of a face |
US8421899B2 (en) | 2001-09-18 | 2013-04-16 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US7973853B2 (en) | 2001-09-18 | 2011-07-05 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method calculating an exposure based on a detected face |
US7787025B2 (en) | 2001-09-18 | 2010-08-31 | Ricoh Company, Limited | Image pickup device that cuts out a face image from subject image data |
US7978261B2 (en) | 2001-09-18 | 2011-07-12 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US7623733B2 (en) | 2002-08-09 | 2009-11-24 | Sharp Kabushiki Kaisha | Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background |
WO2004015987A1 (en) * | 2002-08-09 | 2004-02-19 | Sharp Kabushiki Kaisha | Image combination device, image combination method, image combination program, and recording medium containing the image combination program |
EP1610545A1 (en) * | 2003-03-28 | 2005-12-28 | Fujitsu Limited | Photographing apparatus, photographing method and computer program |
EP1610545A4 (en) * | 2003-03-28 | 2009-04-29 | Fujitsu Ltd | Photographing apparatus, photographing method and computer program |
US7522824B2 (en) | 2003-03-28 | 2009-04-21 | Fujitsu Limited | Photographing apparatus photographing method and computer program |
US7433498B2 (en) | 2003-09-09 | 2008-10-07 | Fujifilm Corporation | Apparatus, method and program for generating photo card data |
JP2005196519A (en) * | 2004-01-08 | 2005-07-21 | Sony Corp | Image processor and image processing method, recording medium, and program |
JP4502645B2 (en) * | 2004-01-20 | 2010-07-14 | 富士通株式会社 | Person image extraction apparatus and computer program |
JP2005208760A (en) * | 2004-01-20 | 2005-08-04 | Fujitsu Ltd | Person image extraction device and computer program |
US7785201B2 (en) | 2004-09-02 | 2010-08-31 | Sega Corporation | Background image acquisition method, video game apparatus, background image acquisition program, and computer-readable medium containing computer program |
JP2006215685A (en) * | 2005-02-02 | 2006-08-17 | Funai Electric Co Ltd | Photo printer |
KR100947677B1 (en) * | 2005-03-18 | 2010-03-16 | 샤프 가부시키가이샤 | Methods and systems for extended spatial scalability with picture-level adaptation |
US8175168B2 (en) | 2005-03-18 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
US8670489B2 (en) | 2005-03-18 | 2014-03-11 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
JP4683339B2 (en) * | 2006-07-25 | 2011-05-18 | 富士フイルム株式会社 | Image trimming device |
US8116535B2 (en) | 2006-07-25 | 2012-02-14 | Fujifilm Corporation | Image trimming apparatus |
JP2008027401A (en) * | 2006-07-25 | 2008-02-07 | Fujifilm Corp | Image trimming equipment |
US8213720B2 (en) | 2007-09-28 | 2012-07-03 | Fujifilm Corporation | System and method for determining chin position in a digital image |
US10347374B2 (en) | 2008-10-13 | 2019-07-09 | Baxter Corporation Englewood | Medication preparation system |
JP2010231352A (en) * | 2009-03-26 | 2010-10-14 | Kddi Corp | Display information forming apparatus and system |
JP2013235080A (en) * | 2012-05-08 | 2013-11-21 | Sony Corp | Image display apparatus, image display program, and image display method |
JP2012213196A (en) * | 2012-06-05 | 2012-11-01 | Toshiba Corp | Electronic apparatus, face image extraction control method, and program |
USD812768S1 (en) | 2012-10-26 | 2018-03-13 | Baxter Corporation Englewood | Work station with platform for medical dose preparation |
USD812769S1 (en) | 2012-10-26 | 2018-03-13 | Baxter Corporation Englewood | Work station for medical dose preparation |
KR20170007490A (en) * | 2012-10-26 | 2017-01-18 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
KR101695119B1 (en) * | 2012-10-26 | 2017-01-23 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
US9662273B2 (en) | 2012-10-26 | 2017-05-30 | Baxter Corporation Englewood | Work station for medical dose preparation system |
KR20190045415A (en) * | 2012-10-26 | 2019-05-02 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
KR20150070396A (en) * | 2012-10-26 | 2015-06-24 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
US10971257B2 (en) | 2012-10-26 | 2021-04-06 | Baxter Corporation Englewood | Image acquisition for medical dose preparation system |
US10045912B2 (en) | 2012-10-26 | 2018-08-14 | Baxter Corporation Englewood | Work station for medical dose preparation system |
US10089444B2 (en) | 2012-10-26 | 2018-10-02 | Baxter Corporation Englewood | Image acquisition for medical dose preparation system |
JP2016503531A (en) * | 2012-10-26 | 2016-02-04 | バクスター・コーポレーション・イングルウッドBaxter Corporation Englewood | Improving image acquisition for medical dosage preparation systems |
KR101974258B1 (en) * | 2012-10-26 | 2019-04-30 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
US10646405B2 (en) | 2012-10-26 | 2020-05-12 | Baxter Corporation Englewood | Work station for medical dose preparation system |
US9489489B2 (en) | 2012-10-26 | 2016-11-08 | Baxter Corporation Englewood | Image acquisition for medical dose preparation system |
KR102078768B1 (en) | 2012-10-26 | 2020-02-19 | 백스터 코포레이션 잉글우드 | Improved image acquisition for medical dose preparation system |
US11367533B2 (en) | 2014-06-30 | 2022-06-21 | Baxter Corporation Englewood | Managed medical information exchange |
US11107574B2 (en) | 2014-09-30 | 2021-08-31 | Baxter Corporation Englewood | Management of medication preparation with formulary management |
US11575673B2 (en) | 2014-09-30 | 2023-02-07 | Baxter Corporation Englewood | Central user management in a distributed healthcare information management system |
US10818387B2 (en) | 2014-12-05 | 2020-10-27 | Baxter Corporation Englewood | Dose preparation data analytics |
US11948112B2 (en) | 2015-03-03 | 2024-04-02 | Baxter Corporation Engelwood | Pharmacy workflow management with integrated alerts |
USD790727S1 (en) | 2015-04-24 | 2017-06-27 | Baxter Corporation Englewood | Platform for medical dose preparation |
US11057599B2 (en) | 2015-09-16 | 2021-07-06 | Thermo Electron Scientific Instruments Llc | Image analysis system and method |
JP7139243B2 (en) | 2015-09-16 | 2022-09-20 | サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー | Image analysis system and method |
JP2018535393A (en) * | 2015-09-16 | 2018-11-29 | サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー | Image analysis system and method |
US11282163B2 (en) | 2017-12-05 | 2022-03-22 | Google Llc | Method for converting landscape video to portrait mobile layout using a selection interface |
US11978238B2 (en) | 2017-12-05 | 2024-05-07 | Google Llc | Method for converting landscape video to portrait mobile layout using a selection interface |
US11605150B2 (en) | 2017-12-05 | 2023-03-14 | Google Llc | Method for converting landscape video to portrait mobile layout using a selection interface |
JP7439548B2 (en) | 2020-02-04 | 2024-02-28 | 大日本印刷株式会社 | Facial image usage system, user terminal, management device, facial image usage method, program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000036032A (en) | Foreground picture extracting method, picture processor, automatic trimming device, recording medium and portrait picture device | |
US7352394B1 (en) | Image modification based on red-eye filter analysis | |
US6278491B1 (en) | Apparatus and a method for automatically detecting and reducing red-eye in a digital image | |
US8391645B2 (en) | Detecting orientation of digital images using face detection information | |
US8081844B2 (en) | Detecting orientation of digital images using face detection information | |
EP3249606B1 (en) | Inverse tone mapping method and corresponding device | |
US20050220346A1 (en) | Red eye detection device, red eye detection method, and recording medium with red eye detection program | |
US20050140801A1 (en) | Optimized performance and performance for red-eye filter method and apparatus | |
JP2004062565A (en) | Image processor and image processing method, and program storage medium | |
JP4911191B2 (en) | Image processing apparatus and image processing program | |
GB2372168A (en) | Automatic enhancement of facial features in images | |
JP2001251531A (en) | Method and device for image processing and recording medium | |
JP2011199671A (en) | Image processing apparatus, method and program | |
JPWO2008126371A1 (en) | Video composition method, video composition system | |
CN108900764A (en) | Image pickup method and electronic device and filming control method and server | |
US11496661B2 (en) | Image processing apparatus and image processing method | |
JP2010187348A (en) | Apparatus, method and program for image processing | |
US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
JP2009065350A (en) | Image processor, image processing method, and storage medium | |
JP4340836B2 (en) | Image composition apparatus and image composition program | |
JP2008035246A (en) | Composition evaluation device, composition adjustment device, image photographing device, composition evaluation program, composition adjustment program, image photographing program, composition evaluation method, composition adjustment method, and image photographing method | |
JP2005065048A (en) | Picture processing method, picture processor and picture processing program | |
JPH08331495A (en) | Electronic album system with photographing function | |
JPH10507280A (en) | Method and apparatus for detecting the position of a reflective object in a video field | |
US7603032B2 (en) | Image capturing apparatus and image capturing method that instructs a user to capture an image before an image is captured based on a necessary image type |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050126 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050209 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070423 |