JP2007249527A - Image editing device, image editing method and image editing program - Google Patents
Image editing device, image editing method and image editing program Download PDFInfo
- Publication number
- JP2007249527A JP2007249527A JP2006071297A JP2006071297A JP2007249527A JP 2007249527 A JP2007249527 A JP 2007249527A JP 2006071297 A JP2006071297 A JP 2006071297A JP 2006071297 A JP2006071297 A JP 2006071297A JP 2007249527 A JP2007249527 A JP 2007249527A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- input
- enlarged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、顔を捉えた画像の編集装置、編集方法、編集プログラムに関するものである。 The present invention relates to an image editing apparatus, an editing method, and an editing program that capture a face.
現在、監視カメラにおいて、ズーム機能を利用する際に、フロア全体の広い視野が欲しい場合と、特定の被写体のみを拡大して撮影したい場合とがあり、場合によって変化させることが必要となる。その際には、わざわざユーザ自身が切り替えを行わなければならず、非常に手間がかかると同時に、カメラはどちらか一方の機能しか果たすことができず、使い勝手が悪いものになってしまっている。 Currently, when using a zoom function in a surveillance camera, there are cases where a wide field of view of the entire floor is desired and cases where only a specific subject is desired to be enlarged, and it is necessary to change depending on the case. At that time, the user himself has to switch between them, which is very time consuming and at the same time the camera can only perform one of the functions, making it unusable.
またデジタルビデオカメラ、デジタルスチルカメラでは、遠くにいる被写体を拡大して撮影したい場合に、広い視野からその被写体を見つけ出し、その被写体をレンズに収めながらズームしていくといったユーザの記憶と技術が必要となるシステムになっており、手間がかかり、さらに被写体が動体の場合はシャッターチャンスを逃してしまうなど使い勝手の悪いものになっている。 Digital video cameras and digital still cameras require the user's memory and technology to find a subject from a wide field of view and zoom in while holding the subject in a lens when you want to magnify a subject far away. This is a system that is cumbersome and is not easy to use, such as missing a photo opportunity when the subject is moving.
この問題を解決するため、カメラに関して、特開平10−322629号公報(以下「公知文献1」と称する)記載技術は、撮像画像を画面表示する少なくとも2つの表示手段と、表示手段での表示動作を制御する制御手段を備えている(請求項1記載)。このことにより、全体画像とその所定部分の高解像度の画像とを並べて表示でき、撮影の全体像と人物の詳細情報を同時に取得することができる。 In order to solve this problem, a technique described in Japanese Patent Laid-Open No. 10-322629 (hereinafter referred to as “publicly known document 1”) relates to a camera, and includes at least two display means for displaying a captured image on a screen and a display operation on the display means. The control means for controlling is provided (claim 1). As a result, the entire image and the high-resolution image of the predetermined portion can be displayed side by side, and the entire image of the shooting and the detailed information of the person can be acquired simultaneously.
また、特開2001−268409号公報(以下「公知文献2」と称する)記載技術では、ズームレンズと広角レンズの2種類のレンズを備えているため、広角画像とズーム画像の双方を同時に撮影することが可能となる(段落「0006」記載)。また、その画像を1台のビデオカメラ装置に合成してモニタに表示し、広角レンズで全体を監視しながら、ズームレンズで特定箇所をズームアップして監視することができる(段落「0010」記載)。 In addition, the technique described in Japanese Patent Laid-Open No. 2001-268409 (hereinafter referred to as “publicly known document 2”) includes two types of lenses, a zoom lens and a wide-angle lens, so that both a wide-angle image and a zoom image are photographed simultaneously. (Paragraph “0006”). In addition, the image can be synthesized on a single video camera device and displayed on a monitor, and a specific portion can be zoomed in and monitored with a zoom lens while monitoring the whole with a wide-angle lens (described in paragraph “0010”). ).
また、デジタルスチルカメラなどで取得した画像において、表示方法にはサムネイル表示を採用していることが非常に多い。サムネイル表示を利用することで、一度に何枚もの画像を見ることができるとともに、全体的な構図を把握できるので、視認性と利便性に優れた表示方法となっている。 In addition, in an image acquired by a digital still camera or the like, a thumbnail display is very often used as a display method. By using the thumbnail display, it is possible to view many images at a time and grasp the overall composition, so that the display method is excellent in visibility and convenience.
しかしサムネイルで表示された複数の画像の中から、特定の人物を探して一箇所に編集する場合、画像表示サイズが小さいために写っている人物の識別が困難であるという問題が生じている。そのため写真を拡大して見るしか解決策がなく、サムネイルの利便性が活かせない事態が生じている。 However, when searching for a specific person from a plurality of images displayed as thumbnails and editing it in one place, there is a problem that it is difficult to identify the person in the image because the image display size is small. For this reason, there is only a solution to view the enlarged photo, and there is a situation where the convenience of thumbnails cannot be utilized.
この問題を解決するため、特開2002−358522号公報(以下「公知文献3」と称する)の記載によれば、画像表示手段が、画像中の特定領域を含む矩形領域を拡大して表示する拡大画像手段と、入力された画像を縮小して表示するサムネイル表示手段と、入力された画像を大きくして表示するオリジナル画像表示手段から構成されている(請求項1記載)。これにより、蓄積されている画像の中から写りの良い画像をより簡単に選りすぐることができる(段落「0001」記載)。
しかしながら、公知文献1では、全体画像と拡大画像を2つの表示装置に並べて表示しており、画面が2つ必要になってしまう。公知文献2では、2つのカメラユニットを必要とし、かつ1つの画像の一端にもう一方の画像を表示するため、必ず一方の画像の1部分(矩形領域)が失われてしまう。公知文献1、2において、それぞれ2つの画像を表示しているため、それぞれの画像の対応付けが難しく、一方を見ているうちに他方に変化があった場合などに対処できない。 However, in the known document 1, the entire image and the enlarged image are displayed side by side on two display devices, and two screens are required. In the known document 2, two camera units are required and the other image is displayed at one end of one image, so that one part (rectangular region) of one image is always lost. In the known documents 1 and 2, since two images are respectively displayed, it is difficult to associate each image, and it is impossible to cope with a case where there is a change in the other while viewing one.
さらに、公知文献3は、特定領域を含む矩形で拡大し、さらに公知文献2のように別の画像として噴出しのように顔を表示するものであり、公知文献1,2と同様に、複数の画面が必要となるため、画像内に複数人いるときには拡大されている顔がどの人物を捉えているのかが不明確になってしまい、さらに人物と背景の関係がつかみにくくなってしまうという欠点が生じていた。 Furthermore, the known document 3 enlarges a rectangle including a specific area, and further displays a face like a jet as another image like the known document 2, and, like the known documents 1 and 2, This makes it difficult to grasp the relationship between the person and the background, since it is not clear which person the enlarged face is capturing when there are multiple people in the image. Has occurred.
本発明はこの事態に鑑みてなされたものであり、その目的は、ユーザにとって視認性の良好な画像編集装置を提供することである。 The present invention has been made in view of this situation, and an object of the present invention is to provide an image editing apparatus having good visibility for a user.
本発明は画像編集装置、画像編集方法および画像編集プログラムに関するものである。請求項1の発明は、外部の画像を入力する画像入力部と、入力画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔を拡大する顔画像拡大手段と、前記顔画像拡大手段により拡大された顔を、前記入力された画像に合成する顔画像合成手段と、前記顔画像合成手段により合成された画像を出力する画像出力手段と、を具備している画像編集装置である。 The present invention relates to an image editing apparatus, an image editing method, and an image editing program. The invention according to claim 1 is an image input unit for inputting an external image, a face detection unit for detecting a face from the input image, a face image enlargement unit for enlarging the face detected by the face detection unit, and the face An image editing apparatus comprising: a face image synthesis unit that synthesizes the face enlarged by the image enlargement unit with the input image; and an image output unit that outputs the image synthesized by the face image synthesis unit. It is.
請求項2の発明は、請求項1の発明に加え、さらに前記顔情報分析手段により分析された顔の顔情報に基づいて、拡大する顔を選択する条件を設定し、顔がその条件に当てはまるかどうかを照合する条件照合手段を備えている。これにより、その条件に当てはまる顔だけを拡大することが可能となる。 In addition to the invention of claim 1, the invention of claim 2 further sets a condition for selecting a face to be enlarged based on the face information of the face analyzed by the face information analysis means, and the face applies to the condition. Condition checking means for checking whether or not is provided. As a result, it is possible to enlarge only the face that satisfies the condition.
請求項3の発明は、請求項2の発明に加え、さらに条件照合手段により選択された拡大する顔の条件に基づいて、その顔の拡大する倍率または拡大するサイズを決定する拡大顔計算手段を備えている。 According to a third aspect of the present invention, in addition to the second aspect of the present invention, an enlarged face calculating means for determining an enlargement magnification or an enlargement size of the face based on the condition of the enlarged face selected by the condition matching means. I have.
請求項4の発明は、外部の画像を入力する画像入力手段により、画像を入力する画像入力ステップと、顔検出部により、前記画像入力ステップで入力された画像から顔を検出する顔検出ステップと、顔画像拡大部により、前記顔検出ステップで検出された顔を拡大する顔画像拡大ステップと、顔画像合成部により、前記顔画像拡大ステップで生成された拡大顔画像を入力画像に合成する顔画像合成ステップと、画像出力部により、前記顔画像合成ステップで生成された合成画像を外部に出力する画像出力ステップと、を備える画像編集方法である。 The invention of claim 4 includes an image input step of inputting an image by an image input means for inputting an external image, and a face detection step of detecting a face from the image input in the image input step by a face detection unit, A face image enlarging step for enlarging the face detected in the face detecting step by the face image enlarging unit, and a face for synthesizing the enlarged face image generated in the face image enlarging step by the face image synthesizing unit with the input image An image editing method comprising: an image synthesis step; and an image output step of outputting the synthesized image generated in the face image synthesis step to the outside by an image output unit.
請求項5の発明は、コンピュータに、画像入力部により画像の入力を確認する入力ステップと、前記入力ステップにより入力された画像中から顔を検出する顔検出ステップと、前記顔検出ステップにより検出された顔を拡大する顔画像拡大ステップと、前記顔画像拡大ステップにより生成された拡大顔画像を、前記入力ステップにより入力された画像に合成する顔画像合成ステップと、前記顔画像合成ステップにより生成された合成画像を画像出力部により出力する出力ステップと、を実行させるための画像編集プログラムである。 The invention according to claim 5 is detected by an input step of confirming input of an image by an image input unit, a face detection step of detecting a face from the image input by the input step, and the face detection step. A face image enlarging step for enlarging the face, a face image synthesizing step for synthesizing the enlarged face image generated by the face image enlarging step with the image input by the input step, and the face image synthesizing step. And an output step of outputting the synthesized image by the image output unit.
顔を拡大した画像を提供することで、視認性と利便性のよい画像編集装置を提供することができる。 By providing an image with an enlarged face, it is possible to provide an image editing apparatus with good visibility and convenience.
以下、本発明の実施の形態について図面を用いて説明する。下記の発明の実施の形態は、特許請求の範囲を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments of the invention do not limit the scope of the claims.
図1は、第1の実施形態におけるブロック図を示している。本装置100は、画像を取り込む画像入力部101と、画像入力部101から取り込んだ入力画像中から顔を検出する顔検出部102と、顔検出部102が検出した全ての顔画像を拡大する顔画像拡大部103と、顔画像拡大部103が拡大した拡大顔画像を入力画像に合成する顔画像合成部104と、顔画像合成部104により合成された合成画像を表示装置120に出力する画像出力装置105とからなる。本装置100は、画像を取得する画像取得装置110と合成画像を表示する表示装置120とつながっている。
FIG. 1 is a block diagram according to the first embodiment. The
次に本装置100の動作について図2を用いて説明する。
Next, the operation of the
画像取得装置110から画像入力部101へ画像が入力される(ステップS101)と、顔検出部102は、後述するようにして入力画像中に顔があるかどうかをチェックする(ステップS102)。ステップS102で顔を検出することができなかった場合、入力画像をそのまま出力する(ステップS106)。ステップS102で顔検出部102が画像中に顔を検出した場合、顔画像拡大部103は顔検出部102が検出した顔を一定倍率もしくは一定の大きさに拡大する(ステップS103)。倍率や大きさはあらかじめ設定され、顔画像拡大部103に格納されている。顔画像拡大部103は、顔検出部102で検出した顔すべてについて拡大処理を行ったかどうかを判定(ステップS104)し、処理していない顔があればステップS103に戻り上記と同様の処理を行う。全ての顔を拡大したのち、顔画像合成部104は拡大顔画像を入力画像に合成する(ステップS105)。合成画像は、首の付け根を合わせるようにして合成されたものとなる。合成画像を画像出力部105により表示装置120へ出力する(ステップS106)。
When an image is input from the
このようにして、一連の処理が完了する。 In this way, a series of processing is completed.
入力画像とは、画像入力装置によって入力された画像のことであって、拡大された顔が合成される際のもとになる画像を意味する。 The input image is an image input by the image input device, and means an image that becomes a base when the enlarged face is synthesized.
画像は、静止画像であってもよいし、動画像であってもよい。動画像の場合、フレームごとに処理が行われてもよいし、決められた枚数ごとに処理が行われてもよいし、任意のフレームでもよい。 The image may be a still image or a moving image. In the case of a moving image, processing may be performed for each frame, processing may be performed for a predetermined number of frames, or an arbitrary frame may be used.
入力された画像内に複数の顔が検出された場合、全ての顔を検出した後で拡大処理を行う代わりに、顔が1つ検出される度に拡大処理を行い、そのステップを繰り返すものであってもよい。さらに、合成処理を行う場合に、顔が1つ拡大される度に合成するものでも良いし、全て拡大された後にいっぺんに合成しても良い。 When multiple faces are detected in the input image, instead of performing the enlargement process after detecting all the faces, the enlargement process is performed each time one face is detected, and the steps are repeated. There may be. Furthermore, when performing the synthesis process, it may be synthesized every time a face is enlarged, or may be synthesized all together after being enlarged.
顔画像拡大部102により顔を拡大する場合、矩形抽出により行ってもよいし、クリッピング処理による輪郭抽出により行ってもよい。これにより使用条件に沿った選択ができる。
When the face is magnified by the face
顔画像合成部104は、首の付け根を合わせるように合成する代わりに、入力画像の顔の重心と拡大顔画像の重心を合わせるように合成してもよいし、重心でなく中心などでもよい。
The face
顔画像合成部104による拡大顔画像合成時に複数の拡大顔画像が存在し、その顔同士が重なってしまう場合、顔を拡大する処理を行った順番に前面または後面に配置するようにしてもよいし、動画像の場合は1または複数フレームごとに前面表示する拡大顔画像を入れ換えてもよいし、それが不規則に行われてもよいし、重ならないようお互いを画面上違和感のないよう移動させてもよいし、首部分の位置を保ったまま首をかしげるように拡大顔画像上部を移動させてもよいし、重ならないよう拡大を抑えてもよいし、拡大顔画像に対して重なる割合または面積が大きい拡大顔画像を前面にしてもよいし、顔画像が鮮明なものほど前面にしてもよいし、顔画像が画像中の中心に近いほど前面にしてもよい。
When a plurality of enlarged face images are present at the time of composition of the enlarged face image by the face
また、合成画像の拡大顔画像同士が重なる場合、顔画像合成部104は、顔情報分析部106を有し、顔情報に基づいて前面に表示する顔を判断してもよい。すなわち、顔が大きいほど前面に表示、年齢が若いほど前面に表示、移動速度が大きいほど前面に表示、などの操作が挙げられる。
Further, when the enlarged face images of the composite image overlap, the face
ここで顔情報とは、それぞれの顔から得ることのできる情報を意味し、画面内の顔サイズ、顔の特徴量、特徴点位置、移動速度、位置、加速度、検出精度、大きさ、向き、方向変換回数、方向変換速度、方向変換加速度、被撮影時間、停滞時間、年齢、表情、隠れ方、隠れ具合または画面の中心からの距離、顔画像の鮮明さ、もしくは視線など、または登録データベース107の記憶情報に基づいて示される登録されている人物の重要度、登録順番、登録番号、画像内への登場回数などに基づくものである。顔情報を利用する場合、上記のもの単体でもよく、それらを複数組み合せたものでもよく、組み合わせた場合にはそれらに重みをつけてもよい。顔情報の決定は事前に設定されてもよいし、ユーザが指定するような機構を組み込んでもよい。
Here, face information means information that can be obtained from each face, such as face size, face feature amount, feature point position, moving speed, position, acceleration, detection accuracy, size, direction, Number of direction changes, direction change speed, direction change acceleration, shooting time, stagnation time, age, facial expression, hiding method, hiding condition, distance from the center of the screen, face image clarity, line of sight, etc., or
さらに図3に示すとおり、顔情報分析部106を装置100´の外部に設置し、電気通信回線などを通じて顔画像合成部104と接続していてもよい。さらに、顔情報分析部106は、顔情報を登録した登録データベース107を有し、登録した情報に基づいて前面に表示する顔を判断してもよい。登録データベース107は、例えば図4に示すように要注意人物の顔を記憶し、危険度によってフォルダ117に振り分けられている。また登録順が記憶されている。これにより顔情報分析部106は、登録データベース107の危険度に基づいて前面に表示する顔を決定することができる。
Further, as shown in FIG. 3, the face
画像取得装置110、表示装置120は、電気通信回線を通じて接続されていてもよい。
The
表示装置120は、画面で画像を表示するものだけでなく、出力を紙面上に表示するプリンタなどでもよい。
The
図5は、第1の実施形態である図1において、検出される全ての顔について、条件に当てはまるもののみ拡大する装置を示している。本装置は、第1の実施形態に加え、顔検出部102で検出された顔の顔情報を分析する顔情報分析部106´と、顔画像拡大部103´で拡大する顔を決定する条件照合部201とを備えている。
FIG. 5 shows an apparatus for enlarging only the faces that meet the conditions for all the detected faces in FIG. 1 as the first embodiment. In this apparatus, in addition to the first embodiment, a face
以下、図6を用いて本装置200の動作について説明する。
Hereinafter, the operation of the
画像取得装置110からの入力画像は、画像入力部101により入力される(ステップS201)。画像中に顔があるかどうかが顔検出部102により判断される(ステップS202)。画像中に顔がないと判断された場合、画像入力部101から入力された画像は画像出力部105によりそのまま出力される。顔が検出されたら、顔情報分析部106´により顔情報を分析する(ステップS203)とともに、顔の数を顔画像拡大部103´に伝える。顔情報が分析された後、条件照合部201により顔情報が所定の条件に当てはまるかどうかを照合する(ステップS204)。顔が前記条件に当てはまる場合には、顔画像拡大部103´により顔を一定倍率または一定の大きさに拡大し(ステップS205)、当てはまらない場合には拡大する処理を行わずにステップS206に進む。顔画像拡大部103´は、検出された全ての顔に対して処理を行ったか判断し(ステップS206)、処理を行っていない場合はステップS203へ戻り同様の処理を行う。そうして全ての顔に対して処理を行った後、顔画像合成部104´は、拡大された顔のみを画像に合成する(ステップS207)。そして画像出力部105は、表示装置120に合成画像を出力する(ステップS208)。
An input image from the
このようにして、一連の処理が完了する。 In this way, a series of processing is completed.
上記所定の条件とは、上記顔情報に基づいて定められるものであってもよいし、第1の実施形態のように登録データベース107´を利用するものであってもよいし、拡大顔画像の人数に基づいてもよいし、ポインタなどでユーザが指定する顔であってもよい。例えば、コーカソイドであった場合に拡大したり、目を閉じている場合に拡大したり、登録されている顔であった場合に拡大したりすることが可能となる。これにより、所定条件の顔のみを拡大するため、より目的に沿った本実施形態の利用が可能となる。
The predetermined condition may be determined based on the face information, may use the
条件照合部201は、登録データベース107´内の顔の特徴量と、顔情報分析部106´で得られた顔の特徴量を比較して照合スコアを算出し、照合スコアと所定の閾値とを比較することで、所定の条件に当てはまるかどうかを判断してもよい。特徴量はベクトルなどで表されるものであってもよい。登録データベースは、注目したい顔を登録するだけのものであってもよいし、顔ごとに重要度を数値化して数値と顔画像とを関連付けておいてもよいし、その重要度や属性等ごとにグループ分けされていてもよいし、また上記顔情報から得られる顔を、例えばあらかじめ設けた閾値を超えた場合に自動的に更新、変更、新規入力を行うものであってもよい。閾値はその都度決定されてもよいし、顔ごとに異なるものでもよいし、ユーザが選択するものでもよいし、その組合せでもよい。
The
その他の動作や詳細などは図2のフローチャートと同様であるため説明を省略する。 Other operations and details are the same as those in the flowchart of FIG.
図7は、図5について、さらに検出された全ての顔に対して、条件に当てはまるもののみを、その条件に基づいて拡大する装置を示している。本装置300は、第2の実施形態に加え、拡大する顔の大きさを計算する拡大顔計算部301を備えている。
FIG. 7 shows an apparatus for enlarging only those that meet the condition for all detected faces in FIG. 5 based on the condition. In addition to the second embodiment, the
以下、図8を用いて本装置300における動作について説明する。
Hereinafter, the operation of the
画像入力部101から画像が入力される(ステップS301)と、顔検出部102により画像中に顔があるかどうか判断される(ステップS302)。顔がないと判断されたとき、入力された画像をそのまま出力する(ステップS310)。顔があると判断された場合、顔情報分析部106´´は、顔情報を分析する(ステップS303)とともに顔検出部102は顔画像拡大部103´´に顔の数を伝える。続いて、条件照合部201´により、検出された顔が所定の条件に当てはまるかどうかが判断される(ステップS304)。条件に当てはまらないと判断されたとき、顔を拡大せずにステップS308へ進む。条件に当てはまると判断されたとき、拡大顔計算部301により顔の拡大サイズを計算する(ステップS305)。顔画像拡大部103´´により顔の拡大サイズの倍率が1倍より大きいかどうか判断され(ステップS306)、1倍の場合は顔を拡大せずにステップS308に進む。1倍より大きい場合は、拡大顔計算部301はその倍率を顔画像拡大部103´´に伝え、顔画像拡大部103´´はその倍率だけ顔を拡大する(ステップS307)。顔画像拡大部103´´より全ての顔に対して処理を行ったかどうか判断され(ステップS308)、処理を行っていないと判断された場合はステップS303に戻り、同様の処理を行う。処理を行ったと判断された場合は拡大された顔を入力画像に合成する(ステップS309)。そして合成画像を出力する(ステップS310)。
When an image is input from the image input unit 101 (step S301), the
このようにして、全ての顔が拡大した画像が提供され、一連の処理が完了する。 In this way, an image in which all the faces are enlarged is provided, and a series of processing is completed.
拡大顔計算部301において拡大する顔の計算は条件に基づいてもよい。条件に基づく拡大顔画像の計算とは、例えば停滞時間が長いほどそれに比例または略比例して拡大、移動速度が速いほど拡大、登録データベースで重要度が高いほど拡大、顔が中心に近いほど拡大、顔の向きが正面に近いほど拡大、などの処理である。
The calculation of the face to be enlarged in the enlarged
ステップS306において顔拡大倍率が1と等しい場合、顔画像拡大部103´´は、その倍率となる顔の条件を事前に条件照合部201´に出力してもよい。その場合、顔拡大倍率が1と等しい顔に関してステップS304からステップS308に処理することができるため、処理が高速化する。
When the face enlargement magnification is equal to 1 in step S306, the face
条件照合部201´により判断される所定の条件に当てはまるか(ステップS304)についての条件と、拡大顔計算部301により決定される拡大する顔の計算(ステップS305)に用いる条件は別々であってもよい。例えば、男性であった場合、その年齢が大きいほど顔を大きくする操作などが該当する。
The condition regarding whether or not the predetermined condition determined by the
処理の詳細などは図6におけるフローチャートと同様であるため説明を省略する。 Details of the processing are the same as those in the flowchart in FIG.
図9は監視カメラにおける本発明の具体的な実施例であり、要注意人物の顔を、要注意度が高いほど大きくなるように表示する装置である。本装置400は、カメラ210で取得した画像を入力する画像入力部401と、前記画像から顔を検出する顔検出部402と、要注意人物の顔を、危険度を数値化したものと関連付けて記憶する登録データベース407と、前記登録された顔の顔情報と検出された顔の顔情報とを照合する顔照合部406と、前記照合の結果に基づいて顔を拡大する顔画像拡大部403と、前記顔画像拡大部403で生成された拡大顔画像を入力画像に合成する顔画像合成部404と、前記顔画像合成部404で生成された合成画像をモニタ220に出力する画像出力部405とからなる。
FIG. 9 shows a specific embodiment of the present invention in a surveillance camera, which is an apparatus that displays the face of a person requiring attention so that the face needs attention increases. The
以下、図10を用いて本装置400の動作について説明する。
Hereinafter, the operation of the
カメラ210により撮影された画像が画像入力部401より入力される(ステップS401)。前記入力画像に、顔があるかどうか顔検出部402により判断される(ステップS402)。動画像である場合はフレームごとに検出される。入力画像中に顔がないと判断されたとき、ステップS408に進む。入力画像中に顔があると判断されたとき、顔照合部406により、顔画像登録データベース407内に登録されている顔の特徴量と、顔検出部402で取得された顔の特徴量が照合される(ステップS404)。それとともに、検出された顔の数を顔画像拡大部403に伝える。顔照合部406により記録されていないと判断された場合、ステップS406に進む。記録されていると判断された場合、登録データベース407から顔情報との危険度を取得し(ステップS404)、顔画像拡大部404により、危険度に応じてあらかじめ設定された倍率で顔画像が拡大される(ステップS405)。画像中の全ての顔を処理したかどうかが顔画像拡大部403により判断され(ステップS406)、処理していないと判断された場合はステップS403に戻り、処理していない顔について同様の処理が行われる。処理していると判断された場合に、顔画像合成部405は拡大顔画像を入力画像に合成する(ステップS407)。そして画像出力部406は、合成画像をモニタ220に出力する(ステップS408)。
An image captured by the
顔検出部402は顔追跡機能を備えてもよい。これにより、被撮影者が後ろを向いたりしても顔を大きくし続ける処理が可能となる。
The
登録データベースに登録されるのは、顔の代わりに顔の特徴量であってもよい。 What is registered in the registration database may be facial feature quantities instead of faces.
図11はサムネイル表示における本発明の具体的な実施例であり、男性の顔を拡大する装置である。本装置500は、外部に画像を記憶しておく画像記憶装置310から画像を取得する画像入力部501と、入力画像から顔を検出する502と、検出した顔の性別を分析する顔情報分析部503と、男性の場合顔を拡大する顔画像拡大部504と、拡大した顔を合成する顔画像合成部505と、合成画像をモニタに出力する画像出力部506とからなる。
FIG. 11 shows a specific embodiment of the present invention in thumbnail display, which is an apparatus for enlarging a male face. This
以下、図12を用いて本装置500の動作について説明する。
Hereinafter, the operation of the
画像入力部501は、画像記憶装置310から画像をサムネイルとして取得することで、本装置に画像を入力する(ステップS501)。顔検出部502により画像中に顔があるかどうか判断され(ステップS502)、顔がないと判断された場合、ステップS507に進む。顔があると判断された場合、顔情報分析部503により、その顔の性別が判断される(ステップS503)。それとともに、顔ののべ人数が顔画像拡大部504に伝えられる。顔情報分析部503により女性であると判断された場合はステップS505に進み、男性であると判断された場合は顔が一定の大きさに拡大される(ステップS504)。顔画像拡大部504は、取得した全ての画像に対して全ての顔を処理したか判断される(ステップS505)。全ての顔を処理していないと判断した場合はステップS503に戻り、全ての顔を処理するまで上記処理を繰り返す。全ての顔を処理したと判断した場合は、顔画像合成部505は、拡大された顔を取得画像に合成する(ステップS506)。画像出力部506は、合成画像をモニタ320に出力する(ステップS507)。
The
本実施形態の処理を行った後の表示は図13のようなイメージになる。モニタ320によりサムネイルの一覧表示330が表示され、サムネイル331が複数表示されている。
The display after the processing of the present embodiment is as shown in FIG. The
顔情報分析部503は、顔検出部502で検出された顔全てについて男性もしくは女性の判断をし、顔とともにその判断の情報を顔画像拡大部504へ伝える。
The face
顔情報分析部503の性別推定には、文献(瀧川えりな、細井聖:「顔画像による自動性別・年代推定」,OMRON TECHNICS,Vol.43−No.1,p37−41)に開示された性別推定方法を用いてもよいし、その他の方法でもよい。
For gender estimation by the face
拡大顔画像の表示は、図「サムネイルイメージ」のような表示に限られず、写真の枠をはみ出さないように表示してもよいし、顔の大きさで判断することにより、前の人より後面に拡大顔画像を表示してもよい。 The display of the enlarged face image is not limited to the display as shown in the figure “thumbnail image”, it may be displayed so as not to protrude the frame of the photo, or by judging by the size of the face, An enlarged face image may be displayed on the rear surface.
100 本発明の最良の実施形態における装置
101 画像入力部
102 顔検出部
103 顔画像拡大部
104 顔画像合成部
105 画像出力部
106 顔情報分析部
107 登録データベース
110 画像取得装置
120 表示装置
201 条件照合部
301 拡大顔計算部
330 サムネイル一覧表示出力
331 サムネイル
DESCRIPTION OF
Claims (5)
前記画像入力手段により入力された画像から顔を検出する顔検出手段と、
前記顔検出手段により検出された顔を拡大する顔画像拡大手段と、
前記顔画像拡大手段により拡大された顔を、前記入力された画像に合成する顔画像合成手段と、
前記顔画像合成手段により合成された画像を出力する画像出力手段と、
を具備することを特徴とする画像編集装置。 An image input means for inputting an external image;
Face detection means for detecting a face from the image input by the image input means;
A face image enlarging means for enlarging the face detected by the face detecting means;
Face image synthesizing means for synthesizing the face enlarged by the face image enlarging means with the input image;
Image output means for outputting the image synthesized by the face image synthesis means;
An image editing apparatus comprising:
拡大する顔を選択する条件をあらかじめ設定し、前記顔情報分析手段により分析された顔の顔情報に基づいて、顔が前記条件に当てはまるかどうか照合する条件照合手段とを備えたことを特徴とする請求項1に記載の画像編集装置。 Face information analyzing means for analyzing face information of the face detected by the face detecting means;
A condition collating unit that preliminarily sets a condition for selecting a face to be enlarged, and collates whether or not the face meets the condition based on the face information of the face analyzed by the face information analyzing unit; The image editing apparatus according to claim 1.
顔検出部により、前記画像入力ステップで入力された画像から顔を検出する顔検出ステップと、
顔画像拡大部により、前記顔検出ステップで検出された顔を拡大する顔画像拡大ステップと、
顔画像合成部により、前記顔画像拡大ステップで生成された拡大顔画像を入力画像に合成する顔画像合成ステップと、
画像出力部により、前記顔画像合成ステップで生成された合成画像を外部に出力する画像出力ステップと、
を備える画像編集方法。 An image input step of inputting an image by an image input means for inputting an external image;
A face detection step of detecting a face from the image input in the image input step by a face detection unit;
A face image enlargement step for enlarging the face detected in the face detection step by a face image enlargement unit;
A face image synthesizing step for synthesizing the enlarged face image generated in the face image enlarging step with the input image by a face image synthesizing unit;
An image output step for outputting the composite image generated in the face image synthesis step to the outside by an image output unit;
An image editing method comprising:
画像入力部により画像の入力を確認する入力ステップと、
前記入力ステップにより入力された画像中から顔を検出する顔検出ステップと、
前記顔検出ステップにより検出された顔を拡大する顔画像拡大ステップと、
前記顔画像拡大ステップにより生成された拡大顔画像を、前記入力ステップにより入力された画像に合成する顔画像合成ステップと、
前記顔画像合成ステップにより生成された合成画像を画像出力部により出力する出力ステップと、
を実行させるための画像編集プログラム。
On the computer,
An input step for confirming image input by the image input unit;
A face detection step of detecting a face from the image input by the input step;
A face image enlargement step for enlarging the face detected by the face detection step;
A face image synthesis step of synthesizing the enlarged face image generated by the face image enlargement step with the image input by the input step;
An output step of outputting the composite image generated by the face image synthesis step by an image output unit;
An image editing program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071297A JP4872396B2 (en) | 2006-03-15 | 2006-03-15 | Image editing apparatus, image editing method, and image editing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071297A JP4872396B2 (en) | 2006-03-15 | 2006-03-15 | Image editing apparatus, image editing method, and image editing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007249527A true JP2007249527A (en) | 2007-09-27 |
JP4872396B2 JP4872396B2 (en) | 2012-02-08 |
Family
ID=38593760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006071297A Active JP4872396B2 (en) | 2006-03-15 | 2006-03-15 | Image editing apparatus, image editing method, and image editing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4872396B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009147644A (en) * | 2007-12-13 | 2009-07-02 | Canon Inc | Image processing device, control method thereof, and program |
JP2009288945A (en) * | 2008-05-28 | 2009-12-10 | Canon Inc | Image display unit and image display method |
CN101825987A (en) * | 2009-03-06 | 2010-09-08 | 卡西欧计算机株式会社 | Chart display control unit and program |
US8107771B2 (en) | 2007-03-19 | 2012-01-31 | Sony Corporation | Image processing apparatus and image processing method |
US8363910B2 (en) | 2007-03-08 | 2013-01-29 | Sony Corporation | Image processing device, image processing method, and program |
US8456536B2 (en) | 2007-03-26 | 2013-06-04 | Sony Corporation | Image processing apparatus, image processing method and program with sightline detection |
US8482651B2 (en) | 2007-02-15 | 2013-07-09 | Sony Corporation | Image processing device and image processing method |
US8872929B2 (en) | 2007-06-25 | 2014-10-28 | Sony Corporation | Picture imaging apparatus and imaging control method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005012764A (en) * | 2003-05-22 | 2005-01-13 | Casio Comput Co Ltd | Data communication apparatus, image transmitting method, and image transmitting program |
JP2005094799A (en) * | 2004-11-15 | 2005-04-07 | Chuo Electronics Co Ltd | Integrated video display device |
JP2005354333A (en) * | 2004-06-10 | 2005-12-22 | Casio Comput Co Ltd | Image reproducer and program |
-
2006
- 2006-03-15 JP JP2006071297A patent/JP4872396B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005012764A (en) * | 2003-05-22 | 2005-01-13 | Casio Comput Co Ltd | Data communication apparatus, image transmitting method, and image transmitting program |
JP2005354333A (en) * | 2004-06-10 | 2005-12-22 | Casio Comput Co Ltd | Image reproducer and program |
JP2005094799A (en) * | 2004-11-15 | 2005-04-07 | Chuo Electronics Co Ltd | Integrated video display device |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8482651B2 (en) | 2007-02-15 | 2013-07-09 | Sony Corporation | Image processing device and image processing method |
US8363910B2 (en) | 2007-03-08 | 2013-01-29 | Sony Corporation | Image processing device, image processing method, and program |
US8107771B2 (en) | 2007-03-19 | 2012-01-31 | Sony Corporation | Image processing apparatus and image processing method |
US8456536B2 (en) | 2007-03-26 | 2013-06-04 | Sony Corporation | Image processing apparatus, image processing method and program with sightline detection |
US8872929B2 (en) | 2007-06-25 | 2014-10-28 | Sony Corporation | Picture imaging apparatus and imaging control method |
JP2009147644A (en) * | 2007-12-13 | 2009-07-02 | Canon Inc | Image processing device, control method thereof, and program |
JP2009288945A (en) * | 2008-05-28 | 2009-12-10 | Canon Inc | Image display unit and image display method |
CN101825987A (en) * | 2009-03-06 | 2010-09-08 | 卡西欧计算机株式会社 | Chart display control unit and program |
JP2010211281A (en) * | 2009-03-06 | 2010-09-24 | Casio Computer Co Ltd | Graph display control apparatus and program |
US8542254B2 (en) | 2009-03-06 | 2013-09-24 | Casio Computer Co., Ltd. | Graph display control apparatus and graph display control method |
Also Published As
Publication number | Publication date |
---|---|
JP4872396B2 (en) | 2012-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4912117B2 (en) | Imaging device with tracking function | |
JP4872396B2 (en) | Image editing apparatus, image editing method, and image editing program | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
CN105723703B (en) | Monitoring device, monitoring system and monitoring method | |
JP5347279B2 (en) | Image display device | |
US8928770B2 (en) | Multi-subject imaging device and imaging method | |
JP2011029737A (en) | Surveillance image retrieval apparatus and surveillance system | |
US9489715B2 (en) | Image display apparatus and image display method | |
US9807310B2 (en) | Field display system, field display method, and field display program | |
JP2009194644A (en) | Image processor, image processing method and image pick-up device | |
CN112995500A (en) | Shooting method, shooting device, electronic equipment and medium | |
JP2006109172A (en) | Method and device for processing image | |
JP2016187162A (en) | Information processing device, information processing method, and program | |
JP2008281385A (en) | Image processing device | |
US9357125B2 (en) | Method and apparatus of displaying portrait on display | |
JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
JP6104066B2 (en) | Image processing apparatus and image processing method | |
WO2014087622A1 (en) | Appearance presentation system, method, and program | |
JP2017028688A (en) | Image managing device, image managing method and program | |
JP2020101897A (en) | Information processing apparatus, information processing method and program | |
JP2005123750A (en) | Video-map interlocking system and interlocking method thereof | |
US11356632B2 (en) | Display-information generating apparatus, information processing apparatus, and imaging system | |
JP5055462B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP7219804B2 (en) | Information processing device, information processing system, information processing method and program | |
JP6234200B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101217 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4872396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |