JP2013048405A - Area extraction device, imaging device, and area extraction program - Google Patents
Area extraction device, imaging device, and area extraction program Download PDFInfo
- Publication number
- JP2013048405A JP2013048405A JP2012160494A JP2012160494A JP2013048405A JP 2013048405 A JP2013048405 A JP 2013048405A JP 2012160494 A JP2012160494 A JP 2012160494A JP 2012160494 A JP2012160494 A JP 2012160494A JP 2013048405 A JP2013048405 A JP 2013048405A
- Authority
- JP
- Japan
- Prior art keywords
- area
- subject
- region
- processing unit
- circumscribed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像から領域を抽出する領域抽出装置、撮像装置、及び領域抽出プログラムに関する。 The present invention relates to a region extraction device, an imaging device, and a region extraction program that extract a region from an image.
画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている(特許文献1参照)。 An image processing apparatus that extracts a region from a captured image and identifies the extracted region based on a histogram of image feature values is disclosed (see Patent Document 1).
しかしながら、特許文献1に開示された画像処理装置は、主要被写体の領域に合焦させるための処理時間が長いという問題がある。
However, the image processing apparatus disclosed in
本発明は、前記の点に鑑みてなされたものであり、主要被写体の領域に合焦させるための処理時間が短い領域抽出装置、撮像装置、及び領域抽出プログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an area extraction apparatus, an imaging apparatus, and an area extraction program that have a short processing time for focusing on an area of a main subject.
本発明は、上記の課題を解決するためになされたものであり、撮像された画像から、特徴量に基づいて被写体領域を抽出する領域抽出部と、前記領域抽出部により抽出された前記被写体領域の位置関係に基づいて、前記被写体領域を選択する領域処理部と、を備えることを特徴とする領域抽出装置である。 The present invention has been made to solve the above-described problem, and an area extraction unit that extracts a subject area from a captured image based on a feature amount, and the subject area extracted by the area extraction unit And a region processing unit that selects the subject region based on the positional relationship.
また、本発明は、領域抽出装置と、前記領域抽出装置により抽出された被写体領域のうち、優先度が高い領域に合焦させるよう焦点を調節する焦点調節部と、前記優先度が高い領域に合焦した状態の画像を撮像する撮像部と、を備えることを特徴とする撮像装置である。 In addition, the present invention provides an area extraction device, a focus adjustment unit that adjusts a focus so as to focus on a region having a high priority among the subject regions extracted by the region extraction device, and a region having a high priority. An image pickup apparatus comprising: an image pickup unit that picks up an image in a focused state.
また、本発明は、コンピュータに、撮像された画像から特徴量に基づいて被写体領域を抽出する手順と、抽出された前記被写体領域の位置関係に基づいて、前記被写体領域を選択する手順と、を実行させるための領域抽出プログラムである。 Further, the present invention provides a computer with a procedure for extracting a subject area from a captured image based on a feature amount, and a procedure for selecting the subject area based on a positional relationship between the extracted subject areas. This is an area extraction program for execution.
本発明によれば、領域抽出装置は、主要被写体の領域に合焦させるための処理時間を短くすることができる。 According to the present invention, the area extracting apparatus can shorten the processing time for focusing on the area of the main subject.
[第1実施形態]
本発明の第1実施形態について図面を参照して詳細に説明する。図1には、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成が、ブロック図により表されている。撮像装置100は、レンズ鏡筒111から入射される光学像を撮像し、静止画形式又は動画形式の画像を、記憶媒体200に記憶させる。
[First Embodiment]
A first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of a lens barrel, an imaging device including a region extraction device, and a storage medium. The
まず、レンズ鏡筒111の構成を説明する。
レンズ鏡筒111は、焦点調整レンズ(以下、「AF(Auto Focus)レンズ」という)112と、レンズ駆動部116と、AFエンコーダ117と、鏡筒制御部118を備える。なお、レンズ鏡筒111は、撮像装置100に着脱可能に接続されてもよいし、撮像装置100と一体であってもよい。
First, the configuration of the
The
AFレンズ112は、レンズ駆動部116により駆動され、後述する撮像部110の撮像素子119の受光面(光電変換面)に、光学像を導く。
The AF lens 112 is driven by a
AFエンコーダ117は、AFレンズ112の移動を検出し、AFレンズ112の移動量に応じた信号を、鏡筒制御部118に出力する。ここで、AFレンズ112の移動量に応じた信号とは、例えば、AFレンズ112の移動量に応じて位相が変化するサイン(sin)波信号であってもよい。
The
鏡筒制御部118は、撮像装置100のCPU190から入力される駆動制御信号に応じて、レンズ駆動部116を制御する。ここで、駆動制御信号とは、AFレンズ112を光軸方向に駆動させる制御信号である。鏡筒制御部118は、駆動制御信号に応じて、例えば、レンズ駆動部116に出力するパルス電圧のステップ数を変更する。
The lens
また、鏡筒制御部118は、AFレンズ112の移動量に応じた信号に基づいて、レンズ鏡筒111におけるAFレンズ112の位置(フォーカスポジション)を、CPU190に出力する。ここで、鏡筒制御部118は、例えば、AFレンズ112の移動量に応じた信号を、AFレンズ112の移動方向に応じて積算することで、レンズ鏡筒111におけるAFレンズ112の移動量(位置)を算出してもよい。
Further, the lens
レンズ駆動部116は、鏡筒制御部118の制御に応じてAFレンズ112を駆動し、AFレンズ112をレンズ鏡筒111内で光軸方向に移動させる。
The
次に、撮像装置100の構成を説明する。
撮像装置100は、撮像部110と、領域抽出装置140と、表示部150と、バッファメモリ部130と、操作部180と、記憶部160と、CPU190と、通信部170とを備える。
Next, the configuration of the
The
撮像部110は、撮像素子119と、A/D(Analog/Digital)変換部120とを備える。撮像部110は、設定された撮像条件(例えば絞り値、露出値等)に従って、CPU190により制御される。
The
撮像素子119は、光電変換面を備え、レンズ鏡筒111(光学系)により光電変換面に結像された光学像を電気信号に変換して、A/D変換部120に出力する。撮像素子119は、例えば、CMOS(Complementary Metal Oxide Semiconductor)で構成されていてもよい。また、撮像素子119は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい(画像切り出し)。
The
また、撮像素子119は、操作部180を介してユーザからの撮影指示を受け付けた際に得られる画像を、A/D変換部120を介して記憶媒体200に記憶させる。一方、撮像素子119は、操作部180を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部130及び表示部150に、A/D変換部120を介して出力する。
Further, the
A/D変換部120は、撮像素子119によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部130に出力する。
The A /
操作部180は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ(十字キー)、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をCPU190に出力する。
The
領域抽出装置140は、記憶部160に記憶されている画像処理条件に基づいて、バッファメモリ部130に一時的に記憶されている画像を画像処理する。画像処理された画像は、通信部170を介して記憶媒体200に記憶される。また、領域抽出装置140は、バッファメモリ部130に一時的に記憶されている画像から、画像の特徴量により定まる領域を抽出する。また、領域抽出装置140は、抽出した領域を示す情報を記憶部160などに記憶させる。ここで、領域を示す情報とは、例えば、領域の分布を表す情報、及び領域の特徴量を表す情報などである。また、領域抽出装置140は、バッファメモリ部130に一時的に記憶されている画像から抽出した被写体領域に、被写体領域に合焦させるための優先度を設定する。
The
表示部150は、撮像部110によって得られた画像、及び操作画面等を表示する。表示部150は、例えば、液晶ディスプレイである。
The
バッファメモリ部130は、撮像部110によって撮像された画像を、一時的に記憶する。
The
記憶部160は、シーン判定の際にCPU190によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、領域を示す情報等とを記憶する。
The
CPU190は、設定された撮像条件(例えば、絞り値、露出値)に従って、撮像部110を制御する。また、CPU190は、領域を示す情報を、領域抽出装置140から取得する。また、CPU190(焦点調節部)は、領域を示す情報に基づいてレンズ鏡筒111の鏡筒制御部118に駆動制御信号を出力することで、画像から抽出された領域のうち、領域抽出装置140が設定した優先度が高い領域に合焦させるよう焦点を調節する。
The
また、CPU190は、領域を示す情報に基づいて、画像処理のプレ処理又はポスト処理として、焦点調整(AF)の設定、露出調整(AE)の設定、ホワイトバランス調整(AWB)の設定、被写体像(オブジェクト)の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。また、CPU190は、領域を示す情報に基づいて、トーンカーブ(階調カーブ)の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。
Also, the
また、CPU190は、領域を示す情報に基づいて、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置100の発光部(不図示)が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。また、CPU190は、操作部180から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、領域抽出装置140に画像処理させる。
In addition, the
通信部170は、カードメモリ等の取り外しが可能な記憶媒体200と接続され、この記憶媒体200への情報(画像データ、領域を示す情報など)の書込み、読み出し、あるいは消去を行う。
The
記憶媒体200は、撮像装置100に対して着脱可能に接続される記憶部であって、情報(画像データ、領域を示す情報など)を記憶する。なお、記憶媒体200は、撮像装置100と一体であってもよい。
The
次に、領域抽出装置140の詳細について説明する。
領域抽出装置140は、特徴量算出部141と、領域抽出部142と、領域処理部143と、優先度設定部144とを備える。
Next, details of the
The
特徴量算出部141は、撮像部110が撮像した画像を、バッファメモリ部130から取得する。また、特徴量算出部141は、バッファメモリ部130から取得した画像における複数の特徴(例えば、色相、彩度、明度、テクスチャ、エッジ)毎に、その特徴量(例えば、輝度情報に基づく特徴量、色情報に基づく特徴量)を算出し、算出した特徴量を領域抽出部142に出力する。
The feature
領域抽出部142は、特徴量算出部141が算出した特徴量を取得する。また、領域抽出部142は、撮像部110が撮像した画像を、バッファメモリ部130から取得する。また、領域抽出部142は、取得した画像に含まれる領域であって特徴量毎に定まる被写体領域を、画像から抽出する。ここで、領域抽出部142が抽出する被写体領域は、例えば、撮像部110が撮像した画像に含まれる被写体像の領域である。
The
領域抽出部142は、取得した特徴量(例えば、輝度(Y)、色情報(Cr,Cb、RGB))に基づいて、被写体領域を画像から抽出する。例えば、領域抽出部142は、一定範囲内の画像特徴量と、その範囲外の画像特徴量とに2値化された画像から、被写体領域を抽出する。また、領域抽出部142は、被写体領域にラベルを割り当てる(ラベリング)。
The
また、領域抽出部142は、第1の画像特徴量に基づく被写体領域に外接する第1矩形領域と、第2の画像特徴量に基づく被写体領域に外接する矩形領域とを生成する。以下では、第1の画像特徴量は、色情報に応じた特徴量であるとする。また、色差に基づく被写体領域に外接する矩形領域を、以下、「色差領域」という。また、第2の画像特徴量は、輝度に応じた特徴量であるとする。また、輝度に基づく被写体領域に外接する矩形領域を、以下、「輝度矩形領域」という。なお、被写体領域に外接する領域(外接領域)の形状は、矩形に限らなくてもよい。
Further, the
領域処理部143は、予め定められた条件を被写体領域が満たすか否かを判定する。例えば、領域処理部143は、ノイズと推定される領域(例えば、所定閾値よりも面積が小さい領域)が画像にある場合、それらの領域を画像から除去(足きり)する。また、例えば、領域処理部143は、背景と推定される領域(例えば、所定閾値よりも面積が大きい領域)が画像にある場合、その領域を画像から除去する。領域処理部143は、除去されずに残っている被写体領域の分布を表す情報を、記憶部160に記憶させる。
The
領域処理部143は、領域抽出部142により抽出された被写体領域の位置関係に基づいて、被写体領域を選択し、選択した被写体領域を統合又は分割する。すなわち、領域処理部143は、位置が近い被写体領域を選択し、選択した被写体領域を統合又は分割する。また、領域処理部143は、被写体領域の形状に基づいて、被写体領域を選択し、選択した被写体領域を統合又は分割する。すなわち、領域処理部143は、形状が近似する被写体領域を選択し、選択した被写体領域を統合又は分割する。
The
領域処理部143は、輝度に基づいて画像から抽出した被写体領域の面積を分子とし、この被写体領域に外接する輝度矩形領域の面積を分母とする面積比(充填率)を、輝度矩形領域毎に算出する。また、領域処理部143は、面積比が予め定められた閾値未満である被写体領域及び輝度矩形領域を、分割又は統合する対象から除外する。同様に、領域処理部143は、色差に基づいて画像から抽出した被写体領域の面積を分子とし、この被写体領域に外接する色差矩形領域の面積を分母とする面積比(充填率)を、色差矩形領域毎に算出する。また、領域処理部143は、面積比が予め定められた閾値未満である被写体領域及び色差矩形領域を、分割又は統合する対象から除外する。
The
領域処理部143は、色差矩形領域の隅の座標に基づいて、色差に基づく被写体領域を統合する。また、領域処理部143は、輝度矩形領域の隅の座標に基づいて、輝度に基づく被写体領域を統合する。図2には、被写体領域を統合する方法を説明するための図が表されている。ここで、矩形領域にそれぞれ内接している被写体領域は、図示が省略されている。
The
図2(A)では、色差矩形領域610が色差矩形領域600に包含されており、且つ、色差矩形領域600及び色差矩形領域610の隅の座標差が、予め定められた画素数M(Mは、1以上の整数)以下であるとする。この場合、領域処理部143は、面積が大きい色差矩形領域600に色差矩形領域610を統合する。同様に、領域処理部143は、輝度に基づいて画像から抽出した被写体領域(不図示)を統合する。
In FIG. 2A, the color difference
なお、領域処理部143は、色差矩形領域600及び色差矩形領域610を統合する場合、色差矩形領域600及び色差矩形領域610において最も長い縦横の辺を有するように領域を統合してもよい。輝度矩形領域についても同様である。
Note that when the color difference
図2(B)では、色差矩形領域710及び色差矩形領域710の一部が重複し、且つ、色差矩形領域700及び色差矩形領域710の隅の座標差が、予め定められた画素数M以下であるとする。この場合、領域処理部143は、面積が大きい色差矩形領域700に色差矩形領域710を統合する。同様に、領域処理部143は、輝度に基づいて画像から抽出した被写体領域(不図示)を統合する。
In FIG. 2B, a part of the color difference
領域処理部143は、色差矩形領域の隅の座標と、輝度矩形領域の隅の座標とに基づいて、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する。例えば、領域処理部143は、色差矩形領域の隅の座標と、輝度矩形領域の隅の座標との差が、N(Nは、1以上の整数)画素以内である場合、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する。
The
また、図3には、輝度に基づく被写体領域を、色差に基づく被写体領域に統合する方法を説明するための図が表されている。ここで、矩形領域にそれぞれ内接している被写体領域は、図示が省略されている。領域処理部143は、色差矩形領域400に輝度矩形領域410が包含されており、且つ、色差矩形領域400及び輝度矩形領域410の隅の座標差が、予め定められた画素数L(Lは、1以上の整数)以上であるか否かを判定する。
FIG. 3 is a diagram for explaining a method for integrating a subject area based on luminance into a subject area based on color difference. Here, the subject areas inscribed in the rectangular areas are not shown. The
図3では、色差矩形領域400に輝度矩形領域410が包含されており、且つ、色差矩形領域400及び輝度矩形領域410の隅の座標差が、予め定められた画素数L以上であるとする。この場合、領域処理部143は、色差矩形領域400に輝度矩形領域410を統合する。同様に、領域処理部143は、輝度に基づいて画像から抽出した被写体領域(不図示)を統合する。同様に、領域処理部143は、輝度矩形領域410に内接する被写体領域(不図示)を、色差矩形領域400に内接する被写体領域(不図示)に統合する。
In FIG. 3, it is assumed that the luminance difference
領域処理部143は、輝度矩形領域に色差矩形領域が包含されており、且つ、輝度矩形領域及び色差矩形領域の隅の座標差が、予め定められた画素数L以上である場合、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する。
The
図4には、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する方法を説明するための図が表されている。ここで、矩形領域にそれぞれ内接している被写体領域は、図示が省略されている。 FIG. 4 shows a diagram for explaining a method of dividing a portion where a subject region based on luminance and a subject region based on color difference overlap from a subject region based on luminance. Here, the subject areas inscribed in the rectangular areas are not shown.
領域処理部143は、輝度に基づく被写体領域(不図示)に外接する輝度矩形領域500に、色差に基づく被写体領域(不図示)に外接する色差矩形領域510が包含されており、且つ、色差矩形領域及び輝度矩形領域の隅の座標の差が、予め定められた画素数L以上であるか否かを判定する。
The
領域処理部143は、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する。これにより、領域処理部143は、輝度矩形領域500から色差矩形領域510を分割し、輝度矩形領域500を輝度矩形領域500−1に変形させる。輝度矩形領域500−2〜輝度矩形領域500−4についても同様である。ここで、領域処理部143は、その処理能力に応じて、輝度矩形領域500から色差矩形領域540を中抜きする処理を実行してもよい。
The
図1に戻り、領域抽出装置140の説明を続ける。優先度設定部144は、予め定められた条件を満たす被写体領域に、画像における「領域の優先度」を定める。この「領域の優先度」とは、人がより注目しているであろう領域の優先度である。優先度設定部144は、設定した「領域の優先度」を、領域を示す情報として、記憶部145、記憶部160及び記憶媒体200に、領域毎に記憶させる。
Returning to FIG. 1, the description of the
領域の優先度は、次のように定められてもよい。以下では、優先度を示す数字が小さいほど、領域の優先度が高いものとする。また、以下に示す優先度は、一例である。 The priority of the area may be determined as follows. In the following, it is assumed that the priority of a region is higher as the number indicating the priority is smaller. Moreover, the priority shown below is an example.
優先度1.
動いている領域(動いている領域が画像に複数ある場合、画角からはみ出していない領域、又は画角の中央に分布する領域)。また、パンニングしたことにより、動いている領域が画像に広く分布している場合は、動いていない領域。
これらの領域は、優先度「1」に設定される。
人は、動いている領域及びパンニングした際に変化量の少ない領域に注目するためである。
A moving area (when there are a plurality of moving areas in the image, an area that does not protrude from the angle of view or an area that is distributed in the center of the angle of view). Also, if the moving area is widely distributed in the image due to panning, the area is not moving.
These areas are set to priority “1”.
This is because a person pays attention to a moving area and an area having a small amount of change when panning.
優先度2.
画角(構図)、奥行(パースペクト)、被写体距離(デプス、深度)に関する領域。画角の中央付近に分布する領域。画像に奥行がある場合、至近側に分布する領域のうち、画角からはみ出していない領域であって、面積が所定の範囲内である(極端に大きくない)領域。
これらの領域は、優先度「2」に設定される。
主要な被写体像の領域が、至近から無限までの広い範囲に存在する可能性があるためである。
Areas related to angle of view (composition), depth (perspective), and subject distance (depth, depth). An area distributed near the center of the angle of view. When there is a depth in the image, among the regions distributed on the closest side, the region does not protrude from the angle of view and has an area within a predetermined range (not extremely large).
These areas are set to priority “2”.
This is because the main subject image area may exist in a wide range from close to infinity.
優先度3.
人の顔検出、動物(ペット)の顔検出、顔が検出された領域における肌色検出、動物の毛並みのテクスチャ(模様)、又は植物のテクスチャに基づいて抽出された領域。
これらの領域は、優先度「3」に設定される。
人または動物が撮像されている場合、人は、その顔に注目するためである。
Regions extracted based on human face detection, animal (pet) face detection, skin color detection in the area where the face is detected, animal fur texture (pattern), or plant texture.
These areas are set to priority “3”.
This is because when a person or animal is imaged, the person pays attention to the face.
優先度4.
特異である特徴量(例えば、色相環において不連続である色相)がある領域。背景の領域とそれ以外の領域とに分割された領域。彩度が高い領域。周囲と比較して明度が著しく異なる領域。周囲と比較して色相(色合い)が著しく異なる領域。テクスチャ(模様)が周囲と異なる領域。周囲と比較して空間周波数(画像周波数)が高い領域。ある特徴量において不連続な分布が一定量あり、その特徴量に基づいてラベリングされた結果、領域が形成された場合に、画像において違和感がある領域。
これらの領域は、優先度「4」に設定される。
A region having a characteristic amount that is unique (for example, a hue that is discontinuous in the hue circle). An area divided into a background area and other areas. Highly saturated area. An area where the brightness is significantly different from the surrounding area. An area where the hue (hue) is significantly different from the surrounding area. An area where the texture (pattern) is different from the surrounding area. An area where the spatial frequency (image frequency) is higher than the surrounding area. A region in which an image has a sense of incongruity when a certain amount of discontinuous distribution has a certain amount and a region is formed as a result of labeling based on the feature amount.
These areas are set to priority “4”.
優先度5.
特定の色相又は彩度に基づいて抽出された領域。ここで、特定の色相とは、例えば、黄色、紫色、赤色及び肌色など、彩度の高い色である。
これらの領域は、優先度「5」に設定される。
人は、赤色、黄色、肌色の領域に注目するためである。
Priority 5.
An area extracted based on a specific hue or saturation. Here, the specific hue is a highly saturated color such as yellow, purple, red, and skin color.
These areas are set to the priority “5”.
This is because a person pays attention to red, yellow, and flesh-colored areas.
優先度6.
明度(明暗)に基づいて抽出された領域。
これらの領域は、優先度「6」に設定される。
An area extracted based on brightness (brightness).
These areas are set to priority “6”.
優先度7.
テクスチャ(模様)に基づいて抽出された領域。
これらの領域は、優先度「7」に設定される。
Priority 7.
An area extracted based on a texture (pattern).
These areas are set to priority “7”.
優先度8.
空間周波数(画像周波数)に基づいて抽出された領域。
これらの領域は、優先度「8」に設定される。
Priority 8.
A region extracted based on the spatial frequency (image frequency).
These areas are set to priority “8”.
優先度9.
縦又は横に延びたエッジで囲まれた領域であって、一定以上の太さがある領域。
これらの領域は、優先度「9」に設定される。
Priority 9.
An area surrounded by edges extending vertically or horizontally and having a certain thickness or more.
These areas are set to the priority “9”.
次に、領域抽出装置の処理の手順を説明する。
図5には、被写体領域を統合及び分割する方法を説明するための図が表されている。また、図6は、被写体領域を統合及び分割する手順を表すフローチャートである。
Next, the processing procedure of the region extraction apparatus will be described.
FIG. 5 shows a diagram for explaining a method of integrating and dividing the subject area. FIG. 6 is a flowchart showing a procedure for integrating and dividing the subject area.
領域抽出部142は、撮像された画像がリサイズされたクロップ画像(2値化画像)300Y、クロップ画像300Cr、及びクロップ画像300Cbを、バッファメモリ部130を介して画像特徴量毎に読み込む。
The
領域抽出部142は、色差(Cr)に基づく複数の被写体領域を画像300Crから抽出し、抽出した被写体領域に外接する色差矩形領域を画像に生成する。また、領域処理部143は、色差矩形領域の面積と、この色差矩形領域に包含されている被写体領域の面積との比を、色差矩形領域毎に算出する。色差(Cb)についても同様である。
The
また、領域抽出部142は、輝度(Y)に基づく被写体領域を画像300Yから抽出し、抽出した被写体領域に外接する輝度矩形領域を生成する。また、領域処理部143は、輝度矩形領域の面積と、この輝度矩形領域に包含されている被写体領域の面積との比を、輝度矩形領域毎に算出する。
Further, the
領域抽出部142は、輝度の階調範囲における一定範囲毎に、クロップ画像を生成する。図5では、1番目に高い輝度の階調範囲から成る2値化画像300Y−1が、クロップ画像300Yから生成されたとする。また、2番目に高い輝度の階調範囲から成る2値化画像300Y−2が、クロップ画像300Yから生成されたとする。また、3番目に高い輝度の階調範囲から成る2値化画像300Y−3が、クロップ画像300Yから生成されたとする。また、4番目に高い輝度の階調範囲から成る2値化画像300Y−4が、クロップ画像300Yから生成されたとする。
The
ここで、輝度に基づく被写体領域310が、2値化画像300Y−1から抽出されたとする。また、輝度に基づく被写体領域320が、2値化画像300Y−2から抽出されたとする。領域抽出部142は、被写体領域310に外接する輝度矩形領域を、2値化画像300Y−1に生成する。また、領域抽出部142は、被写体領域320に外接する輝度矩形領域を、2値化画像300Y−2に生成する。
Here, it is assumed that the
色差(Cr)についても同様に、図5では、2値化画像300Cr−1〜300Cr−4が、クロップ画像300Crから生成されたとする。ここで、色差(Cr)に基づく被写体領域330が、2値化画像300Cr−2から抽出されたとする。また、色差(Cr)に基づく被写体領域340が、2値化画像300Cr−3から抽出されたとする。領域抽出部142は、被写体領域330に外接する色差矩形領域を、2値化画像300Cr−2に生成する。また、領域抽出部142は、被写体領域340に外接する色差矩形領域を、2値化画像300Cr−3に生成する。
Similarly for the color difference (Cr), in FIG. 5, it is assumed that binarized images 300Cr-1 to 300Cr-4 are generated from the crop image 300Cr. Here, it is assumed that the
色差(Cb)についても同様に、図5では、2値化画像300Cb−1〜300Cb−4が、クロップ画像300Cbから生成されたとする。ここで、色差(Cb)に基づく被写体領域350が、2値化画像300Cb−1から抽出されたとする。領域抽出部142は、被写体領域350に外接する色差矩形領域を、2値化画像300Cb−1に生成する
Similarly, regarding the color difference (Cb), in FIG. 5, it is assumed that binarized images 300Cb-1 to 300Cb-4 are generated from the cropped image 300Cb. Here, it is assumed that the
領域処理部143は、面積比が予め定められた閾値未満である被写体領域及び輝度矩形領域を、分割又は統合する対象から除外するため、除外する対象を示す情報を記憶する。同様に、領域処理部143は、面積比が予め定められた閾値未満である被写体領域及び色差矩形領域を、分割又は統合する対象から除外するため、除外する対象を示す情報を記憶する(ステップS1)。
The
領域処理部143は、被写体領域340に外接する色差矩形領域の隅の座標と、被写体領域350に外接する色差矩形領域の隅の座標とに基づいて(図2を参照)、被写体領域340及び被写体領域350を統合した被写体領域370を、2値化画像300Cr−3及び2値化画像300Cb−1から抽出する(ステップS2)。
Based on the coordinates of the corner of the color difference rectangular area circumscribing the
領域処理部143は、被写体領域に外接する輝度矩形領域の隅の座標と、他の被写体領域に外接する輝度矩形領域の隅の座標とに基づいて(図2を参照)、被写体領域及び被写体領域を統合した被写体領域310を、2値化画像300Y−1から抽出する(ステップS3)。
Based on the coordinates of the corners of the luminance rectangular area circumscribing the subject area and the coordinates of the corners of the luminance rectangular area circumscribing the other subject areas (see FIG. 2), the
領域処理部143は、色差(図5では、Cr)に基づく被写体領域330に外接する色差矩形領域の隅の座標と、輝度(Y)に基づく被写体領域320に外接する輝度矩形領域の隅の座標とに基づいて、輝度に基づく被写体領域320を、色差に基づく被写体領域330に統合し、2値化画像300Y−2及び2値化画像300Cr−2から被写体領域360を抽出する(ステップS4)。
The
領域処理部143は、色差に基づく被写体領域に外接する色差矩形領域に、輝度に基づく被写体領域に外接する輝度矩形領域が包含されており、且つ、色差矩形領域及び輝度矩形領域の隅の座標差が、予め定められた画素数以上であるか否かを、被写体領域毎に判定する(ステップS5)。
The
ステップS5において判定条件が成立しない場合(ステップS5−No)、領域処理部143は、輝度に基づく被写体領域310に外接する輝度矩形領域に、色差に基づく被写体領域370に外接する色差矩形領域が包含されており、且つ、色差矩形領域及び輝度矩形領域の隅の座標の差が、予め定められた画素数以上であるか否かを、被写体領域毎に判定する(ステップS6)。
When the determination condition is not satisfied in step S5 (step S5-No), the
一方、ステップS5において判定条件が成立した場合(ステップS5−Yes)、領域処理部143は、輝度に基づく被写体領域のうち、隅の座標差が予め定められた画素数以上である輝度矩形領域に内接する被写体領域を、色差に基づく被写体領域に統合する(図3を参照)(ステップS7)。
On the other hand, when the determination condition is satisfied in step S5 (step S5-Yes), the
ステップS6において判定条件が成立した場合(ステップS6−Yes)、領域処理部143は、輝度に基づく被写体領域310と色差に基づく被写体領域370とが重複する部分を、輝度に基づく被写体領域310から分割する(ステップS8)。
When the determination condition is satisfied in step S6 (step S6-Yes), the
ここで、領域処理部143は、被写体領域310及び被写体領域370のうち、例えば、画角中心に分布する被写体領域370を主要被写体の領域と定める。
Here, of the
図7は、領域に合焦させるまでの処理の手順を表すフローチャートである。特徴量算出部141は、撮像された画像(スルー画像、又はスルー画像列)を、バッファメモリ部130から取り込み(ステップSa1)、取り込んだ画像に対して、基本的な画像処理を実行する(ステップSa2)。
FIG. 7 is a flowchart showing a processing procedure until focusing on an area. The feature
領域抽出部142は、撮像された画像がリサイズされたクロップ画像(64×40画素)を、バッファメモリ部130を介して色差毎に読み込む(ステップSa3)。領域抽出部142は、クロップ画像における複数の画像特徴量に基づいて、2値化画像を生成する(ステップSa4)。また、領域抽出部142は、2値化画像から被写体領域を抽出し、抽出した領域にラベルを割り当てる(ステップSa5)。
The
領域処理部143は、ノイズと推定される領域が画像にある場合、それらの領域を画像から除去する(ステップSa6)。また、領域処理部143は、背景と推定される領域が画像にある場合、その領域を画像から除去する(ステップSa7)。
When there are regions that are estimated to be noise in the image, the
優先度設定部144は、画像における「領域の優先度」を被写体領域毎に定める。また、優先度設定部144は、予め定められた条件に基づいて、被写体領域を分割する(ステップSa8)。また、優先度設定部144は、予め定められた条件に基づいて、被写体領域を統合する(ステップSa9)。また、領域抽出部142は、優先度設定部144が優先度を定めた被写体領域を、AF評価領域に合うよう矩形に整形する(ステップSa10)。CPU190は、AF評価領域のコントラスト値に基づいて、コントラスト・スキャン(焦点調整処理)を実行する(ステップSa11)。また、CPU190は、コントラスト・スキャンの結果に基づいて、至近に在る被写体が撮像されている被写体領域を優先し、その被写体領域に合焦させる(ステップSa12)。
The
以上のように、領域抽出装置140は、撮像された画像から、特徴量(例えば、色情報(色差、色相)、輝度)に基づいて被写体領域(例えば、被写体領域310〜被写体領域350)を抽出する領域抽出部142と、領域抽出部142により抽出された前記被写体領域の位置関係(例えば、図2〜図4を参照)に基づいて、前記被写体領域を選択する(例えば、図5を参照)領域処理部143と、を備える。
この構成により、領域抽出装置140は、領域抽出部142により抽出された被写体領域の位置関係に基づいて、被写体領域を選択する。これにより、領域抽出装置140は、主要被写体の領域に合焦させるための処理時間を短くすることができる。なお、選択された被写体領域、又は、その位置を示す枠は、例えば、表示部150に表示されてもよい。
As described above, the
With this configuration, the
また、領域処理部143は、選択した前記被写体領域を、前記位置関係(例えば、図2〜図4を参照)に基づいて統合又は分割する(例えば、図5を参照)。
この構成により、領域抽出装置140は、領域抽出部142により抽出された被写体領域の位置関係に基づいて、被写体領域を統合又は分割する。これにより、領域抽出装置140は、主要被写体の領域を特定して、主要被写体の領域に合焦させるための処理時間を短くすることができる。
Further, the
With this configuration, the
また、領域処理部143は、前記被写体領域の形状に基づいて、前記被写体領域を統合又は分割する(例えば、図5を参照)。
この構成により、領域抽出装置140は、被写体領域の形状に基づいて、被写体領域を統合又は分割する。これにより、領域抽出装置140は、主要被写体の領域に合焦させるための処理時間を短くすることができる。
In addition, the
With this configuration, the
また、領域抽出部142は、前記被写体領域に外接する領域である外接領域を生成し、領域処理部143は、前記外接領域の隅の座標に基づいて、前記被写体領域を統合又は分割する(例えば、図2〜図5を参照)。
この構成により、領域処理部143は、前記外接領域の隅の座標に基づいて、前記被写体領域を統合又は分割する。これにより、領域抽出装置140は、主要被写体の領域に合焦させるための処理時間を短くすることができる。
In addition, the
With this configuration, the
また、領域処理部143は、前記外接領域の隅の座標差が予め定められた画素数M以下である場合、前記被写体領域を統合する(例えば、図2を参照)。
この構成により、領域処理部143は、前記外接領域の隅の座標差が予め定められた画素数以下である場合、前記被写体領域を統合する。これにより、領域抽出装置140は、主要被写体の領域に合焦させるための処理時間を短くすることができる。
In addition, the
With this configuration, the
また、領域処理部143は、第1特徴量(例えば、色情報(色差、色相))に基づいて抽出された前記被写体領域に外接する第1外接領域(例えば、色差矩形領域400)の隅の座標と、第2特徴量(例えば、輝度)に基づいて抽出された前記被写体領域に外接する第2外接領域(例えば、輝度矩形領域410)の隅の座標とに基づいて、前記第2特徴量に基づいて抽出された前記被写体領域を、前記第1特徴量に基づいて抽出された前記被写体領域に統合する(例えば、図3を参照)。
この構成により、領域処理部143は、第1外接領域の隅の座標と、第2外接領域の隅の座標とに基づいて、前記第2特徴量に基づいて抽出された前記被写体領域を、前記第1特徴量に基づいて抽出された前記被写体領域に統合する。これにより、領域抽出装置140は、主要被写体の領域に合焦させるための処理にかかる時間を短くすることができる。
Further, the
With this configuration, the
また、領域処理部143は、前記第1外接領域(例えば、色差矩形領域400)に前記第2外接領域(例えば、輝度矩形領域410)が包含されており、且つ、前記第1外接領域及び前記第2外接領域の隅の座標差が、予め定められた画素数L以上である場合、前記第2特徴量に基づいて抽出された被写体領域のうち、前記隅の座標差が予め定められた画素数L以上である前記第2外接領域に内接する前記第2特徴量に基づいて抽出された被写体領域を、前記第1外接領域に内接する前記第1特徴量に基づいて抽出された被写体領域に統合する(例えば、図3を参照)。
この構成により、領域処理部143は、前記第1外接領域に前記第2外接領域が包含されており、且つ、前記第1外接領域及び前記第2外接領域の隅の座標差が、予め定められた画素数L以上である場合、被写体領域を統合する。これにより、領域抽出装置140は、主要被写体の領域に合焦させるための処理にかかる時間を短くすることができる。
In addition, the
With this configuration, the
また、領域処理部143は、前記第2外接領域(例えば、輝度矩形領域500)に前記第1外接領域(例えば、色差矩形領域510、色差矩形領域520、色差矩形領域530、色差矩形領域540)が包含されており、且つ、前記第2外接領域及び前記第1外接領域の隅の座標差が、予め定められた画素数L以上である場合、前記第2特徴量に基づいて抽出された被写体領域(例えば、被写体領域310)と前記第1特徴量に基づいて抽出された被写体領域(例えば、被写体領域370)とが重複する部分を、前記第2特徴量に基づいて抽出された被写体領域から分割する(例えば、図4及び図5を参照)。
この構成により、領域抽出装置140は、前記第2外接領域に前記第1外接領域が包含されており、且つ、前記第2外接領域及び前記第1外接領域の隅の座標差が、予め定められた画素数L以上である場合、被写体領域を分割する。これにより、領域抽出装置140は、主要被写体の領域を画像から抽出し、主要被写体の領域に合焦させるための処理時間を短くすることができる。
In addition, the
With this configuration, the
また、撮像装置100は、領域抽出装置140と、前記領域抽出装置により抽出された被写体領域のうち、優先度が高い領域に合焦させるよう焦点を調節するCPU190と、前記優先度が高い領域に合焦した状態の前記画像を撮像する撮像部110と、を備える。
この構成により、領域抽出装置140は、主要被写体の領域に合焦させるための処理時間を短くする。これにより、撮像装置100は、領域抽出装置140が短時間で合焦させた主要被写体の領域を撮像することができる。
In addition, the
With this configuration, the
[第2実施形態]
第2実施形態では、統合により残った被写体領域が主要被写体の領域の候補として優先的に選択される点が、第1実施形態と相違する。以下では、第1実施形態との相違点についてのみ説明する。
[Second Embodiment]
The second embodiment is different from the first embodiment in that the subject area remaining after the integration is preferentially selected as a candidate for the main subject area. Only the differences from the first embodiment will be described below.
異なる特徴量に基づいて抽出された被写体領域同士が統合される(例えば、図7のステップSa9を参照)ということは、それら統合された被写体領域同士が、同様の位置及び形状(例えば、図2を参照)になっているということである。したがって、統合により残った被写体領域は、主要被写体の領域である可能性が高い。一方、他の被写体領域と統合されない被写体領域は、主要被写体以外の領域である可能性が高い。したがって、他の被写体領域と統合されない被写体領域を、主要被写体の領域の候補とすることは、主要被写体以外の領域に合焦させてしまう可能性を高くしてしまうことになる。 The subject areas extracted based on different feature quantities are integrated (for example, see step Sa9 in FIG. 7). This means that the integrated subject areas have the same position and shape (for example, FIG. 2). That is). Therefore, there is a high possibility that the subject area remaining after the integration is the main subject area. On the other hand, a subject region that is not integrated with other subject regions is likely to be a region other than the main subject. Therefore, setting a subject area that is not integrated with another subject area as a candidate for the main subject area increases the possibility of focusing on an area other than the main subject.
以下、主要被写体の領域の候補数Nrdは、一例として、値3に予め定められているものとして説明を続ける。なお、主要被写体の領域の候補数Nrdを示す情報は、例えば、記憶部160(図1を参照)に予め記憶されていてもよい。 Hereinafter, the description will be continued assuming that the candidate number N rd of the main subject region is set to a value of 3 as an example. Note that the information indicating the candidate number N rd of the main subject region may be stored in advance in the storage unit 160 (see FIG. 1), for example.
領域処理部143は、抽出された被写体領域を統合した場合、主要被写体の領域の候補数Nrdを、他の被写体領域に統合された被写体領域の数Nに応じて削減する。例えば、領域処理部143は、主要被写体の領域の候補数Nrdを、他の被写体領域に統合された被写体領域の数Nに応じて、値「Nrd−(N−1)」まで削減する。具体的な例については、図8を用いて後述する。なお、「Nrd−(N−1)」は、主要被写体の領域の候補数Nrdの削減を示す式の一例である。
When the extracted subject areas are integrated, the
領域抽出部142は、領域処理部143が選択した、優先度が上位Nrd個の被写体領域を、AF評価領域に合うよう矩形に整形する(例えば、図7のステップSa10を参照)。主要被写体の領域の候補数Nrdが削減されているので、領域抽出部142は、優先度が上位Nrd個の被写体領域を、短時間で整形することができる。また、主要被写体の領域の候補数Nrdが削減されているので、CPU190は、削減されたNrd個の被写体領域のうち、至近に在る被写体が撮像されている被写体領域を優先して、その被写体領域に短時間に合焦させることができる(例えば、図7のステップSa12を参照)。
The
また、領域処理部143は、統合して残った被写体領域の優先度(順位)を、その残った被写体領域に統合された他の被写体領域の数Nに応じて上げてもよい。ここで、領域処理部143は、統合して残った被写体領域の優先度の評価点に、その残った被写体領域に統合された他の被写体領域の数Nに応じた点数を加点する。統合して残った被写体領域は、その優先度の評価点に加点されることにより、例えば、優先度4から優先度3に優先度が上げられるので、他の被写体領域と比較して、優先度が上位の被写体領域となることもある。
Further, the
図8は、統合により残った被写体領域を優先的に選択する処理の例を説明するための図である。図8では、輝度に基づいて、一例として、被写体領域310が2値化画像300Y−1から抽出され、被写体領域320が2値化画像300Y−2から抽出され、被写体領域383が2値化画像300Y−3から抽出されたとする。
FIG. 8 is a diagram for explaining an example of processing for preferentially selecting a subject area remaining after integration. In FIG. 8, based on the luminance, for example, the
また、図8では、色差(Cr)に基づいて、一例として、被写体領域381が2値化画像300Cr−1から抽出され、被写体領域340が2値化画像300Cr−3から抽出されたとする。また、図8では、色差(Cb)に基づいて、一例として、被写体領域382が2値化画像300Cr−1から抽出されたとする。
In FIG. 8, it is assumed that, as an example, the
以下、各被写体領域が抽出された初期状態では、一例として、被写体領域340は優先度1(順位1)、被写体領域310は優先度2(順位2)、被写体領域381は優先度3(順位3)、被写体領域382は優先度4(順位4)、被写体領域320は優先度5(順位5)、被写体領域383は優先度6(順位6)であるものとして説明を続ける。
Hereinafter, in an initial state where each subject area is extracted, for example, the
また、領域処理部143は、抽出された被写体領域のうち、一例として、被写体領域381及び被写体領域382を、被写体領域310に統合したとする。以下、被写体領域381及び被写体領域382を統合して残った被写体領域310を、「被写体領域310a」という。ここで、被写体領域310aの優先度は、被写体領域310の優先度2のままでもよい。
Further, it is assumed that the
領域処理部143は、予め定められた個数(例えば、3個)以上の被写体領域が統合された被写体領域を、優先度にかかわらず選択する。図8では、領域処理部143は、統合して残った被写体領域310aを、優先度にかかわらず選択する。
The
また、領域処理部143は、主要被写体の領域の候補数Nrd=3を、被写体領域310aに統合された被写体領域の数N=2に応じて、値2(=Nrd−(N−1))まで削減する。領域処理部143は、被写体領域310aを含めて合計数がNrd=2個となるまで、他の被写体領域を、優先度の上位順に選択する。図8では、領域処理部143は、優先度にかかわらず選択した被写体領域310aと、優先度に応じて選択した被写体領域340(優先度1)との合計2個の被写体領域を選択する。このようにして、領域処理部143は、領域抽出部142により抽出された被写体領域の位置関係に基づいて、被写体領域を選択する。
In addition, the
なお、領域処理部143は、全ての被写体領域を対象に、被写体領域の合計数がNrd=2個となるまで、優先度の上位順に被写体領域を選択してもよい。また、領域処理部143は、統合して残った被写体領域310a(優先度2)のみを、主要被写体の領域の候補として選択してもよい。
Note that the
また、領域処理部143は、統合して残った被写体領域310aの優先度を、被写体領域310aに統合された被写体領域(図8では、被写体領域381及び被写体領域382)の数に応じて上げてもよい。領域処理部143は、被写体領域310aの優先度の評価点に、被写体領域310aに統合された被写体領域の数(=2)に応じた点数、例えば、2点を加点する。
Further, the
領域処理部143は、被写体領域310aの優先度の評価点に、2点を加点したことにより、被写体領域310aの優先度2を、優先度1に上げる。これに伴い、領域処理部143は、被写体領域340の優先度1を、例えば、優先度2に下げる。また、領域処理部143は、他の被写体領域についても同様に優先度を下げてもよい。
The
領域処理部143は、優先度が変更された被写体領域を、優先度の上位順にNrd=2個まで選択する。図8では、領域処理部143は、被写体領域310a(新たな優先度1)と、被写体領域340(新たな優先度2)とを選択する。このようにして、領域処理部143は、領域抽出部142により抽出された被写体領域の位置関係に基づいて、被写体領域を選択する。
The
以上のように、領域処理部143は、前記被写体領域を統合した場合、予め定められた数(例えば、3個)以上の被写体領域が統合された前記被写体領域(例えば、被写体領域310a)を、主要被写体の領域の候補として選択する。これにより、領域抽出装置140は、主要被写体の領域を確実に選択して、その主要被写体の領域に合焦させるための処理時間を短くすることができる。
As described above, the
領域処理部143は、前記被写体領域を統合した場合、主要被写体の領域の候補数Nrdを、他の被写体領域に統合された前記被写体領域の数Nに応じて削減する。これにより、領域抽出装置140は、AF評価領域に合うよう矩形に整形する(図7のステップSa10を参照)被写体領域の数を少なくして、主要被写体の領域に合焦させるための処理時間を短くすることができる。
When the subject areas are integrated, the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
また、上記に説明した領域抽出装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。 Further, by recording a program for realizing the region extraction device and the imaging device described above on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium, Execution processing may be performed. Here, the “computer system” may include an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
100…撮像装置、110…撮像部、111…レンズ鏡筒、140…領域抽出装置、141…特徴量算出部、142…領域抽出部、143…領域処理部、144…優先度設定部
DESCRIPTION OF
Claims (12)
前記領域抽出部により抽出された前記被写体領域の位置関係に基づいて、前記被写体領域を選択する領域処理部と、
を備えることを特徴とする領域抽出装置。 A region extraction unit that extracts a subject region based on a feature amount from a captured image;
An area processing unit that selects the subject area based on the positional relationship of the subject areas extracted by the area extraction unit;
An area extracting apparatus comprising:
前記領域処理部は、前記外接領域の隅の座標に基づいて、前記被写体領域を統合又は分割することを特徴とする請求項2又は請求項3に記載の領域抽出装置。 The region extraction unit generates a circumscribed region that is a region circumscribing the subject region,
4. The area extracting apparatus according to claim 2, wherein the area processing unit integrates or divides the subject area based on corner coordinates of the circumscribed area.
前記領域抽出装置により抽出された被写体領域のうち、優先度が高い領域に合焦させるよう焦点を調節する焦点調節部と、
前記優先度が高い領域に合焦した状態の画像を撮像する撮像部と、
を備えることを特徴とする撮像装置。 The region extraction device according to any one of claims 1 to 10,
A focus adjusting unit that adjusts the focus so as to focus on a high priority area among the subject areas extracted by the area extracting device;
An imaging unit that captures an image focused on the high priority area;
An imaging apparatus comprising:
撮像された画像から特徴量に基づいて被写体領域を抽出する手順と、
抽出された前記被写体領域の位置関係に基づいて、前記被写体領域を選択する手順と、
を実行させるための領域抽出プログラム。 On the computer,
A procedure for extracting a subject area based on a feature amount from a captured image;
A procedure for selecting the subject area based on the positional relationship of the extracted subject areas;
Extraction program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160494A JP2013048405A (en) | 2011-07-22 | 2012-07-19 | Area extraction device, imaging device, and area extraction program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011160755 | 2011-07-22 | ||
JP2011160755 | 2011-07-22 | ||
JP2012160494A JP2013048405A (en) | 2011-07-22 | 2012-07-19 | Area extraction device, imaging device, and area extraction program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017128690A Division JP2017201818A (en) | 2011-07-22 | 2017-06-30 | Area extraction device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013048405A true JP2013048405A (en) | 2013-03-07 |
Family
ID=48011148
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012160494A Pending JP2013048405A (en) | 2011-07-22 | 2012-07-19 | Area extraction device, imaging device, and area extraction program |
JP2017128690A Pending JP2017201818A (en) | 2011-07-22 | 2017-06-30 | Area extraction device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017128690A Pending JP2017201818A (en) | 2011-07-22 | 2017-06-30 | Area extraction device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2013048405A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015125609A (en) * | 2013-12-26 | 2015-07-06 | 株式会社ケンシュー | Image processing method, image processing program, image processing device and industrial product |
JP2015149570A (en) * | 2014-02-05 | 2015-08-20 | 株式会社ニコン | Image processing apparatus, imaging apparatus and image processing program |
JP2015149571A (en) * | 2014-02-05 | 2015-08-20 | 株式会社ニコン | Image processing apparatus, imaging apparatus and image processing program |
JP2018060567A (en) * | 2017-11-24 | 2018-04-12 | 株式会社ニコン | Image processing apparatus |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11120331A (en) * | 1997-10-08 | 1999-04-30 | Sanyo Electric Co Ltd | Method and device for marker area acquisition and area dividing device |
JP2000172849A (en) * | 1998-12-09 | 2000-06-23 | Fujitsu Ltd | Picture processor and pattern extracting device |
JP2005293367A (en) * | 2004-04-01 | 2005-10-20 | Seiko Epson Corp | Image processing method and device |
JP2007110638A (en) * | 2005-10-17 | 2007-04-26 | Nikon Corp | Object analyzing apparatus, imaging apparatus, and image processing program |
JP2011019177A (en) * | 2009-07-10 | 2011-01-27 | Nikon Corp | Program for specify subject position, and camera |
-
2012
- 2012-07-19 JP JP2012160494A patent/JP2013048405A/en active Pending
-
2017
- 2017-06-30 JP JP2017128690A patent/JP2017201818A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11120331A (en) * | 1997-10-08 | 1999-04-30 | Sanyo Electric Co Ltd | Method and device for marker area acquisition and area dividing device |
JP2000172849A (en) * | 1998-12-09 | 2000-06-23 | Fujitsu Ltd | Picture processor and pattern extracting device |
JP2005293367A (en) * | 2004-04-01 | 2005-10-20 | Seiko Epson Corp | Image processing method and device |
JP2007110638A (en) * | 2005-10-17 | 2007-04-26 | Nikon Corp | Object analyzing apparatus, imaging apparatus, and image processing program |
JP2011019177A (en) * | 2009-07-10 | 2011-01-27 | Nikon Corp | Program for specify subject position, and camera |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015125609A (en) * | 2013-12-26 | 2015-07-06 | 株式会社ケンシュー | Image processing method, image processing program, image processing device and industrial product |
JP2015149570A (en) * | 2014-02-05 | 2015-08-20 | 株式会社ニコン | Image processing apparatus, imaging apparatus and image processing program |
JP2015149571A (en) * | 2014-02-05 | 2015-08-20 | 株式会社ニコン | Image processing apparatus, imaging apparatus and image processing program |
JP2018060567A (en) * | 2017-11-24 | 2018-04-12 | 株式会社ニコン | Image processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2017201818A (en) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6288952B2 (en) | Imaging apparatus and control method thereof | |
JP6271990B2 (en) | Image processing apparatus and image processing method | |
US20150208001A1 (en) | Imaging device, imaging method, and program | |
US8971662B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP2017201818A (en) | Area extraction device | |
JP2007142965A (en) | Imaging apparatus, screen display method, focus adjusting method, exposure adjusting method, and computer program | |
JP6752685B2 (en) | Imaging equipment, imaging methods and programs | |
JP2009111716A (en) | Imaging apparatus, program and template generating method | |
JP6156532B2 (en) | Region extraction device, imaging device, and region extraction program | |
JP5786460B2 (en) | Region extraction device, imaging device, and region extraction program | |
JP6645711B2 (en) | Image processing apparatus, image processing method, and program | |
JP5871175B2 (en) | Region extraction device, imaging device, and region extraction program | |
JP5673454B2 (en) | Image processing apparatus, image processing method, and program | |
JP5899693B2 (en) | Region extraction device, imaging device, and region extraction program | |
JP2013042201A (en) | Image processing apparatus, imaging apparatus, and program | |
JP5888069B2 (en) | Area determination apparatus, imaging apparatus, and area determination program | |
JP6157238B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP5899700B2 (en) | Region extraction device, imaging device, and region extraction program | |
US20200077032A1 (en) | Image processing apparatus and electronic apparatus | |
JP6350562B2 (en) | Region extraction device, imaging device, and region extraction program | |
JP6131519B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP6003974B2 (en) | Image processing apparatus, image processing method, and program | |
JP6508259B2 (en) | Imaging device and program | |
JP6248662B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP2019126090A (en) | Imaging apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161003 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170404 |