JP2011019176A

JP2011019176A - カメラ

Info

Publication number: JP2011019176A
Application number: JP2009163856A
Authority: JP
Inventors: Hiroyuki Abe; 啓之阿部
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-07-10
Filing date: 2009-07-10
Publication date: 2011-01-27

Abstract

【課題】撮影時、顔を検出し、画面上にＡＦ枠として重畳して表示された顔検出枠を消去する。
【解決手段】被写体像を撮像して画像を取得する撮像手段と、前記撮像手段によって取得した前記画像上に、撮影画面内における測距センサの配置位置を示すＡＦ枠を重畳して表示し、制御装置は、ＡＦ枠の枠線が位置している画素を、その隣接画素を用いて置き換えることによって、前記画像上に表示されたＡＦ枠を消去する消去手段とを備える。
【選択図】図１

Description

本発明は、カメラに関する。

次のような表示装置が知られている。この表示装置は、ファインダ視野内の被写体像に標識を重ねて表示する（例えば、特許文献１）。

特開２００７−４７７６９号公報

しかしながら、従来の表示装置のように、ファインダ視野内の被写体像に標識を重ねて表示した場合には、表示された標識によって被写体が隠れてしまい、顔検出等を行う場合に問題が生じるが、これを解決する方法については検討されていなかった。

本発明によるカメラは、被写体像を撮像して画像を取得する撮像手段と、撮像手段によって取得した画像上に重畳して表示される情報を、情報が表示された画素を、その隣接画素を用いて置き換えることによって、画像上に表示された情報を消去する消去手段とを備えることを特徴とする。
本発明では、情報は、撮影画面内における測距センサの配置位置を示す情報であってもよい。
消去手段によって情報が消去された複数の画像を合成する合成手段をさらに備えるようにしてもよい。
合成手段は、複数の画像の１つをテンプレート画像として用いて他の画像とのテンプレートマッチングを行い、テンプレートマッチングの結果に基づいて、複数の画像の合成時の位置合わせを行うようにしてもよい。

本発明によれば、画像に重畳して表示される情報を消去することができる。

カメラの一実施の形態の構成を示すブロック図である。撮影画面内におけるＡＦ枠の表示例を示す図である。顔検出枠の表示例を示す図である。顔の特徴点とＡＦ枠とが重なった場合の具体例を示す図である。第１の実施の形態におけるＡＦ枠の隣接画素を用いた消去方法を模式的に示した図である。第１の実施の形態におけるＡＦ枠消去後の顔検出結果を示す図である。第１の実施の形態に示す処理を行っても顔検出ができない場合の具体例を示す図である。第２の実施の形態においてＡＦ枠消去後の画像からテンプレート画像を抽出した場合の具体例を示す図である。第２の実施の形態における画像の合成例を示した図である。第２の実施の形態におけるＡＦ枠消去後の顔検出結果を示す図である。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、モニタ１０６上に表示されるスルー画（撮影画面）上に、測距センサの配置位置に対応した枠（ＡＦ枠）を重畳して表示する。例えば、撮影画面上には、図２に示すように５１個のＡＦ枠が表示される。本実施の形態におけるカメラ１００では、この５１個のＡＦ枠の中から、制御装置１０４が公知のＡＦ処理を行って選択した１つのＡＦ枠、あるいは使用者によって指定された１つのＡＦ枠に対応する測距センサの測距情報を用いて、焦点調節を行う。

また、本実施の形態のカメラ１００は、顔検出機能を備えており、制御装置１０４は、撮影画面内を対象として公知の顔検出処理を実行することにより、撮影画面内に存在する人物の顔を検出することができる。例えば、制御装置１０４は、図３に示すように、検出した顔を含む領域を顔検出枠３ａで囲んでスルー画上に表示することにより、使用者に顔の検出結果を明示する。また、制御装置１０４は、検出した顔をフレーム間で追尾することにより、スルー画表示中に被写体追尾を行ったり、検出した顔の近くに位置するＡＦ枠を自動的に選択して焦点調節を行ったりすることもできる。

一般的に、撮影画面内における顔検出は、撮影画面内から目や口等の顔の特徴点を抽出し、その特徴点の位置関係に基づいて、それが人物の顔であるか否かを判定することにより行われる。この場合、本実施の形態におけるカメラ１００のように、撮影画面上にＡＦ枠を表示した場合には、図４に示すように、人物の目や口等の特徴点がＡＦ枠４ａの表示位置と重なってしまうと、制御装置１０４は、顔の特徴点を検出できず、人物の顔を正確に検出できない可能性がある。第１の実施の形態では、制御装置１０４は、このような問題点を解決するために、以下のように処理を行う。

なお、以下に示す処理は、撮影画面内の画像を顔検出用画像としてバッファメモリに記録してから当該顔検出用画像を対象として行うものとし、モニタ１０６に表示されているスルー画には影響を与えない。すなわち、以下の処理を行っている間も、モニタ１０６には図２に示したＡＦ枠が表示された撮影画面が継続して表示される。

制御装置１０４は、顔検出用画像内の全てのＡＦ枠４ａを対象として、ＡＦ枠４ａの枠線が位置している画素を隣接画素を用いて置き換えることによってＡＦ枠４ａを消去し、ＡＦ枠４ａで隠れている画素を補間する。例えば、ＡＦ枠４ａの枠線の幅が２画素である場合には、図５（ａ）に示すように、ＡＦ枠４ａは、縦方向の枠線を構成する画素５ａおよび５ｂと、横方向の枠線を構成する画素５ｃおよび５ｄによって構成される。

制御装置１０４は、これらの画素のうち、縦方向の枠線を構成する画素５ａおよび５ｂについては、図５（ｂ）に示すように画素の置き換えを行う。すなわち、制御装置１０４は、画素５ａは、当該画素５ａの右側に隣接する画素５ｅを用いて置き換えを行い、画素５ｂは、当該画素５ｂの左側に隣接する画素５ｆを用いて置き換えを行う。また、制御装置１０４は、横方向の枠線を構成する画素５ｃおよび５ｄについては、図５（ｃ）に示すように画素の置き換えを行う。すなわち、制御装置１０４は、画素５ｃは、当該画素５ｃの上側に隣接する画素５ｇを用いて置き換えを行い、画素５ｄは、当該画素５ｄの下側に隣接する画素５ｈを用いて置き換えを行う。

以上の処理によって、図４に示したように人物の目がＡＦ枠４ａと重なっていた場合でも、図６に示すように隣接画素を用いてＡＦ枠４ａを消去して、ＡＦ枠４ａで隠れていた目の部分６ａに相当する画素を補間することができる。そして、その結果、制御装置１０４は、顔検出処理により人物の顔を検出して、検出枠３ａをスルー画上に表示することができる。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、ＡＦ枠４ａの枠線が位置している画素を隣接画素を用いて置き換えることによってＡＦ枠４ａを消去するようにした。これによって、ＡＦ枠４ａが顔の特徴点と重なっている場合でも、ＡＦ枠４ａを消去するとともにＡＦ枠４ａで隠れていた目の部分６ａに相当する画素を補間して、顔検出を可能にすることができる。

（２）撮影画面内に重畳表示されるのは、測距センサの配置位置を示すＡＦ枠であるものとした。これによって、このように撮影画面内の固定位置に配置される情報によって顔の特徴部分が隠れてしまう可能性が高いことを加味して、顔検出の妨げになる情報を効果的に消去することができる。

―第２の実施の形態―
上述した第１の実施の形態では、制御装置１０４は、顔検出用画像内の全てのＡＦ枠４ａを対象として、隣接画素を用いた置き換えを行ってＡＦ枠４ａを消去する例について説明した。この場合、隣接画素を用いてＡＦ枠４ａで隠れていた顔の特徴点が、顔検出が可能な程度にまで補間可能であれば問題はないが、ＡＦ枠４ａによって顔の特徴点が完全に隠れてしまっている場合等、単に隣接画素を用いた置き換えを行っただけでは、顔の特徴点を顔検出が可能な程度にまで補間することができない場合もある。

例えば、顔検出を行って図７（ａ）に示すように顔検出枠３ａを表示させたい場合について説明する。この場合、図７（ｂ）に示すように、ＡＦ枠４ａによって顔の特徴点である目や口のほとんどの部分が隠れてしまっている場合には、第１の実施の形態で上述した方法を用いてＡＦ枠４ａを消去しても、図７（ｃ）に示すように、目や口がつぶれてしまう可能性が高い。この場合には、制御装置１０４は、顔の特徴点を検出することができず、顔検出を行うことができない。

よって、第２の実施の形態では、このような場合にも顔検出を行えるようにするための処理について説明する。なお、第２の実施の形態では、図１〜図４の各図は、第１の実施の形態と同様のため説明を省略する。

第２の実施の形態では、制御装置１０４は、ＡＦ処理を行って、いずれかのＡＦ枠４ａに対応する測距センサの測距情報を用いて焦点調節を行う。ここでは、例えば図７（ｂ）に示したＡＦ枠４ａに対応する測距センサの測距情報を用いて焦点調節を行うものとする。そして、このときに用いたＡＦ枠４ａを対象として、上述した第１の実施の形態における方法により撮影画面内のＡＦ枠を消去する。

その後、当該ＡＦ枠４ａ内の画像を含む所定範囲の大きさの画像を抽出する。これによって、図８に示すように、図７（ｃ）に示した撮影画面内から領域８ａ内の画像が抽出される。制御装置１０４は、抽出した画像８ａをテンプレートとして用いて、所定フレーム後、例えば３フレーム後の画像とのテンプレートマッチングを行って３フレーム後の画像の中からテンプレート画像８ａとの類似度が高い領域を特定し、当該領域内の画像を抽出する。これにより、例えば、図９に示すように、３フレーム後（４枚目）の画像内から領域９ａ内の画像が抽出される。

制御装置１０４は、抽出した領域９ａ内の画像に対して、上述した第１の実施の形態における方法により撮影画面内のＡＦ枠を消去する。そして、制御装置１０４は、図８に示した画像における領域８ａ内の画像と、領域９ａ内の画像との対応画素の画素値を加算して合成することにより図１０に示す画像を生成する。このとき、制御装置１０４は、テンプレートマッチングの結果に基づいて、領域８ａ内の画像と領域９ａ内の画像との位置合わせを行って両画像を合成する。

このように、図８（＝図７（ｃ））に示す撮影画面内では、第１の実施の形態による方法を用いると顔の特徴点がつぶれてしまう場合であっても、所定フレーム後に撮影画面内での被写体位置が変化していれば、このフレームでは第１の実施の形態による方法を用いて顔の特徴点が検出可能になる可能性がある。このため、図１０に示すような合成後の画像を対象として顔検出処理を行えば、顔検出を行って顔検出枠３ａを表示できる可能性が高くなる。

以上説明した第２の実施の形態によれば、以下のような効果を得ることができる。
（１）第１の実施の形態による方法を用いると顔の特徴点がつぶれてしまう場合であっても、所定フレーム後に撮影画面内での被写体位置が変化していれば、このフレームでは第１の実施の形態による方法を用いて顔の特徴点が検出可能になる可能性が高くなるため、これを加味して、領域８ａと９ａとを合成することにより、顔検出を可能にすることができる。

（２）制御装置１０４は、テンプレートマッチングの結果に基づいて領域８ａ内の画像と領域９ａ内の画像との位置合わせを行って両画像を合成するようにした。これによって、領域８ａ内の画像と領域９ａ内の画像とを精度高く位置合わせして合成することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、制御装置１０４は、顔検出用画像を対象として処理を行ってＡＦ枠４ａを消去する例について説明した。この場合、制御装置１０４は、撮影画面内を対象として顔検出処理を実行した結果、顔が検出できなかった場合にのみ、上述した第１の実施の形態の処理を行うようにしてもよい。

（２）また、第２の実施の形態における処理については、第１の実施の形態に示した方法でＡＦ枠４ａを消去した後に顔検出処理を試み、それでも顔が検出できない場合に第２の実施の形態の処理を実行するようにしてもよい。

（３）第１の実施の形態に示した方法、または第２の実施の形態に示した方法のいずれの方法を採用するかは、あらかじめ設定されていてもよいし、使用者が任意に変更できるようにしてもよい。

（４）上述した第１の実施の形態では、顔検出用画像内の全てのＡＦ枠４ａを対象として、ＡＦ枠４ａの枠線が位置している画素を隣接画素を用いて置き換えることによってＡＦ枠４ａを消去する例について説明した。しかしながら、撮影画面内に撮影情報等を示す文字やアイコンが表示されている場合に、これらを消去しないと顔の特徴点を検出できない場合にも本発明は適用可能である。

（５）上述した第１および第２の実施の形態では、本発明をカメラ１００に適用する場合について説明した。しかしながら、撮影機能を備えた他の機器、例えばカメラ付き携帯電話機やビデオカメラ等にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００カメラ、１０１操作部材、１０２レンズ、１０３撮像素子、１０４制御装置、１０５メモリカードスロット、１０６モニタ

Claims

被写体像を撮像して画像を取得する撮像手段と、
前記撮像手段によって取得した前記画像上に重畳して表示される情報を、前記情報が表示された画素を、その隣接画素を用いて置き換えることによって、前記画像上に表示された前記情報を消去する消去手段とを備えることを特徴とするカメラ。
請求項１に記載のカメラにおいて、
前記情報は、撮影画面内における測距センサの配置位置を示す情報であることを特徴とするカメラ。
請求項１または２に記載のカメラにおいて、
前記消去手段によって前記情報が消去された複数の画像を合成する合成手段をさらに備えることを特徴とするカメラ。
請求項３に記載のカメラにおいて、
前記合成手段は、前記複数の画像の１つをテンプレート画像として用いて他の画像とのテンプレートマッチングを行い、前記テンプレートマッチングの結果に基づいて、前記複数の画像の合成時の位置合わせを行うことを特徴とするカメラ。