JP2018014699A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】 撮影者の特定の表情検出した場合に、好適な画像を記録する撮像装置を提供する。【解決手段】 撮像装置は、第１の撮像手段と第２の撮像手段を有し、第１の撮像手段から得られた画像データから、第１の条件を満たす被写体が検出された場合には、第１の撮像手段から得られた第１の数の画像データを記録し、第１の撮像手段から得られた画像データから、第１の条件を満たす被写体が検出されずに、第２の撮像手段から得られた画像データから、第１の条件を満たす被写体が検出された場合には、第１の撮像手段から得られた第１の数よりも多い第２の数の画像データを記録する。【選択図】 図１

Description

本発明は、画像から所定の条件を満たす被写体を検出すると自動で撮像した画像を記録する撮像装置およびその制御方法に関する。

近年、カメラやビデオカメラといった撮像装置では、撮影画像から人物の顔を検出し、検出された顔領域に対して自動でフォーカスを合わせて撮影するものや、人物の特定の表情（例えば、笑顔）を検出すると自動で撮影するものが普及している。

また、携帯電話やタブレットＰＣなどでは、撮影者本人が画面を見ながら自身を記録する、いわゆる自撮りを容易にするために、通常の撮影画像を記録するカメラ部に対面する位置にもう一つのカメラ部を備えたものが多くなっている。

特許文献１には、互いに逆方向を向くことで被写体と撮影者を撮像できる２つのカメラ部を備え、２つのカメラ部から得られたそれぞれの画像に含まれる顔が特定の表情になったか否かを判定し、判定結果に応じて画像を記録する構成が開示されている。

具体的には、それぞれのカメラ部で撮像した画像から検出した顔が、ある特定の表情となった際に撮影を行なうものであって、いずれか一方、もしくは、両方の顔が笑顔であることが検出できた場合に、その笑顔の被写体を含む画像を記録する。

特開２０１１−０５５２５１号公報

しかしながら、撮影者を笑顔にする出来事が起きるのと同時に撮影者が笑顔になるとは限らず、このような出来事が終わってから撮影者が笑顔になるケースも少なくない。そのため、撮影者の笑顔を検出したことに応じて、そのときに撮像された被写体の画像を記録する構成の場合には、必ずしも撮影者の望むシーンが記録できるとは限らない。

本発明は上述した問題を解決するためのものであり、撮影者の特定の表情検出した場合に、好適な画像を記録できるようにする撮像装置を提供することを目的とする。

上記課題を解決するため、本願請求項１に記載の撮像装置は、第１の撮像手段と、第１の撮像手段が撮像する方向と異なる方向を撮像する第２の撮像手段と、第１の撮像手段および第２の撮像手段のそれぞれから得られた画像データから、第１の条件を満たす被写体を検出する検出手段と、第１の撮像手段から得られた画像データから、第１の条件を満たす被写体が検出された場合には、第１の撮像手段から得られた第１の数の画像データを記録し、第１の撮像手段から得られた画像データから、第１の条件を満たす被写体が検出されずに、第２の撮像手段から得られた画像データから、第１の条件を満たす被写体が検出された場合には、第１の撮像手段から得られた第１の数よりも多い第２の数の画像データを記録する制御手段を有し、第１の撮像手段から得られた第２の数の画像データは、第１の条件を満たす被写体が検出された画像データよりも前に撮像された画像データを含むことを特徴とする。

本発明によれば、撮影者の特定の表情検出した場合に、好適な画像を記録する撮像装置を提供することができる。

本発明の実施形態に係る撮像装置１００のブロック図である。 本発明の実施形態に係る撮像装置１００の外観図である。 本発明の実施形態に係るフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の本実施形態に係る撮像装置１００のハードウェアブロック図である。

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１は、撮像装置１００のメインメモリであり、撮影画像データや、後述する画像処理を施した画像データ等を一時的に保持する。データバス１０２は、各回路がＤＲＡＭ１０１へアクセスするためのバスである。

第１のレンズユニット１０３は、撮影者がメインとして被写体を撮影するためのレンズを含むレンズユニットである。第１の撮像素子１０４は、第１のレンズユニット１０３を介して入射した光を電気信号に変換するＣＣＤやＣＭＯＳセンサなどで構成された撮像素子であり、変換した電気信号をさらにデジタルデータに変換してＤＲＡＭ１０１へ送信する。第２レンズユニット１０５は、第１のレンズユニット１０３と反対方向を向くレンズユニットであり、第１のレンズユニット１０３が被写体に向けられた場合に、第２のレンズユニット１０５は撮影者を向くように配置される。第２の撮像素子１０６は、第２のレンズユニット１０５を介して入射した光を電気信号に変換するＣＣＤやＣＭＯＳセンサなどで構成された撮像素子であり、変換した電気信号をさらにデジタルデータに変換してＤＲＡＭ１０１へ送信する。

信号処理回路１０７は、第１の撮像素子１０４および第２の撮像素子１０６によって生成され、ＤＲＡＭ１０１へ一時的に保持された撮像データを読み出し、ノイズリダクション、現像処理、画像補正処理、および、リサイズ等の画像処理を行う。顔検出回路１０８は、カメラ信号処理部１０７によって生成された撮影画像データから人物の顔を検出する。

表情検出回路１０９は、前記顔検出部１０８によって抽出された人物の表情を検出する表情検出部である。モニター１１０は、ＬＣＤや有機ＥＬで構成され、ＤＲＡＭ１０１に一時的に保持されている画像データを読み込み、画像を表示する。メディアＩ／Ｆ１１１は、ＤＲＡＭ１０１に一時的に保持されている画像データを読み込み、この画像データを記録媒体２００へ書き込む。

制御バス１１２は、ＣＰＵ１１３が撮像装置１００の各ブロックへ制御指示を行うためのバスである。メインＣＰＵ１１３は、撮像装置１００全体を統括し、制御を行う。プログラムバス１１４は、ＣＰＵ１１３と、ＲＯＭ１１５、ＲＡＭ１１６、タイマー１１７および操作部１１８を接続する。ＲＯＭ１１５は、ＣＰＵ１１３が読み出して実行するためのプログラムを格納する。タイマー１１７はＣＰＵ１１３へ割り込み信号を発生させるためのもので、ＣＰＵ１１３へ経過時間や時刻を通知することが可能である。操作部１１８は、撮影者が撮像装置１００の動作指示を行うためのボタン、十字キーやタッチパネル等を供える。動画生成回路１１９は、ＤＲＡＭ１０１に保持された画像データより動画像を生成する。

図２は、本発明に係る撮像装置１００の外観図である。

撮影者がメインとして被写体を撮影するための第１のレンズユニット１０３が配置された面を撮像面とする。その撮像面に対して、反対側となるモニター１１０が配置された面を表示面とし、その表示面には主に撮影者を撮影するための第２のレンズユニット１０５が配置されている。撮像装置１００の上面にはシャッターボタン、表示面にはメニューを操作するための十字キー等の操作部１１８が配置されている。

次に、本実施形態における撮像装置の撮影動作について説明する。図３は撮像動作のフローチャートであり、ＣＰＵ１１３がＲＯＭ１１５から読み出したプログラムに従って図３に示すフローチャートを実行する。

ＣＰＵ１１３は、ユーザーによって所定の撮像モードが設定されると、本フローチャートに従って処理を開始する。

ステップＳ３０１において、ＣＰＵ１１３は第１のレンズユニット１０３、第１の撮像素子１０４、第２のレンズユニット１０５、および第２の撮像素子１０６に対して撮像を開始させ、連続的に画像データを生成する。

第１のレンズユニット１０３および第２のレンズユニット１０５を介して取り込まれた被写体像は、それぞれ第１の撮像素子１０４および第２の撮像素子１０６へ入力され、それぞれ画像データに変換される。これらの画像データはデジタルデータに変換され、第１の画像データおよび第２の画像データとしてＤＲＡＭ１０１に蓄積される。

信号処理回路１０７は、ＤＲＡＭ１０１に蓄積された第１および第２の画像データを読み出し、ノイズ除去、現像処理、画像補正処理、およびリサイズ等の画像処理を行ない、ＤＲＡＭ１０１へ再度蓄積する。

モニター１１０は、信号処理回路１０７によってＤＲＡＭ１０１へ再蓄積された第１お画像データを読み込み、これに基づく画像を表示する。あるいは、モニター１１０は、第１の画像データと第２の画像データの両方をＤＲＡＭ１０１から読み出し合成し、ＰｉｎＰ画像として表示する事もできる。

尚、本実施形態では、画像データの取り込みは、１／６０ｓｅｃ毎に行なわれるものとし、第１の画像データは６０枚、第２画像データは１枚だけ蓄積するものとする。よって、第２画像データは、１／６０ｓｅｃ毎に蓄積データが更新されるが、第１の画像データは、１ｓｅｃ前までの６０枚の画像データが蓄積されていることとなる。このとき、第１の画像データの最後の１枚を除いた残りの５９枚の画像データは、第２の画像データが撮像されるタイミングよりも前に撮像されて生成された画像データとなる。

ステップＳ３０２において、ＣＰＵ１１３はＤＲＡＭ１０１上の第１の画像データの蓄積量を判断する。信号処理回路１０７によって処理された第１の画像データがＤＲＡＭ１０１に６０枚以上ある場合は、ステップＳ３０４へ進み、無い場合は、ステップＳ３０１へ戻る。

ステップＳ３０３において、ＣＰＵ１１３は、顔検出回路に顔検出処理を行わせる。顔検出回路１０８は、ＤＲＡＭ１０１に信号処理回路１０７により処理された蓄積された第１の画像データおよび第２の画像データに対し顔検出処理を行う。第１および第２の画像データの双方から顔が検出された場合は、ステップ３０５へ進み、それ以外の場合は、ステップＳ３０１へ戻る。

ステップＳ３０４において、ＣＰＵ１１３は、表情検出回路１０９に、ＤＲＡＭ１０１に蓄積された第１の画像データに対して第１の条件を満たす被写体の検出処理を行わせる。ここで、第１の条件は、例えば笑顔であるとする。すなわち、表情検出回路１０９は第１の画像データから検出された顔領域に対して笑顔検出を行い、ＣＰＵ１１３はいずれかの画像から笑顔が検出された場合にはステップＳ３０８へ進み、検出されなかった場合にはステップＳ３０５に進む。

ステップＳ３０８において、ＣＰＵ１１３は、メディアＩ／Ｆ１１１に、ＤＲＡＭ１０１に蓄積された画像のうち、笑顔で判定された画像、もしくは、笑顔と判定された画像の直後に撮像されて得られた画像データを記録媒体２００に記録させる。そして、ＣＰＵはステップＳ３０９に進む。なお、笑顔と判定された画像が複数ある場合には、笑顔としての評価値が最も高い画像データを記録するようにすればよい。

ステップＳ３０５において、ＣＰＵ１１３は、表情検出回路１０９にＤＲＡＭ１０１に蓄積された第１の画像データに対して、第１の条件と異なる第２の条件を満たす被写体の検出処理を行わせる。ここで、第２の条件は、例えば泣き顔であるとする。すなわち、表情検出回路１０９は第１の画像データから検出された顔領域に対して泣き顔検出を行い、ＣＰＵ１１３は泣き顔が検出された場合にはステップＳ３０６へ進み、検出されなかった場合にはステップＳ３０１に戻る。

ステップＳ３０６において、ＣＰＵ１１３は、表情検出回路１０９に第２の画像データに対して第１の条件、すなわち笑顔の検出処理を行わせる。ＣＰＵ１１３は笑顔が検出された場合にはステップＳ３０７へ進み、検出されなかった場合にはステップＳ３０１に戻る。

ステップＳ３０７において、ＣＰＵ１１３は、メディアＩ／Ｆ１１１に、ＤＲＡＭ１０１に蓄積された画像のうち、笑顔と判定された第２の画像データと、この第２の画像データと並行して記憶された６０枚の第１の画像データを記録媒体２００に記録させる。なお、ステップＳ３０７にて記録する画像データは、ステップＳ３０８で記録する画像データと、記録媒体上の異なるフォルダ内に格納するようにしてもよい。また、画像データの記録とともに、第１の画像データおよび第２の画像データの表情の検出結果を負荷情報として記録しても良い。

ステップＳ３０９において、ＣＰＵ１１３は、撮影者から撮影を継続する旨を示す指示があるかを判定し、指示があればステップＳ３０１へ戻り、なければ本フローチャートを狩猟する。

以上説明したように、被写体を撮像して得られた第１の画像データが笑顔である場合には、第１の画像データを１枚だけ記録し、第１の画像データが泣き顔、かつ、第２の画像データが笑顔である場合には、第１の画像データは６０枚の画像データを記録する。このように、撮影者が第１の条件を満たす場合には、その表情のきっかけとなる出来事を漏れなく記録するため、少なくとも第１の条件を満たすと判定された画像よりも前のタイミングに撮像された画像を含む複数の画像データを記録する。

尚、本実施形態では、画像データの取り込みは１／６０ｓｅｃ毎としたがこれを限定されるわけではなく、メモリへの書き込み速度やメモリの容量に応じて適応的に変更することができる。

また、第２の画像データから笑顔が検出された場合に、第１の画像データは６０枚、第２画像データは１枚だけ蓄積する例をあげて説明を行ったが、画像データを記録する数を変更することも可能である。ステップＳ３０８で記録される第１の画像データの数よりも、ステップＳ３０７で記録される第１の画像データのほうが多ければよい。

また、ステップＳ３０７において、多数の第１の画像データを記録する代わりに、動画生成回路１１９がこれらの第１の画像データから１つの動画データを生成し、生成した動画データを記録するようにしてもよい。

また、ステップＳ３０６の処理は省略することもできる。例えば、第１の画像データから第１の条件を満たす被写体が検出された場合には、第１の画像データを第１の数だけ記録する。これに対し、第２の画像データから第１の条件を満たす被写体が検出された場合には、この第２の画像データよりも前に撮像されて得られた、第１の数よりも多くの第２の数だけ第１の画像データを記録するようにしてもよい。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ ＤＲＡＭ
１０３ 第１のレンズユニット
１０４ 第１の撮像素子
１０５ 第２のレンズユニット
１０６ 第２の撮像素子
１０７ 信号処理回路
１０８ 顔検出回路
１０９ 表情検出回路
１１３ ＣＰＵ
２００ 記録媒体

Claims (8)

1. 第１の撮像手段と、
   前記第１の撮像手段が撮像する方向と異なる方向を撮像する第２の撮像手段と、
   前記第１の撮像手段および前記第２の撮像手段のそれぞれから得られた画像データから、第１の条件を満たす被写体を検出する検出手段と、
   前記第１の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出された場合には、前記第１の撮像手段から得られた第１の数の画像データを記録し、前記第１の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出されずに、前記第２の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出された場合には、前記第１の撮像手段から得られた前記第１の数よりも多い第２の数の画像データを記録する制御手段を有し、
   前記第１の撮像手段から得られた前記第２の数の画像データは、前記第１の条件を満たす被写体が検出された画像データよりも前に撮像された画像データを含むことを特徴とする撮像装置。
2. 前記第１の条件は笑顔であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１の撮像手段から得られた画像データから、前記第１の条件とは異なる第２の条件を満たす被写体が検出され、かつ、前記第２の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出された場合には、前記第１の撮像手段から得られた前記第２の数の画像データを記録することを特徴とする請求項１に記載の撮像装置。
4. 前記第１の条件は、第１の表情であり、前記第２の条件は、第２の表情であることを特徴とする請求項２に記載の撮像装置。
5. 前記第１の表情は笑顔であることを特徴とする請求項３に記載の撮像装置。
6. 前記第２の表情は泣き顔であることを特徴とする請求項４に記載の撮像装置。
7. 前記第１の数は１であり、前記第２の数は複数であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 第１の撮像手段と、前記第１の撮像手段が撮像する方向と異なる方向を撮像する第２の撮像手段と、前記第１の撮像手段および前記第２の撮像手段のそれぞれから得られた画像データから、第１の条件を満たす被写体を検出する検出手段と、を有する撮像装置の制御方法であって、
   前記第１の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出された場合には、前記第１の撮像手段から得られた第１の数の画像データを記録する工程と、
   前記第１の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出されずに、前記第２の撮像手段から得られた画像データから、前記第１の条件を満たす被写体が検出された場合には、前記第１の撮像手段から得られた前記第１の数よりも多い第２の数の画像データを記録する工程を有し、
   前記第１の撮像手段から得られた前記第２の数の画像データは、前記第１の条件を満たす被写体が検出された画像データよりも前に撮像された画像データを含むことを特徴とする撮像装置の制御方法。

Images