JP2013168843A - ファインダ内に写る画像の撮影向きを判定する撮影支援プログラム、情報機器及び方法 - Google Patents

Abstract

【課題】ファインダに写る被写体の画像に適した撮影向き（縦向き／横向き）を、撮影者に撮影支援情報として通知することができる撮影支援プログラム等を提供する。
【解決手段】画像から、オブジェクト（正／非）の属性で表した特徴量マップを生成する特徴量マップ生成手段と、特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトの正／非の割合に基づく統計値を算出する統計値算出手段と、適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きを用いて予め学習し、統計値に応じた最適撮影向きを出力する学習エンジンと、撮影向きが、学習エンジンから出力された最適撮影向きと異なるか否かを判定する撮影向き判定手段と、その判定が異なる場合、ファインダの向きが最適ではない旨の情報を利用者に通知する最適撮影向き通知手段としてコンピュータを機能させる。
【選択図】図１

Description

本発明は、デジタルカメラ部を搭載した情報機器によって、撮影者に対して撮影支援情報を通知する技術に関する。

デジタルカメラは、基本機能として、撮像素子によって撮影された画像を、デジタルデータとして記録する。近年、このような機能は、単体としてのデジタルカメラに限られず、携帯電話機やスマートフォンのような様々な携帯型情報機器にも搭載されてきている。また、デジタルカメラは、被写体を単に撮影する基本機能に加えて、撮影者に対する撮影支援機能を搭載したものもある。

従来、デジタルカメラの撮影支援機能として、一般的な手ブレ補正機能を用いて、撮影者に撮影動作の良否を明示する技術がある（例えば特許文献１参照）。この技術によれば、撮影者が被写体を撮影する毎に、空間周波数成分としての手ブレ量を検出し、その手ブレ量が撮影者の撮影動作の良否評価とされる。撮影者は、この良否評価の結果を、ファインダやモニタによってリアルタイムに視認することができる。これによって、撮影者は、撮影した写真の中で、いずれの写真が良評価であるかを認識することができる。即ち、撮影者の撮影状態を良好にするべく誘導される。

また、目標被写体が撮影画像枠内に収まるように、撮影者に対して撮影支援情報を通知する技術がある（例えば特許文献２参照）。この技術によれば、撮影者によって所持されるデジタルカメラの位置と、目標被写体によって所持される携帯型の発信機の位置とが、当該デジタルカメラに定期的に通知される。また、デジタルカメラは、目標被写体に向かう目標撮影向きを検出する。そして、デジタルカメラは、目標撮影向きと、カメラの位置と、目標被写体の位置とから、目標被写体が撮影画像枠内に収まっているか否か判定する。目標被写体が撮影画像枠内に収まっていないと判定された場合、目標被写体を撮影画像枠内に収めるための撮影向きの変更方向が演算され、その変更方向がカメラのディスプレイに表示される。

特開２０００−２０９４６８号公報 特開２００９−１０９６７号公報

撮影者は、デジタルカメラ機能を搭載した情報機器のファインダを覗きながら（又はディスプレイを視認しながら）、被写体を撮影する。このとき、基本的に撮影者は、被写体をファインダ内に収めるフォーカス操作と、縦向き又は横向きの「撮影向き」操作とをする。一般的なカメラの撮影領域は長方形状であって、各向きは以下のように定義される。
「縦向き」：長方形の長手辺が地上面から見て垂直方向となる。
「横向き」：長方形の長手辺が地上面から見て水平方向となる。

撮影者は、自らの主観によって、ファインダを覗きながら、被写体を縦向きで撮影するか、横向きで撮影するかを判断する。しかしながら、ファインダに写る被写体によっては、縦向きで撮影した方が良いにもかかわらず、撮影者が横向きで撮影する場合があり、その逆の場合もある。一方で、前述した特許文献１及び２に記載された技術を含む従来技術によっても、ファインダに写る被写体に適した撮影向きを、撮影支援情報として明示することはできず、そもそもそのような課題に注目した技術も提案されていない。

例えば特許文献１に記載された技術によれば、撮影範囲に相当する撮影画像枠内に被写体が収まっていることが前提であり、被写体が撮影画像枠から逸脱している場合には適用できない。特に、高倍率で撮影されることが一般的である一方、被写体が動いているため被写体が撮影画像枠から逸脱し易く、被写体を適正に撮影するには熟練を要するという問題があった。また、特許文献２に記載された技術によれば、カメラ以外の専用デバイス（例えば、携帯型の発信機や位置センサなど）が必須であり、一般の撮影者に適用することが困難である。

そこで、本発明は、ファインダに写る被写体の画像に適した撮影向き（縦向き／横向き）を、撮影者に撮影支援情報として明示することができる撮影支援プログラム、装置及び方法を提供することを目的とする。

本発明によれば、ファインダ内に写る画像を撮影するカメラ部を有する携帯型情報機器に搭載されたコンピュータを機能させる撮影支援プログラムにおいて、
画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成する特徴量マップ生成手段と、
特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値を算出する統計値算出手段と、
適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きを用いて予め学習されており、統計値算出手段から統計値を入力し、該統計値に応じた最適撮影向きを出力する学習エンジンと、
ファインダ内に写る画像の撮影向きが、学習エンジンから出力された最適撮影向きと異なるか否かを判定する撮影向き判定手段と、
画像の撮影向きが最適撮影向きと異なると判定された場合、ファインダの向きが最適ではない旨の情報を利用者に通知する最適撮影向き通知手段と
してコンピュータを機能させることを特徴とする。

本発明の撮影支援プログラムにおける他の実施形態によれば、
特徴量マップ生成手段によって生成される特徴量マップは、
画像を、ピクセル毎に、オブジェクトピクセル又は非オブジェクトピクセルの二値で表したものであるか、
画像を、ブロック毎に、オブジェクトピクセル又は非オブジェクトピクセルの二値で表したものであるか、
画像と同じシーンを映している深度マップを、ピクセル毎に又はブロック毎に表したものであるか、又は、
画像を、オブジェクトらしさの尤度で表したものである
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
統計値算出手段は、特徴量マップを、短冊状又はライン上に区分しており、
学習エンジンは、サポートベクタマシン(Support Vector Machine)であって、学習画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成し、該特徴量マップを所定方向に短冊状又はライン上に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値として算出し、該統計値を教師データとして学習したものである
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
学習エンジンは、統計値に応じた最適撮影向きとして「正クラス」「負クラス」又は「ソフトマージン」の３種類を出力するものであり、
撮影向き判定手段は、学習エンジンから出力された最適撮影向きと異なるか否かを判定する際に、学習エンジンの出力が「ソフトマージン」の場合、常に不一致と判定するものである
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
統計値は、特徴量マップの区分領域毎に、オブジェクトと非オブジェクトとの割合値を対応付けたヒストグラム(Histogram、度数分布図)によって表される
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
撮影向きは、ファインダから覗いた縦向き又は横向きであり、
統計値算出手段における特徴量マップを区分する所定方向は、水平方向又は垂直方向である
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
最適撮影向き通知手段は、ファインダの向きが最適ではない旨を、
利用者によって視認されるファインダ又はディスプレイに、所定テキスト又は所定画像を表示することによって利用者に通知するか、
スピーカからの音声の発声によって利用者に通知するか、又は、
バイブレータの振動によって利用者に通知する
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
撮影向き判定手段によって、画像の撮影向きが最適撮影向きと異なると判定されたにも拘わらず、当該画像の撮影向きで撮影された際に、
学習エンジンに対して、当該画像の統計値と当該画像の撮影向きとを比較的高い重み付けによって再度学習するべく指示するフィードバック手段と
してコンピュータを更に機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
統計値算出手段は、特徴量マップの中心部分を含む一定領域を解析対象領域として統計値を算出する
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
特徴量マップ生成手段は、
画像の各ピクセルについて、画像全体に対する顕著性を表すエネルギーの値を算出し、
エネルギーの値をグリッド毎に記録したエネルギーマップを生成し、
エネルギーマップについて、エネルギーの値が閾値以上となるピクセルをオブジェクトピクセルと判定し、
各グリッドをオブジェクトピクセル又は非オブジェクトピクセルの二値で表した特徴量マップを生成し、
特徴量マップの中のオブジェクトピクセルと非オブジェクトピクセルとの境界線を平滑化する
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
特徴量マップ生成手段は、
画像を８×８ピクセルの単位（ブロックの定義）で分割し、各ブロックのピクセルを平均し、ブロック全体に対する顕著性を表すエネルギーの値を算出し、
エネルギーの値をグリッド毎に記録したエネルギーマップを生成し、
エネルギーマップについて、エネルギーの値が閾値以上となるブロックをオブジェクトブロックと判定し、
各グリッドをオブジェクトブロック又は非オブジェクトブロックの二値で表した特徴量マップを生成し、
特徴量マップの中のオブジェクトブロックと非オブジェクトブロックとの境界線を平滑化する
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
特徴量マップ生成手段は、
画像と同じシーンを映している深度マップによって、画像でピクセル毎に又はブロック毎に深度の値が閾値以上となるピクセル又はブロックをオブジェクトと判定し、
画像でピクセル毎にまたブロック毎にオブジェクト又は非オブジェクトの二値で表した特徴量マップを生成し、
特徴量マップの中のオブジェクトと非オブジェクトとの境界線を平滑化する
ようにコンピュータを機能させることも好ましい。

本発明の撮影支援プログラムにおける他の実施形態によれば、
特徴量マップ生成手段は、
オブジェクトピクセルまたブラックの判定の代わりに、エネルギーの値又は深度の値を正規化し、オブジェクトらしさの尤度として特徴量マップを生成する
ようにコンピュータを機能させることも好ましい。

本発明によれば、ファインダ内に写る画像を撮影するカメラ部を有する携帯型情報機器において、
画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成する特徴量マップ生成手段と、
特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値を算出する統計値算出手段と、
適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きを用いて予め学習されており、統計値算出手段から統計値を入力し、該統計値に応じた最適撮影向きを出力する学習エンジンと、
ファインダ内に写る画像の撮影向きが、学習エンジンから出力された最適撮影向きと異なるか否かを判定する撮影向き判定手段と、
画像の撮影向きが最適撮影向きと異なると判定された場合、ファインダの向きが最適ではない旨の情報を利用者に通知する最適撮影向き通知手段と
を有することを特徴とする。

本発明によれば、ファインダ内に写る画像を撮影するカメラ部を有する携帯型情報機器を用いた撮影支援方法において、
画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成する第１のステップと、
特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値を算出する第２のステップと、
適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きから予め学習された学習エンジンを用いて、統計値に応じた最適撮影向きを出力する第３のステップと、
ファインダ内に写る画像の撮影向きが、学習エンジンから出力された最適撮影向きと異なるか否かを判定する第４のステップと、
画像の撮影向きが最適撮影向きと異なると判定された場合、ファインダの向きが最適ではない旨の情報を利用者に通知する第５のステップと
を有することを特徴とする。

本発明の撮影支援プログラム、装置及び方法によれば、ファインダに写る被写体の画像に適した撮影向き（縦向き／横向き）を、撮影者に撮影支援情報として明示することができる。

本発明における撮影支援機能を有する携帯型情報機器の機能構成図である。 特徴量マップを表す画像図である。 本発明における画像の短冊状の区分を表す説明図である。 本発明における統計値を表す説明図である。 本発明における学習エンジンによる判定を表す説明図である。 本発明における最適撮影向きを撮影者に明示する表示イメージである。

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明の撮影支援機能は、デジタルカメラ部を有する携帯型情報機器に搭載されたコンピュータを機能させるプログラムによって実現されたものである。その携帯型情報機器は、単体のデジタルカメラであってもよいし、携帯電話機やスマートフォンであってもよい。

図１は、本発明における撮影支援機能を有する携帯型情報機器の機能構成図である。

図１の携帯型情報機器は、例えば撮影者によって把持されるスマートフォンである。ここで、携帯型情報機器１は、外界の被写体の画像を撮像素子によって取得する（デジタル）カメラ部１０１と、ユーザインタフェース部１０２と、加速度センサ１０３とを有する。ユーザインタフェース部１０２は、撮影者が覗くファインダ１０２１と、スピーカ１０２２と、バイブレータ１０２３と、シャッター（撮影ボタン）１０２４とを有する。カメラ部１０１によって取得されたデジタル画像は、ファインダ１０２１へ出力され、そのファインダ１０２１内に写る画像となる。携帯型情報機器１がスマートフォンである場合、ファインダは、一般にディスプレイとなる。

加速度センサ１０３は、重力加速度を検出する３軸加速度センサであって、地表面に垂直となる重力方向を検出する。この重力方向によって、カメラの傾きを検出することができ、撮影者によるカメラの撮影向き（構え方）を検出することができる。特に、カメラの撮影領域の長方形状が、「縦向き」か又は「横向き」かを検出することができる。
「縦向き」：重力方向が、長方形状の情報機器本体の長手辺と平行となる
（ファインダの画像枠の長手辺が地上面と垂直、短手辺が地上面と平行）
「横向き」：重力方向が、長方形状の情報機器本体の長手辺に垂直となる
（ファインダの画像枠の長手辺が地上面と平行、短手辺が地上面と垂直）

また、図１のデジタルカメラは、特徴量マップ生成部１１１と、統計値算出部１１２と、学習エンジン１３０と、撮影向き判定部１３１と、最適撮影向き通知部１３２と、撮影検知部１４１と、フィードバック部１４２とを有する。これら機能構成部は、携帯型情報機器に搭載されたコンピュータを機能させる撮影支援プログラムを実行することによって実現される。また、学習エンジン１３０が内部に構成するパラメータは、例えば外部装置から提供されるものであってもよい。例えばネットワークを介してサーバから受信されるものであってもよい。その外部装置は、学習画像記憶部１２０と、学習特徴量マップ生成部１２１と、学習統計値算出部１２２とを有し、その統計値を学習エンジン１３０へ送り込むことができる。

［特徴量マップ生成部１１１］
特徴量マップ生成部１１１は、カメラ部１０１によって取得された画像（撮影者が覗くファインダ内に写る画像）を入力する。そして、特徴量マップ生成部１１１は、入力された画像から特徴量マップを生成する。特徴量マップは、ピクセル毎に、オブジェクトピクセル又は非オブジェクトピクセルの二値で表す。生成された特徴量マップは、統計値算出部１１２へ出力される。

図２は、特徴量マップを表す画像図である。

図２（ａ）は、カメラ部から入力された画像（ファインダ内に写る画像）である。
図２（ｂ）は、図２（ａ）の画像から生成されたエネルギーマップである。
図２（ｃ）は、図２（ｂ）のエネルギーマップから生成された特徴量マップである。

図２（ｂ）に表された「エネルギーマップ」とは、画像の各ピクセルについて、画像全体に対する顕著性を表すエネルギー値を算出し、そのエネルギー値をグリッド毎に記録したマップである。エネルギー値は、例えば以下のようなエネルギー関数によって算出される。
ｅ₁（Ｉ(s)）＝｜∂Ｉ／∂ｘ｜＋｜∂Ｉ／∂ｙ｜ 式（１）
Ｉ(s)：画像上のピクセルの値

エネルギー値は、水平・垂直方向に対するピクセルの値の変化量の和に基づいて算出される。ピクセルの値が、例えば輝度である場合、ピクセル中の赤成分Ｒ(s)と緑成分Ｇ(s)と青成分Ｂ(s)との割合に基づいて算出される。
Ｉ(s)＝0.299＊Ｒ(s)＋0.587＊Ｇ(s)＋0.114＊Ｂ(s) 式（２）

尚、ピクセルの値は、ＲＧＢ成分の和に基づいて算出されるものであってもよい。
Ｉ(s)＝Ｒ(s)＋Ｇ(s)＋Ｂ(s) 式（３）

次に、例えば、着目しているピクセルの近傍領域に、オブジェクトと非オブジェクトとの境界があるとする。このとき、その領域では、水平・垂直方向に対するピクセルの値の変化量の和が大きくなる。即ち、オブジェクトのピクセルのエネルギー値は、非オブジェクトのピクセルのエネルギー値に比べて高くなる。

図２（ｃ）に表された特徴量マップとは、エネルギーマップ中で、エネルギーの値が閾値(threshold)以上となるピクセルをオブジェクトピクセルと判定し、各グリッドをオブジェクトピクセル又は非オブジェクトピクセルの二値で表したものである。尚、ここでの閾値は、例えばエネルギーの値の平均値としてもよい。

特徴量マップ生成部１１１の他の実施形態として、画像を８×８ピクセルの単位（ブロックの定義）で分割するものであってもよい。この実施形態によれば、以下のステップの処理を実行する。
（Ｓ１）各ブロックのピクセルを平均し、ブロック全体に対する顕著性を表すエネルギーの値を算出する。
（Ｓ２）エネルギーの値をグリッド毎に記録したエネルギーマップを生成する。
（Ｓ３）エネルギーマップについて、エネルギーの値が閾値以上となるブロックをオブジェクトブロックと判定する。
（Ｓ４）各グリッドをオブジェクトブロック又は非オブジェクトブロックの二値で表した特徴量マップを生成する。
（Ｓ５）特徴量マップの中のオブジェクトブロックと非オブジェクトブロックとの境界線を平滑化する。

また、特徴量マップ生成部１１１の他の実施形態として、深度マップを用いたものであってもよい。「深度マップ」とは、３次元空間について、各レイヤのカメラからの距離情報をグレースケールで表したものである。即ち、カメラからの距離情報が、グレースケールの明るさで表されるものである。この実施形態によれば、以下のステップの処理を実行する。
（Ｓ１）画像と同じシーンを映している深度マップによって、画像でピクセル毎に又はブロック毎に深度の値が閾値以上となるピクセル又はブロックをオブジェクトと判定する。
（Ｓ２）画像でピクセル毎にまたブロック毎にオブジェクト又は非オブジェクトの二値で表した特徴量マップを生成する。
（Ｓ３）特徴量マップの中のオブジェクトと非オブジェクトとの境界線を平滑化する。

尚、特徴量マップ生成部１１１の他の実施形態として、更に尤度を用いたものであってもよい。この実施形態によれば、オブジェクトピクセル又はブロックの判定の代わりに、エネルギーの値又は深度の値を正規化し、オブジェクトらしさの尤度として特徴量マップを生成する。

［統計値算出部１１２］
統計値算出部１１２は、特徴量マップ生成部１１１から特徴量マップを入力する。統計値算出部１１２は、特徴量マップを、所定方向に短冊状またライン上に区分する。そして、統計値算出部１１２は、その区分領域毎に、オブジェクトピクセルと非オブジェクトピクセルとの割合に基づく統計値を算出する。統計値は、ヒストグラムによって表されるものであってもよい。算出された統計値は、学習エンジン１３０へ出力される。

図３は、本発明における画像の短冊状の区分を表す説明図である。

図３（ａ）は、特徴量マップ全体を解析対象領域として、水平方向に短冊状に区分した特徴量マップを表す画像である。図３（ａ）によれば、特徴量マップは、水平方向に３２個の領域に区分(binning)されている。この区分数は、「ビン」(bin)と称される。これによって、画像枠全体から、撮影向きを判定することができる。尚、本発明の実施形態の中では、水平方向に区分しているが、勿論、垂直方向に区分してもよい。

図３（ｂ）は、注視部分を含む一定領域を解析対象領域として、水平方向に短冊状に区分した特徴量マップを表す画像である。図３（ｂ）によれば、注視部分が、画像枠全体の中心部分であるとしている。これによって、注視領域に応じて、撮影向きを判定することができる。

図４は、本発明における統計値を表す説明図である。

図４の統計値は、短冊状の区分毎に、オブジェクトピクセルと非オブジェクトピクセルとの割合を表すヒストグラム(Histogram、度数分布図)である。ヒストグラムは、各軸をが以下のように割り当てている。
横軸：短冊状の区分（階級）
縦軸：オブジェクトピクセルと非オブジェクトピクセルとの割合（度数）

他の実施形態として、特徴量マップを短冊状に区分する前に、オブジェクトピクセルと非オブジェクトピクセルとの境界を平滑化してもよい。平滑化によって、ノイズが除去され、滑らかな輪郭線が得られる。また、特徴量マップを縦向きに見た際に、オブジェクトピクセルと非オブジェクトピクセルとの境界が複数ある場合、一番上のオブジェクトピクセルと、非オブジェクト領域との境界を輪郭線とする。これにより、輪郭線の高さのヒストグラムが算出されることになる。

次に、前述した特徴量マップ生成部１１１及び統計値算出部１１２に対称して、学習画像記憶部１２０、学習特徴量マップ生成部１２１及び学習統計値算出部１２２を説明する。

［学習画像記憶部１２０］
学習画像記憶部１２０は、適切な撮影向きの複数の学習画像を蓄積する。具体的には、学習画像毎に、撮影向き「縦向き／横向き」が付与されている

［学習特徴量マップ生成部１２１］
学習特徴量マップ生成部１２１は、学習画像記憶部１２０から、学習画像と、その学習画像の撮影向きを入力する。そして、学習特徴量マップ生成部１２１は、学習画像から、ピクセル毎にオブジェクトピクセル又は非オブジェクトピクセルの二値で表した学習特徴量マップを生成する。特徴量マップの生成方法については、前述した特徴量マップ生成部１１１と全く同様である。生成された学習特徴量マップは、元の学習画像の撮影向きと共に、学習統計値算出部１２２へ出力される。

［学習統計値算出部１２２］
学習統計値算出部１２２は、学習特徴量マップと、元の学習画像の撮影向きとを入力する。そして、学習統計値算出部１２２は、学習特徴量マップを所定方向に短冊状に区分し、その区分領域毎に、オブジェクトピクセルと非オブジェクトピクセルとの割合に基づく統計値を算出する。統計値の算出方法にについては、前述した統計値算出部１１２と全く同様である。算出された学習統計値は、元の学習画像の撮影向きと共に、学習エンジン１３０へ出力される。

［学習エンジン１３０］
学習エンジン１３０は、例えばサポートベクタマシン(Support Vector Machine)のようなものである。「サポートベクタマシン」とは、教師有り学習を用いる識別アルゴリズムである。サポートベクタマシンは、線形二値分類器であり、クラス数が２であるパターン識別に用いられる。２つのクラスは、正クラス(positive class)及び負クラス(negative class)である。教師データは、正クラスに属するオブジェクトピクセルのベクトルである「正例」と、負クラスに属する非オブジェクトピクセルのベクトルは「負例」とから生成される。

学習エンジン１３０は、予め、学習統計値と、元の学習画像の撮影向きとを「教師データ」（ヒストグラム）として入力する。これによって、学習エンジン１３０は、線形分類のためのパラメータを内部に構成する。その上で、学習エンジン１３０は、統計値算出部１１２から統計値（ヒストグラム）を入力し、統計値に応じた最適撮影向きを、撮影向き判定部１３１へ出力する。

図５は、本発明における学習エンジンによる判定を表す説明図である。

図５によれば、説明の便宜上、２次元データを用いているが、現実的には高次元データとなる。正例と負例を分類する平面は、分離平面(separating plane)と称され、以下の関数によって表される。
ｆ（ｘ）＝ｗ・ｘ−ｂ
ｂ：学習画像によって生成された線形分類のパラメータの重み（切片）
ｗ：分離平面の方向ベクトル
各ベクトルは、ｆ（ｘ）≧０なら正クラスに、ｆ（ｘ）＜０なら負クラスに分類される。

サポートベクタマシンでは、一般に、着目すべきクラスを「正クラス」とする。そのために、図５によれば、適切な撮影向きとその学習統計値のクラスを「正クラス」とする。

サポートベクタマシンでは、どちらのクラスからもなるべく離れた位置に分離平面を構築するというマージン最大化(margin maximization)の考え方をとる。分離平面は、ｗ・ｘ＝ｂを満たすｘの集合になるが、これは式全体を定数倍しても変わらない。そこで、以下の式を満たすように、パラメータｗ及びｂを調整する。
ｗ・ｘ−ｂ＝１
ｗ・ｘ−ｂ＝０
ｗ・ｘ−ｂ＝−１
このようにして、分離平面のマージンは、２／||ｗ||で表される。

他の実施形態として、学習エンジン１３０は、サポートベクタマシンであって、統計値に応じた最適撮影向きとして「正クラス」「負クラス」又は「ソフトマージン」の３種類を出力するものであってもよい。
正クラス：ｗ・ｘ−ｂ≧１
負クラス：ｗ・ｘ−ｂ＜-１
ソフトマージン:その他
尚、この動作は、後述する撮影向き判定部１３１の動作に変更を要する。

［撮影向き判定部１３１］
撮影向き判定部１３１は、加速度センサ１０３によって検出された携帯型情報機器本体の「撮影向き」と、学習エンジン１３０から出力された「撮影向き」とを入力する。ここで、撮影向きとは、「縦向き」又は「横向き」であってもよい。撮影向き判定部１３１は、ファインダ内に写る画像の撮影向きが、学習エンジン１３０から出力された最適な撮影向きと一致するか否かを判定する。その判定結果は、最適撮影向き通知部１３２及びフィードバック部１４２へ出力される。

他の実施形態として、学習エンジン１３０が、３種類の出力が可能である場合、撮影向き判定部１３１は、学習エンジン１３０から出力された最適撮影向きと異なるか否かを判定する際に、学習エンジンの出力が「ソフトマージン」の場合、常に「不一致」と判定する。

［最適撮影向き通知部１３２］
最適撮影向き通知部１３２は、撮影向き判定部１３１から、撮影向きの判定結果を入力する。携帯型情報機器本体の撮影向きと学習エンジンから出力された撮影向きとが異なると判定された場合、最適撮影向き通知部１３２は、撮影者によって視認されるファインダ１０２１に、所定テキスト又は所定画像を表示する。このテキスト又は画像は、ファインダの向きが最適ではない旨を意味する。

尚、ファインダの向きが最適ではない旨の通知は、ファインダ１０２１に限られない。他の実施形態として、最適撮影向き通知部１３２が、スピーカ１０２２から、予め録音された音声を発声させ、ファインダの向きが最適ではない旨を撮影者に通知するものであってもよい。また、バイブレータ１０２３を振動させ、その旨を撮影者に通知するものであってもよい。

撮影検知部１４１は、撮影操作によってシャッター１０２４が押下されることによって、ファインダ内に写る画像が撮影されたことを検知する。撮影された旨の情報が、フィードバック部１４２へ出力される。

［フィードバック部１４２］
フィードバック部１４２は、撮影向き判定部１３１から、ファインダ内に写る画像の撮影向きの判定結果を入力する。画像の撮影向きが最適撮影向きと異なると判定されたにも拘わらず、その画像の撮影向きで撮影されていた場合、フィードバック部１４２は、学習エンジン１３０に対して、その画像の統計値と、その画像の撮影向きとを比較的高い重み付けによって再度学習するべく指示する。即ち、その画像の統計値とその画像の撮影向きとが、学習エンジンに対して、再度学習させるようにフィードバックされる。具体的には、図５のサポートベクタマシンのパラメータｂに対して、比較的高い重み付けで調整する。これにより、撮影した画像から算出された統計値とその撮影向きとが、正例又は正例に近似するデータとして反映される。

例えば、学習エンジン１３０から出力された最適撮影向きが「縦向き」であるにも拘わらず、撮影者が「横向き」で撮影した場合、その時のファインダ内に写る画像の統計値について、比較的高い重み付けによって「横向き」として学習させる。これによって、その画像の統計値と類似する他の画像について、学習エンジン１３０は、最適撮影向きを「横向き」として出力する可能性が高くなる。

図６は、本発明における最適撮影向きを撮影者に明示する表示イメージである。

図６によれば、ファインダに写る画像の撮影向きが、最適撮影向きと異なる場合、ファインダの向きが最適ではない旨の情報を利用者に通知する。例えば、撮影者によって視認されるファインダに、撮影の向きが最適ではない旨を利用者に通知する。

例えば、図６（ａ）によれば、「縦向きが、最適撮影向きです」というテキストが、ファインダに写る画像に重畳して表示される。また、図６（ｂ）によれば、最適な撮影向きの場合の撮影枠線をが、ファインダに写る画像に重畳して表示される。図６（ｂ）によれば、撮影者は「横向き」で撮影しようとしているのに対し、最適撮影向きが「縦向き」である場合、縦向きの撮影枠線が表示される。

以上、詳細に説明したように、本発明の撮影支援プログラム、装置及び方法によれば、ファインダに写る被写体の画像に適した撮影向き（縦向き／横向き）を、撮影者に撮影支援情報として明示することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ （カメラ付き）携帯型情報機器、デジタルカメラ
１０１ カメラ部
１０２ ユーザインタフェース部
１０２１ ファインダ／ディスプレイ
１０２２ スピーカ
１０２３ バイブレータ
１０２４ シャッター、撮影ボタン
１０３ 加速度センサ
１１１ 特徴量マップ生成部
１１２ 統計値算出部
１２０ 学習画像記憶部
１２１ 学習特徴量マップ生成部
１２２ 学習統計値算出部
１３０ 学習エンジン
１３１ 撮影向き判定部
１３２ 最適撮影向き通知部
１４１ 撮影検知部
１４２ フィードバック部

Claims (14)

1. ファインダ内に写る画像を撮影するカメラ部を有する携帯型情報機器に搭載されたコンピュータを機能させる撮影支援プログラムにおいて、
   前記画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成する特徴量マップ生成手段と、
   前記特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値を算出する統計値算出手段と、
   適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きを用いて予め学習されており、前記統計値算出手段から前記統計値を入力し、該統計値に応じた最適撮影向きを出力する学習エンジンと、
   前記ファインダ内に写る画像の撮影向きが、前記学習エンジンから出力された最適撮影向きと異なるか否かを判定する撮影向き判定手段と、
   前記画像の撮影向きが前記最適撮影向きと異なると判定された場合、前記ファインダの向きが最適ではない旨の情報を利用者に通知する最適撮影向き通知手段と
   してコンピュータを機能させることを特徴とする撮影支援プログラム。
2. 前記統計値算出手段は、前記特徴量マップを、短冊状又はライン上に区分しており、
   前記学習エンジンは、サポートベクタマシン(Support Vector Machine)であって、学習画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成し、該特徴量マップを所定方向に短冊状又はライン上に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値として算出し、該統計値を教師データとして学習したものである
   ようにコンピュータを機能させることを特徴とする請求項１に記載の撮影支援プログラム
3. 前記学習エンジンは、前記統計値に応じた最適撮影向きとして「正クラス」「負クラス」又は「ソフトマージン」の３種類を出力するものであり、
   前記撮影向き判定手段は、前記学習エンジンから出力された最適撮影向きと異なるか否かを判定する際に、前記学習エンジンの出力が「ソフトマージン」の場合、常に不一致と判定するものである
   ようにコンピュータを機能させることを特徴とする請求項２に記載の撮影支援プログラム。
4. 前記統計値は、前記特徴量マップの前記区分領域毎に、オブジェクトと非オブジェクトとの割合値を対応付けたヒストグラム(Histogram、度数分布図)によって表される
   ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載の撮影支援プログラム。
5. 前記撮影向きは、前記ファインダから覗いた縦向き又は横向きであり、
   前記統計値算出手段における前記特徴量マップを区分する所定方向は、水平方向又は垂直方向である
   ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載の撮影支援プログラム。
6. 前記最適撮影向き通知手段は、前記ファインダの向きが最適ではない旨を、
   利用者によって視認されるファインダ又はディスプレイに、所定テキスト又は所定画像を表示することによって利用者に通知するか、
   スピーカからの音声の発声によって利用者に通知するか、又は、
   バイブレータの振動によって利用者に通知する
   ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載の撮影支援プログラム。
7. 前記撮影向き判定手段によって、前記画像の撮影向きが前記最適撮影向きと異なると判定されたにも拘わらず、当該画像の撮影向きで撮影された際に、
   前記学習エンジンに対して、当該画像の統計値と当該画像の撮影向きとを比較的高い重み付けによって再度学習するべく指示するフィードバック手段と
   してコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載の撮影支援プログラム。
8. 前記統計値算出手段は、前記特徴量マップの中心部分を含む一定領域を解析対象領域として前記統計値を算出する
   ようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載の撮影支援プログラム。
9. 前記特徴量マップ生成手段は、
   前記画像のピクセル毎に、画像全体に対する顕著性を表すエネルギーの値を算出し、
   前記エネルギーの値をグリッド毎に記録したエネルギーマップを生成し、
   前記エネルギーマップについて、前記エネルギーの値が閾値以上となるピクセルをオブジェクトピクセルと判定し、
   各グリッドをオブジェクトピクセル又は非オブジェクトピクセルの二値で表した特徴量マップを生成し、
   前記特徴量マップの中のオブジェクトピクセルと非オブジェクトピクセルとの境界線を平滑化する
   ようにコンピュータを機能させることを特徴とする請求項１から８のいずれか１項に記載の撮影支援プログラム。
10. 前記特徴量マップ生成手段は、
    前記画像を８×８ピクセルの単位（ブロックの定義）で分割し、各ブロックのピクセルを平均し、ブロック全体に対する顕著性を表すエネルギーの値を算出し、
    前記エネルギーの値をグリッド毎に記録したエネルギーマップを生成し、
    前記エネルギーマップについて、前記エネルギーの値が閾値以上となるブロックをオブジェクトブロックと判定し、
    各グリッドをオブジェクトブロック又は非オブジェクトブロックの二値で表した特徴量マップを生成し、
    前記特徴量マップの中のオブジェクトブロックと非オブジェクトブロックとの境界線を平滑化する
    ようにコンピュータを機能させることを特徴とする請求項１から８のいずれか１項に記載の撮影支援プログラム。
11. 前記特徴量マップ生成手段は、
    前記画像と同じシーンを映している深度マップによって、前記画像でピクセル毎に又はブロック毎に深度の値が閾値以上となるピクセル又はブロックをオブジェクトと判定し、
    前記画像でピクセル毎にまたブロック毎にオブジェクト又は非オブジェクトの二値で表した特徴量マップを生成し、
    前記特徴量マップの中のオブジェクトと非オブジェクトとの境界線を平滑化する
    ようにコンピュータを機能させることを特徴とする請求項１から８のいずれか１項に記載の撮影支援プログラム。
12. 前記特徴量マップ生成手段は、
    前記オブジェクトピクセル又はブロックの判定の代わりに、エネルギーの値又は深度の値を正規化し、オブジェクトらしさの尤度として特徴量マップを生成する
    ようにコンピュータを機能させることを特徴とする請求項９から１１のいずれか１項に記載の撮影支援プログラム。
13. ファインダ内に写る画像を撮影するカメラ部を有する携帯型情報機器において、
    前記画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成する特徴量マップ生成手段と、
    前記特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値を算出する統計値算出手段と、
    適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きを用いて予め学習されており、前記統計値算出手段から前記統計値を入力し、該統計値に応じた最適撮影向きを出力する学習エンジンと、
    前記ファインダ内に写る画像の撮影向きが、前記学習エンジンから出力された最適撮影向きと異なるか否かを判定する撮影向き判定手段と、
    前記画像の撮影向きが前記最適撮影向きと異なると判定された場合、前記ファインダの向きが最適ではない旨の情報を利用者に通知する最適撮影向き通知手段と
    を有することを特徴とする携帯型情報機器。
14. ファインダ内に写る画像を撮影するカメラ部を有する携帯型情報機器を用いた撮影支援方法において、
    前記画像から、オブジェクト又は非オブジェクトの属性で表した特徴量マップを生成する第１のステップと、
    前記特徴量マップを所定方向に区分し、その区分領域毎にオブジェクトと非オブジェクトとの割合に基づく統計値を算出する第２のステップと、
    適切な撮影向きの複数の学習画像から算出された統計値及びその撮影向きから予め学習された学習エンジンを用いて、前記統計値に応じた最適撮影向きを出力する第３のステップと、
    前記ファインダ内に写る画像の撮影向きが、前記学習エンジンから出力された最適撮影向きと異なるか否かを判定する第４のステップと、
    前記画像の撮影向きが前記最適撮影向きと異なると判定された場合、前記ファインダの向きが最適ではない旨の情報を利用者に通知する第５のステップと
    を有することを特徴とする撮影支援方法。