JP2017098637A - 画像特定装置、画像特定方法及びプログラム - Google Patents
画像特定装置、画像特定方法及びプログラム Download PDFInfo
- Publication number
- JP2017098637A JP2017098637A JP2015226131A JP2015226131A JP2017098637A JP 2017098637 A JP2017098637 A JP 2017098637A JP 2015226131 A JP2015226131 A JP 2015226131A JP 2015226131 A JP2015226131 A JP 2015226131A JP 2017098637 A JP2017098637 A JP 2017098637A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- evaluation value
- continuous
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定すること。【解決手段】撮影装置1は、評価値取得部52と、特徴部分特定部53と、を備える。評価値取得部52は、動画像のうちの所定時間分の連続する部分を評価した連続部分評価値を算出する。特徴部分特定部53は、評価値取得部52により算出された連続部分評価値に基づき、動画像のうちの特徴となる所定時間分の連続する部分を特定する。したがって、撮影装置1においては、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。【選択図】図3
Description
本発明は、画像特定装置、画像特定方法及びプログラムに関する。
従来より、動画像の内容を容易に把握できるように、先頭から或いは先頭から所定時間後の位置から所定時間分切り出す技術が使用されている。しかしながら、このような技術では、必ずしも先頭に近い部分がその動画像の特徴部分であるとは限らないため、より高度に特徴部分を抽出する技術として、機械学習を用いる方法が、特許文献1のように開示されている。
しかしながら、上述した特許文献1に開示される技術における機械学習を用いた抽出システムは、学習・認識の2つの過程で構成されることを特徴とするが、処理自体が重く、適切なトレーニングデータが用意できないと適切な抽出結果を得られないという問題がある。
本発明は、このような状況に鑑みてなされたものであり、動画像の特徴部分を特定すべき時間の長さに応じて適切になるように特定することを目的とする。
上記目的を達成するため、本発明の一態様の画像特定装置は、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出手段と、
前記算出手段により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定手段と、
を備えることを特徴とする。
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出手段と、
前記算出手段により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定手段と、
を備えることを特徴とする。
本発明によれば、動画像の特徴部分を特定すべき時間の長さに応じて適切になるように特定することができる。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の一実施形態に係る撮影装置のハードウェアの構成を示すブロック図である。
撮影装置1は、例えば、デジタルカメラとして構成される。
撮影装置1は、例えば、デジタルカメラとして構成される。
撮影装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、センサ部17と、入力部18と、出力部19と、記憶部20と、通信部21と、ドライブ22と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、センサ部17、入力部18、出力部19、記憶部20、通信部21及びドライブ22が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
センサ部17は、加速度、角速度、ジャイロ等の情報を取得可能な各種センサにより構成される。
入力部18は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部19は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部20は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部21は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ22によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部20にインストールされる。また、リムーバブルメディア31は、記憶部20に記憶されている画像のデータ等の各種データも、記憶部20と同様に記憶することができる。
このように構成される撮影装置1では、取得した動画像から予め設定した長さとなる特徴部分(本実施形態においては、3秒)を特定する機能を有する。これにより、例えば、撮影装置1では、特定した特徴部分を動画像から切り出した動画像を生成することができる。これにより、複数の動画像から所望の動画象を選択するためのインデックスとして使用したり、切り出した動画像を複数連結してハイライト動画を生成したりすることができる。
撮影装置1では、特徴部分の特定は、フレームの特徴量から評価を行って、当該評価に基づいて行われる。
評価は、1又は所定数のフレーム(本実施形態においては、1秒間のフレーム)を単位フレームとして扱い、単位フレーム毎に算出される特徴量を、連続する単位フレームを所定の長さ分(以下、「連続部分」という。)で合算して行う。連続部分は、本実施形態においては、特徴部分の長さと同じ3秒に設定される。
撮影装置1では、特徴部分の特定は、フレームの特徴量から評価を行って、当該評価に基づいて行われる。
評価は、1又は所定数のフレーム(本実施形態においては、1秒間のフレーム)を単位フレームとして扱い、単位フレーム毎に算出される特徴量を、連続する単位フレームを所定の長さ分(以下、「連続部分」という。)で合算して行う。連続部分は、本実施形態においては、特徴部分の長さと同じ3秒に設定される。
図2は、本実施形態における動画像の特徴部分の特定方法を説明するための模式図である。なお、本実施形態においては、特徴部分の長さは、3秒とし、連続部分は、特徴部分の長さと同じ3秒とする。また、単位フレームの長さは、1秒とする。
図2の例に示すように、単位フレームにおける評価値(以下、「単位評価値」という。)を、単位フレームを構成するフレームの特徴量から算出する。単位評価値の算出については、動画像を構成する全ての単位フレームで行う。
そして、連続部分毎に、対応する単位フレームの単位評価値を換算(本実施形態においては、和)して、連続部分の評価値(以下、「連続部分評価値」という。)を算出する。即ち、連続部分評価値の算出については、まず、動画像の先頭の単位フレームから連続部分評価値をそれぞれ算出する(1)。次に、単位フレームを1つズラして、再度、連続部分評価値をそれぞれ算出する(2)。これを連続部分において全ての単位フレームの組み合わせを含むように連続部分評価値を算出する(3)。本実施形態においては、連続部分は、特徴部分と同じ長さの3秒であるため、3回先頭となる単位フレームをズラして連続部分評価値をそれぞれ算出することで、全ての組み合わせの連続部分評価値を算出することができる。
全ての組み合わせについての連続部分評価値が算出されたら、最も高い連続部分評価値の連続部分を特徴部分として特定する。
このように特徴部分を選択することで、動画像において最適な特徴部分を効率的に特定することができる。
図2の例に示すように、単位フレームにおける評価値(以下、「単位評価値」という。)を、単位フレームを構成するフレームの特徴量から算出する。単位評価値の算出については、動画像を構成する全ての単位フレームで行う。
そして、連続部分毎に、対応する単位フレームの単位評価値を換算(本実施形態においては、和)して、連続部分の評価値(以下、「連続部分評価値」という。)を算出する。即ち、連続部分評価値の算出については、まず、動画像の先頭の単位フレームから連続部分評価値をそれぞれ算出する(1)。次に、単位フレームを1つズラして、再度、連続部分評価値をそれぞれ算出する(2)。これを連続部分において全ての単位フレームの組み合わせを含むように連続部分評価値を算出する(3)。本実施形態においては、連続部分は、特徴部分と同じ長さの3秒であるため、3回先頭となる単位フレームをズラして連続部分評価値をそれぞれ算出することで、全ての組み合わせの連続部分評価値を算出することができる。
全ての組み合わせについての連続部分評価値が算出されたら、最も高い連続部分評価値の連続部分を特徴部分として特定する。
このように特徴部分を選択することで、動画像において最適な特徴部分を効率的に特定することができる。
なお、フレームにおける特徴量は、複数の要素があり、例えば、フレームのヒストグラム、構図の情報等のフレームの画像解析情報や、例えば、焦点距離、被写体距離、シャッター速度等の撮影条件情報や、例えば、撮影時刻、撮影場所、カメラワーク情報、動体ブレ情報、露出情報、ジャイロセンサや加速度センサ等の撮影時の情報である。
本実施形態においては、特徴量は、撮影時に各種センサや操作上の計測/解析結果からフレーム毎に取得する。
本実施形態においては、特徴量は、撮影時に各種センサや操作上の計測/解析結果からフレーム毎に取得する。
図3は、図1の撮影装置1の機能的構成のうち、特徴部分特定処理を実行するための機能的構成を示す機能ブロック図である。
特徴部分特定処理とは、撮影した動画像の内容を要約した特徴部分を特定し、動画像からその特徴部分を切り出す一連の処理をいう。
特徴部分特定処理とは、撮影した動画像の内容を要約した特徴部分を特定し、動画像からその特徴部分を切り出す一連の処理をいう。
特徴部分特定処理を実行する場合には、図3に示すように、CPU11において、情報取得部51と、評価値取得部52と、特徴部分特定部53と、画像生成部54と、が機能する。
また、記憶部20の一領域には、画像記憶部71と、特徴量記憶部72と、が設定される。
画像記憶部71には、撮像部16等から取得した動画像のデータが記憶される。
特徴量記憶部72には、特徴量の情報が記憶される。
特徴量の情報は、撮像部16やセンサ部17等から動画像の撮影時に並行して取得可能な情報であり、例えば、フレームのヒストグラム、構図の情報等のフレームの画像解析情報や、例えば、焦点距離、被写体距離、シャッター速度等の撮影条件情報や、例えば、撮影時刻、撮影場所、カメラワーク情報、動体ブレ情報、露出情報、ジャイロセンサや加速度センサ等の撮影時の情報である。
特徴量の情報は、本実施形態においては、動画像の撮影時に並行して取得されて、対応する動画像のデータとは異なる特徴量記憶部72に記憶される。
特徴量の情報は、撮像部16やセンサ部17等から動画像の撮影時に並行して取得可能な情報であり、例えば、フレームのヒストグラム、構図の情報等のフレームの画像解析情報や、例えば、焦点距離、被写体距離、シャッター速度等の撮影条件情報や、例えば、撮影時刻、撮影場所、カメラワーク情報、動体ブレ情報、露出情報、ジャイロセンサや加速度センサ等の撮影時の情報である。
特徴量の情報は、本実施形態においては、動画像の撮影時に並行して取得されて、対応する動画像のデータとは異なる特徴量記憶部72に記憶される。
情報取得部51は、動画像の撮影時に撮像部16やセンサ部17等から取得した各種情報等から、例えば、フレームのヒストグラム、構図の情報等のフレームの画像解析情報や、例えば、焦点距離、被写体距離、シャッター速度等の撮影条件情報や、例えば、撮影時刻、撮影場所、カメラワーク情報、動体ブレ情報、露出情報、ジャイロセンサや加速度センサ等の撮影時の情報等の特徴量を取得して、特徴量記憶部72に記憶する。
また、情報取得部51は、特徴量記憶部72から特徴部分を特定する対象となる動画像の各フレームに対応した特徴量を取得する。
評価値取得部52は、動画像を構成する各単位フレーム単位評価値を取得する。具体的には、評価値取得部52は、全ての単位フレームを構成するフレームの特徴量から、単位評価値を算出して、動画像を構成する各単位フレームにおける単位評価値を取得する。
また、評価値取得部52は、取得した単位フレームの単位評価値から、各連続部分の連続部分評価値を取得する。即ち、評価値取得部52は、開始/終了の単位フレームが異なる、全ての単位フレームの組み合わせの連続部分の連続部分評価値を取得する。
本実施形態においては、以下のように全ての連続部分の連続部分評価値を取得する。
まず、全ての単位フレーム[N]の単位評価値を算出して取得する。
次に、全ての単位フレーム[N]の単位評価値を用いて、スタート時刻[T]から所定数の連続した単位フレームからなる連続部分[L]の連続部分評価値を算出する(式(1)参照)。
さらに、スタート時刻[T]を単位フレーム分ズラしながらΣ[N]を算出し、全ての単位フレームの組み合わせの連続部分評価値を取得する。
まず、全ての単位フレーム[N]の単位評価値を算出して取得する。
次に、全ての単位フレーム[N]の単位評価値を用いて、スタート時刻[T]から所定数の連続した単位フレームからなる連続部分[L]の連続部分評価値を算出する(式(1)参照)。
特徴部分特定部53は、取得した全ての連続部分評価値のうち、最も高い値となる連続部分評価値に対応する連続部分を、特徴部分として特定する。
画像生成部54は、動画像から特定した特徴部分を切り出して新たな動画像を生成する。
図4は、図3の機能的構成を有する図1の撮影装置1が実行する特徴部分特定処理の流れを説明するフローチャートである。
特徴部分特定処理は、ユーザによる入力部18への特徴部分特定処理開始の操作により開始される。なお、情報取得部51は、撮像部16における動画像の撮影時に撮像部16やセンサ部17等から撮影に関する情報から特徴量を取得して、特徴量記憶部72に記憶する。また、撮影した動画像のデータは、画像記憶部71に記憶される。即ち、特徴部分特定処理は、画像記憶部71に動画像のデータが記憶されており、特徴量記憶部72に動画像のフレームに対応する特徴量が記憶されている前提で開始することになる。
特徴部分特定処理は、ユーザによる入力部18への特徴部分特定処理開始の操作により開始される。なお、情報取得部51は、撮像部16における動画像の撮影時に撮像部16やセンサ部17等から撮影に関する情報から特徴量を取得して、特徴量記憶部72に記憶する。また、撮影した動画像のデータは、画像記憶部71に記憶される。即ち、特徴部分特定処理は、画像記憶部71に動画像のデータが記憶されており、特徴量記憶部72に動画像のフレームに対応する特徴量が記憶されている前提で開始することになる。
ステップS11において、情報取得部51は、特徴部分を特定する対象の動画像のフレームに対応する特徴量を特徴量記憶部72から取得する。
ステップS12において、評価値取得部52は、取得した動画像のフレームに対応する特徴量に基づいて、全ての単位フレーム(本実施形態においては、1秒間のフレーム)の単位評価値を取得する。
ステップS13において、評価値取得部52は、各単位フレームの単位評価値から連続部分の連続部分評価値(本実施形態においては、特徴部分の時間と同じ、3秒)を取得する。具体的には、評価値取得部52は、連続部分を構成する単位フレームの単位評価値の和を算出して、連続部分評価値を算出する。
ステップS14において、評価値取得部52は、全ての組み合わせの連続部分評価値を取得したか否かを判定する。全ての組み合わせの連続部分評価値とは、連続部分を構成する単位フレームが異なる組み合わせとなる連続部分の連続部分評価値である。
全てのパターンの連続部分評価値を取得していない場合には、ステップS14においてNOと判定されて、処理はステップS15に進む。
全てのパターンの連続部分評価値を取得していない場合には、ステップS14においてNOと判定されて、処理はステップS15に進む。
ステップS15において、評価値取得部52は、連続部分評価値を取得する対象部分を1単位フレーム分(本実施形態においては、1秒分)ズラす。即ち、例えば、動画像の先頭(1番目の単位フレーム)から連続部分が開始していた場合には、動画像の開始の1秒後(2番目の単位フレーム)から連続部分が開始される。その後の連続部分も順次1秒ずつズラされることとなる。本実施形態においては、連続部分が3秒であるため、3秒ズラすと、全ての連続部分の連続部分評価値が取得されることになる。
その後、処理はステップS13に戻り、1つズレた位置となる連続部分評価値を取得する。
その後、処理はステップS13に戻り、1つズレた位置となる連続部分評価値を取得する。
これに対して、全ての組み合わせの連続部分評価値を取得した場合には、ステップS14においてYESと判定されて、処理はステップS16に進む。
ステップS16において、特徴部分特定部53は、取得した連続部分評価値のうち、最も値の高い連続部分を特徴部分として特定する。
ステップS17において、画像生成部54は、動画像において特定された特徴部分を切り出して、例えば、新たな動画像を生成する。
その後、特徴部分特定処理は終了する。
その後、特徴部分特定処理は終了する。
<変形例>
上述した実施形態では、連続部分の連続部分評価値の取得を、まず、各フレームの特徴量から、全ての単位フレームの評価値を算出し(1段階目)、次に、全ての単位フレームの評価値に基づいて、連続部分の連続部分評価値を算出する(2段階目)という、2段階の処理で行うように構成したがこれに限られず、1段階の処理で行うように構成してもよい。
上述した実施形態では、連続部分の連続部分評価値の取得を、まず、各フレームの特徴量から、全ての単位フレームの評価値を算出し(1段階目)、次に、全ての単位フレームの評価値に基づいて、連続部分の連続部分評価値を算出する(2段階目)という、2段階の処理で行うように構成したがこれに限られず、1段階の処理で行うように構成してもよい。
例えば、都度、各フレームの特徴量から、直接的に連続部分の連続部分評価値を算出するように構成してもよい。
また、各フレームの特徴量から、特徴量が高いフレームを含む連続部分順に所定数の連続部分評価値を算出するように構成してもよい。この際、先頭のフレームにしてもよいし、中央付近となるようにしてもよい。
また、各フレームの特徴量から、特徴量が高いフレームを含む連続部分順に所定数の連続部分評価値を算出するように構成してもよい。この際、先頭のフレームにしてもよいし、中央付近となるようにしてもよい。
撮影装置1では、長時間記録された動画像から一部を切り出して、複数の動画像から所望の動画像を選択するためのインデックスとして使用したり、切り出した動画像を複数連結してハイライト動画を生成したりすることがある。従来より、固定位置から動画像を切り出して使用したり、画像解析から代表的なフレームを選択したりする技術はあった。
本実施形態の撮影装置1では、撮影時の各種情報(画像解析、撮影情報、センサ情報等)を使用し、ある時間単位での品質をスコア(評価値)として計算し、スコア(評価値)を元に品質の高い動画像の内容を表す代表的な連続するフレームの位置を切り出し位置として決定する。これにより、連続する時間(特徴部分)で品質のよい動画像を切り出すことができる。
本実施形態の撮影装置1では、撮影時の各種情報(画像解析、撮影情報、センサ情報等)を使用し、ある時間単位での品質をスコア(評価値)として計算し、スコア(評価値)を元に品質の高い動画像の内容を表す代表的な連続するフレームの位置を切り出し位置として決定する。これにより、連続する時間(特徴部分)で品質のよい動画像を切り出すことができる。
以上のように構成される撮影装置1は、評価値取得部52と、特徴部分特定部53と、を備える。
評価値取得部52は、動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する。
特徴部分特定部53は、評価値取得部52により算出された複数の部分の連続部分評価値に基づき、動画像のうちの特徴となる所定時間分の連続する部分を特定する。
これにより、撮影装置1においては、動画像のうちの所定時間分の連続する複数の部分の連続部分評価値に基づいて動画像の特徴部分を特定するために、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。
評価値取得部52は、動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する。
特徴部分特定部53は、評価値取得部52により算出された複数の部分の連続部分評価値に基づき、動画像のうちの特徴となる所定時間分の連続する部分を特定する。
これにより、撮影装置1においては、動画像のうちの所定時間分の連続する複数の部分の連続部分評価値に基づいて動画像の特徴部分を特定するために、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。
評価値取得部52は、動画像を構成するフレームのうちの1又は複数フレームの単位フレーム毎に、そのフレームの画像を所定の評価基準で評価した評価値である単位評価値を取得する。
特徴部分特定部53は、評価値取得部52により取得される複数の単位評価値に基づき、動画像のうちの所定時間分の連続する部分を評価した連続部分評価値を算出する。
これにより、撮影装置1においては、単位フレーム毎の単位評価から連続部分評価値に基づいて動画像の特徴部分を特定するために、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。
特徴部分特定部53は、評価値取得部52により取得される複数の単位評価値に基づき、動画像のうちの所定時間分の連続する部分を評価した連続部分評価値を算出する。
これにより、撮影装置1においては、単位フレーム毎の単位評価から連続部分評価値に基づいて動画像の特徴部分を特定するために、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。
評価値取得部52は、複数の単位評価値の和により、連続部分評価値を算出する。
これにより、撮影装置1においては、複数の単位評価値の和により、算出される連続部分評価値で、動画像の特徴部分を特定するために、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。
これにより、撮影装置1においては、複数の単位評価値の和により、算出される連続部分評価値で、動画像の特徴部分を特定するために、動画像の特徴部分を特定すべき時間の長さに応じて適切にように特定することができる。
評価値取得部52は、動画像の撮影中に取得され、フレームに対応付けて記録された情報を所定の評価基準で評価して単位評価値を取得する。
これにより、撮影装置1においては、撮影中に取得された情報に基づくために、動画像の特徴部分をより適切に特定することができる。
これにより、撮影装置1においては、撮影中に取得された情報に基づくために、動画像の特徴部分をより適切に特定することができる。
また、撮影装置1においては、単位フレームは、複数のフレームにより構成される。
評価値取得部52は、単位フレームを構成する複数のフレーム毎の評価値に基づき、単位評価値を取得する。
これにより、撮影装置1においては、特定にかかる処理負担を軽減して、処理速度を速めることができる。
評価値取得部52は、単位フレームを構成する複数のフレーム毎の評価値に基づき、単位評価値を取得する。
これにより、撮影装置1においては、特定にかかる処理負担を軽減して、処理速度を速めることができる。
評価値取得部52は、動画像のうちの所定時間分の連続する部分の先頭を単位フレーム毎にズラしながら連続部分評価値を算出する。
これにより、撮影装置1においては、単位フレームについて網羅的に特徴部分を特定することができる。
これにより、撮影装置1においては、単位フレームについて網羅的に特徴部分を特定することができる。
また、撮影装置は、特徴部分特定部53により特定された動画像のうちの所定時間分の連続する部分を切り出して新たな動画像を生成する画像生成部54を、更に備える。
これにより、撮影装置1においては、特定した特徴部分からその動画像の要約となる新たな動画像を生成することができる。
これにより、撮影装置1においては、特定した特徴部分からその動画像の要約となる新たな動画像を生成することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、特徴量の情報は、動画像のデータとは別に記憶するように構成したが、これに限られず、動画像のデータ内のユーザノート領域(Exif領域)等に記憶するように構成してもよい。
また、上述の実施形態では、動画像の再生時間が長いと処理に時間がかかるので、先頭フレームから所定数のフレームの単位評価値を用いて、連続部分評価値を算出するように構成してもよい。この場合、例えば、1秒ずつズラすのではなく、一定量飛ばしたりして連続部分毎に連続部分評価値を算出するように構成してもよい。また、連続部分評価値は、連続部分を構成する単位フレームの単位評価値の和に限られず、積でもよい。この際、全ての単位フレームの単位評価値を用いずに、先頭/後ろから所定量や、飛ばした位置の単位フレームの単位評価値を用いるように構成してもよい。
また、上述の実施形態では、例えば、最初の方の単位フレームである動画像の開始時間に近い単位フレームに重みを付ける等の単位評価値/連続部分評価値に重み付けを行うように構成してもよい。
また、上述の実施形態では、連続部分を構成する単位フレームの単位評価値の最小値/最大値、中央値、平均値を連続部分評価値とするように構成してもよい。
また、上述の実施形態では、例えば、露出が警告領域となるような特徴量等に禁止項目を設けて、当該禁止項目を含む単位フレームがある場合には、当該単位フレームや単位フレームを含む連続部分を排除して特徴部分として採用しないように構成してもよい。
また、上述の実施形態では、連続部分は、切り出し時間となる特徴部分を単位として、評価を行うように構成したがこれに限られない。評価を行う時間は、任意に設定してもよい。
また、上述の実施形態では、単位時間当たりの特徴量を算出する情報を、特徴部分の特徴に応じて、変えるようにしてもよい。また、特徴量を算出する情報の複数を用いてもよいし、1つの情報を用いて特徴量を算出するように構成してもよい。
また、上述の実施形態では、本発明が適用される撮影装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、特徴部分特定処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
例えば、本発明は、特徴部分特定処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図3の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
換言すると、図3の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部20に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出手段と、
前記算出手段により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定手段と、
を備えることを特徴とする画像特定装置。
[付記2]
動画像を構成するフレームのうちの1又は複数フレームの単位フレーム毎に、そのフレームの画像を所定の評価基準で評価した評価値である単位評価値を取得する取得手段を、更に備え、
前記算出手段は、前記取得手段により取得される複数の単位評価値に基づき、前記動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する、
ことを特徴とする付記1に記載の画像特定装置。
[付記3]
前記算出手段は、前記複数の単位評価値の和により、前記連続部分評価値を算出する、
ことを特徴とする付記2に記載の画像特定装置。
[付記4]
前記取得手段は、前記動画像の撮影中に取得され、フレームに対応付けて記録された情報を所定の評価基準で評価して前記単位評価値を取得する、
ことを特徴とする付記2又は3に記載の画像特定装置。
[付記5]
前記単位フレームは、前記複数のフレームにより構成され、
前記取得手段は、前記単位フレームを構成する前記複数のフレーム毎の評価値に基づき、前記単位評価値を取得する、
ことを特徴とする付記2乃至4の何れか1つに記載の画像特定装置。
[付記6]
前記算出手段は、前記動画像のうちの所定時間分の連続する部分の先頭を単位フレーム毎にズラしながら前記連続部分評価値を算出する、
ことを特徴とする付記2乃至5の何れか1つに記載の画像特定装置。
[付記7]
前記特定手段により特定された前記動画像のうちの所定時間分の連続する部分を切り出して新たな動画像を生成する生成手段を、更に備える、
ことを特徴とする付記2乃至6の何れか1つに記載の画像特定装置。
[付記8]
画像評価装置で実行される画像特定方法であって、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出処理と、
前記算出処理により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定処理と、
を含むことを特徴とする画像特定方法。
[付記9]
画像特定装置を制御するコンピュータに、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出機能と、
前記算出機能により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定機能と、
を実現させることを特徴とするプログラム。
[付記1]
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出手段と、
前記算出手段により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定手段と、
を備えることを特徴とする画像特定装置。
[付記2]
動画像を構成するフレームのうちの1又は複数フレームの単位フレーム毎に、そのフレームの画像を所定の評価基準で評価した評価値である単位評価値を取得する取得手段を、更に備え、
前記算出手段は、前記取得手段により取得される複数の単位評価値に基づき、前記動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する、
ことを特徴とする付記1に記載の画像特定装置。
[付記3]
前記算出手段は、前記複数の単位評価値の和により、前記連続部分評価値を算出する、
ことを特徴とする付記2に記載の画像特定装置。
[付記4]
前記取得手段は、前記動画像の撮影中に取得され、フレームに対応付けて記録された情報を所定の評価基準で評価して前記単位評価値を取得する、
ことを特徴とする付記2又は3に記載の画像特定装置。
[付記5]
前記単位フレームは、前記複数のフレームにより構成され、
前記取得手段は、前記単位フレームを構成する前記複数のフレーム毎の評価値に基づき、前記単位評価値を取得する、
ことを特徴とする付記2乃至4の何れか1つに記載の画像特定装置。
[付記6]
前記算出手段は、前記動画像のうちの所定時間分の連続する部分の先頭を単位フレーム毎にズラしながら前記連続部分評価値を算出する、
ことを特徴とする付記2乃至5の何れか1つに記載の画像特定装置。
[付記7]
前記特定手段により特定された前記動画像のうちの所定時間分の連続する部分を切り出して新たな動画像を生成する生成手段を、更に備える、
ことを特徴とする付記2乃至6の何れか1つに記載の画像特定装置。
[付記8]
画像評価装置で実行される画像特定方法であって、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出処理と、
前記算出処理により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定処理と、
を含むことを特徴とする画像特定方法。
[付記9]
画像特定装置を制御するコンピュータに、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出機能と、
前記算出機能により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定機能と、
を実現させることを特徴とするプログラム。
1・・・撮影装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・センサ部,18・・・入力部,19・・・出力部,20・・・記憶部,21・・・通信部,22・・・ドライブ,31・・・リムーバブルメディア,51・・・情報取得部,52・・・評価値取得部,53・・・特徴部分特定部,54・・・画像生成部,71・・・画像記憶部,72・・・特徴量記憶部
Claims (9)
- 動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出手段と、
前記算出手段により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定手段と、
を備えることを特徴とする画像特定装置。 - 動画像を構成するフレームのうちの1又は複数フレームの単位フレーム毎に、そのフレームの画像を所定の評価基準で評価した評価値である単位評価値を取得する取得手段を、更に備え、
前記算出手段は、前記取得手段により取得される複数の単位評価値に基づき、前記動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する、
ことを特徴とする請求項1に記載の画像特定装置。 - 前記算出手段は、前記複数の単位評価値の和により、前記連続部分評価値を算出する、
ことを特徴とする請求項2に記載の画像特定装置。 - 前記取得手段は、前記動画像の撮影中に取得され、フレームに対応付けて記録された情報を所定の評価基準で評価して前記単位評価値を取得する、
ことを特徴とする請求項2又は3に記載の画像特定装置。 - 前記単位フレームは、前記複数のフレームにより構成され、
前記取得手段は、前記単位フレームを構成する前記複数のフレーム毎の評価値に基づき、前記単位評価値を取得する、
ことを特徴とする請求項2乃至4の何れか1項に記載の画像特定装置。 - 前記算出手段は、前記動画像のうちの所定時間分の連続する部分の先頭を単位フレーム毎にズラしながら前記連続部分評価値を算出する、
ことを特徴とする請求項2乃至5の何れか1項に記載の画像特定装置。 - 前記特定手段により特定された前記動画像のうちの所定時間分の連続する部分を切り出して新たな動画像を生成する生成手段を、更に備える、
ことを特徴とする請求項2乃至6の何れか1項に記載の画像特定装置。 - 画像評価装置で実行される画像特定方法であって、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出処理と、
前記算出処理により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定処理と、
を含むことを特徴とする画像特定方法。 - 画像特定装置を制御するコンピュータに、
動画像のうちの所定時間分の連続する複数の部分を各々評価した連続部分評価値を算出する算出機能と、
前記算出機能により算出された前記複数の部分の連続部分評価値に基づき、前記動画像のうちの特徴となる所定時間分の連続する部分を特定する特定機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226131A JP2017098637A (ja) | 2015-11-18 | 2015-11-18 | 画像特定装置、画像特定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226131A JP2017098637A (ja) | 2015-11-18 | 2015-11-18 | 画像特定装置、画像特定方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017098637A true JP2017098637A (ja) | 2017-06-01 |
Family
ID=58818180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015226131A Pending JP2017098637A (ja) | 2015-11-18 | 2015-11-18 | 画像特定装置、画像特定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017098637A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089711A (ja) * | 2019-12-18 | 2021-06-10 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. | 動画ブレの検出方法及び装置 |
JP7486337B2 (ja) | 2020-04-15 | 2024-05-17 | 日本放送協会 | 映像抽出装置及びプログラム |
-
2015
- 2015-11-18 JP JP2015226131A patent/JP2017098637A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021089711A (ja) * | 2019-12-18 | 2021-06-10 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. | 動画ブレの検出方法及び装置 |
JP7079294B2 (ja) | 2019-12-18 | 2022-06-01 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 動画ブレの検出方法及び装置 |
US11546577B2 (en) | 2019-12-18 | 2023-01-03 | Beijing Baidu Netcom Science Technology Co., Ltd. | Video jitter detection method and apparatus |
JP7486337B2 (ja) | 2020-04-15 | 2024-05-17 | 日本放送協会 | 映像抽出装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4678603B2 (ja) | 撮像装置及び撮像方法 | |
JP4582423B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
KR101566081B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기억 매체 | |
JP2011010275A (ja) | 画像再生装置及び撮像装置 | |
US20150003676A1 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
JP5713055B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2008141437A (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
JP2017069776A (ja) | 撮像装置、判定方法及びプログラム | |
JP2009053448A (ja) | 電子カメラ | |
JP6149854B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
JP2015119323A (ja) | 撮像装置、画像取得方法及びプログラム | |
JP2014187551A (ja) | 画像取得装置、画像取得方法及びプログラム | |
US20130293741A1 (en) | Image processing apparatus, image capturing apparatus, and storage medium storing image processing program | |
JP2017098637A (ja) | 画像特定装置、画像特定方法及びプログラム | |
JP6210106B2 (ja) | 撮影装置、画像評価方法及びプログラム | |
CN104935807A (zh) | 摄像装置以及摄像方法 | |
KR102421994B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP6427859B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6521133B2 (ja) | 撮像制御装置、撮像制御方法、及び、プログラム | |
JP2017060133A (ja) | 電子機器、撮像制御方法、画像処理方法及びプログラム | |
JP2017098636A (ja) | 画像評価装置、画像評価方法及びプログラム | |
JP6372176B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008048152A (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP2016127419A (ja) | 画像補正装置、画像補正方法及びプログラム |