JP2021111835A - 画像処理装置、画像処理方法、プログラム、および、システム - Google Patents

Abstract

【課題】動画再生時において、容易にユーザの意図に沿ったシーンを表示させること。【解決手段】時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、時間情報、角度情報、および、速度情報の少なくとも１つに基づいて、動画データから、コマ送り画像を抽出し、複数のコマ送り画像を含むコマ送りデータを生成する生成部と、動画データとコマ送り画像データを表示部に切り替え可能に表示させる表示制御部とを有する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラム、および、システムに関する。

近年、動画コンテンツが様々なシーンで活用されており、動画コンテンツを視聴する機会が増えている。特許文献１では、メンテナンスなどのガイダンス動画を再生する場合に、複数のジャンプ先の候補を表示することで、ユーザによる動画像の再生の時刻の選択を容易にしている。
特開２０１８−７９５８７号公報

しかしながら、所定の動作を動画で確認する場合、細かく動作の内容確認したい場合があるが、特許文献１の再生装置では、ジャンプ先の時刻以外で停止することが難しい。このため、ユーザが確認したい動作の時刻で動画を停止できない場合がある。

本発明は、例えば、動画再生時において、ユーザの意図に沿ったシーンを表示させることを目的とする。

上記課題を解決するために、本発明は、時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、時間情報、角度情報、および、速度情報の少なくとも１つに基づいて、動画データから、コマ送り画像を抽出し、複数のコマ送り画像を含むコマ送りデータを生成する生成部と、動画データとコマ送り画像データを表示部に切り替え可能に表示させる表示制御部とを有することを特徴とする。

本発明によれば、例えば、動画再生時において、容易にユーザの意図に沿ったシーンを表示させることができる。

第１の実施形態に係る画像処理装置のブロック図である。 第１の実施形態に係るデータの生成処理と表示処理の一例を示すフローチャートである。 コマ送り画像に切り替わった表示画面の一例を示す図である。 コマ送り画像データから動画データへの切り替え操作を説明する図である。 第１の実施形態に係るコマ送り画像データの生成方法を説明する図である。 コマ送り画像の一覧表示の画面例を示す図である。 コマ送り画像を保存する場合の画面例を示す図である。 複数のデータを同時に表示させる画面例を示す図である。 第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する方法を説明する図である。 第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する処理の一例を示すフローチャートである。 画像処理システムのブロック図である。 サーバにおけるデータの再生処理の一例を示すフローチャートである。

以下、本発明を実施するための形態について図面などを参照して説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００のブロック図である。画像処理装置１００は、センサ部１１０と、撮影部１２０と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０と、操作部１４０と、表示部１５０と、通信部１６０と、記憶部１７０と、を有する。本実施形態において、画像処理装置１００は、一例として、いわゆるスマートフォンと呼ばれる携帯情報端末である場合を例に挙げて説明する。ただし、画像処理装置１００は、センサ部１１０および撮影部１２０を備えていれば良く、タブレット端末や、カメラ付き携帯電話等の携帯情報端末であってもよいし、コンピュータであってもよく、これらに限られない。

センサ部１１０は、画像処理装置１００の動きを検知し、センサ情報として撮影部１２０出力する。ここで、センサ情報には、動画データの撮影時における撮影部１２０の回転角に関する情報（角度情報）と、撮影時における撮影部１２０の移動速度に関する情報（速度情報）が含まれる。センサ部１１０は、例えば、重量加速度センサや、地磁気センサ、ジャイロセンサ等の多様なセンサで実現されてよい。

撮影部１２０は、レンズ等の光学素子、および、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、Ａ／Ｄ（Ａｎａｌｏｇ/Ｄｉｇｉｔａｌ）変換器を含み得る。撮影部１２０は、例えばスマートフォンのカメラ機能などであって良い。撮影部１２０は、センサ部１１０からのセンサ情報に基づいて、角度情報および速度情報を含む動画データを生成する。また、撮影部１２０によって生成される動画データには、撮影日時および撮影開始からの経過時間に関する情報（時間情報）が含まれる。

ＣＰＵ１３０は、プログラムを実行することにより画像処理装置１００の処理を制御する。ＣＰＵ１３０は、後述する記憶部１７０に記憶されたプログラムを実行することにより、画像処理装置１００の処理を制御しても良い。なお、ＣＰＵ１３０の機能は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサや、集積回路により実現されてもよい。ＣＰＵ１３０は、システム制御部１３１、取得部１３２、および、生成部１３３を含む。

システム制御部１３１は、画像処理装置１００の各部を制御する制御手段である。システム制御部１３１は、例えば、後述する操作部１４０に対するユーザの入力を検知し、これに基づいて、画像処理装置１００の各部を制御する。

取得部１３２は、撮影部１２０から動画データを取得する。本実施形態において、画像処理装置１００はセンサ部１１０を備えるため、撮影部１２０から取得される動画データには、時間情報、角度情報および速度情報が含まれる。なお、取得部１３２は、外部装置から動画データを取得することも可能である。この場合、取得部１３２によって取得される動画データには、時間情報のみしか含まれない場合もあり得る。

生成部１３３は、取得した動画データに含まれる時間情報、角度情報、および、速度情報の少なくとも１つに基づいて、該動画データから所定の間隔で静止画像を抽出することで、複数のコマ送り画像を抽出する。この複数のコマ送り画像を含むデータを、コマ送りデータという。

操作部１４０は、ユーザ操作を受け付けるための入力デバイスである。操作部１４０は、例えば、キーボード、マウス、タッチスクリーンなどを含む。なお、本実施形態において、操作部１４０は、一例としてタッチスクリーンであるものとする。

表示部１５０は、システム制御部１３１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。つまり、システム制御部１３１は、表示部１５０の表示を制御する表示制御部として機能すると言える。システム制御部１３１は、プログラムに従い表示制御信号を生成し、表示部１５０に表示するための映像信号を生成して表示部１５０に出力するように画像処理装置１００の各部を制御する。表示部１５０は出力された映像信号に基づいて映像を表示する。本実施形態において、表示部１５０は、システム制御部１３１の制御に基づいて、動画データとコマ送り画像データを切り替え可能に表示する。表示部１５０は、通常の携帯型機器のようにＬＣＤパネルで実現されてよいが、必ずしもそれに限定されるものではない。

なお、表示部１５０は、タッチスクリーンで実現されてよい。この場合、ユーザはタッチスクリーンを直接タッチすることで、撮影指示などの多様な指示の入力を行う。

通信部１６０は、外部機器やインターネットなどと通信して、ファイルやコマンドなどの各種データの送受信を行う。通信部１６０において用いられる通信方式は、無線または有線通信規格である。

記憶部１７０は、画像処理装置１００の処理を実行するためのプログラムや、設定情報、センサ情報および画像情報を記憶する。ここで、画像情報は、動画データや、後述するコマ送り画像データを含む。また、記憶部１７０は、ＣＰＵ１３０が処理を実行する際の記憶領域としても機能する。記憶部１７０は、画像処理装置１００そのものに設けられた内部メモリであってよいが、例えば、画像処理装置１００に装着および分離が容易なメモリカード、ＵＳＢメモリスティック等であってよい。または、画像処理装置１００と有線または無線インターフェースを通じて接続された外部記録ユニットであってよい。

次に、図２を参照して第１の実施形態に係るデータの生成処理と表示処理について説明する。図２は、第１の実施形態に係るデータの生成処理と表示処理の一例を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、システム制御部１３１による各部の制御によって実行されうる。

まず、取得部１３２は、動画データを取得する（Ｓ２０１）。動画データは、例えば、外部装置から通信部１６０を介して、撮影部１２０から、または、記憶部１７０から取得される。次に、生成部１３３は、取得された動画データに角度情報および速度情報の少なくとも一方が含まれるかを判断する（Ｓ２０２）。Ｓ２０２において、角度情報および速度情報のいずれも含まれないと判断された場合（Ｎｏ）、生成部１３３は、動画データから時間情報に基づく間隔で、静止画像を抽出し（Ｓ２０３）、コマ送り画像データを生成する（Ｓ２０５）。一方、Ｓ２０２において、角度情報および速度情報の少なくとも一方が含まれると判断された場合（Ｙｅｓ）、生成部１３３は、動画データから角度情報または速度情報に基づく間隔で、静止画像を抽出し（Ｓ２０４）、コマ送り画像データを生成する（Ｓ２０５）。なお、コマ送り画像データの生成方法の詳細については後述する。

次に、システム制御部１３１は、表示部１５０に動画データとコマ送り画像データを切り替え可能に表示させる。ここで、動画データとコマ送り画像データを切り替え可能とする表示方法について説明する。システム制御部１３１は、例えば、ユーザによって動画データの再生が選択されている場合には、コマ送り画像データに動画データを重畳させて表示部１５０に表示させる。この場合、表示部１５０には動画データのみが表示されているように見える。一方、ユーザによってコマ送り画像データの表示が選択されている場合には、動画データにコマ送り画像データを重畳させて表示部１５０に表示させる。この場合、表示部１５０にはコマ送り画像データのみが表示されているように見える。なお、この場合、動画データとコマ送り画像データは同期して動作する。本実施形態では、一例として、コマ送り画像データの生成後、まず、表示部１５０に動画データを表示させ、再生する（Ｓ２０６）。なお、ユーザによって、動画を再生する指示が操作部１４０によって入力された後に動画を再生させても良い。

その後、システム制御部１３１は、表示部１５０に表示されるデータを、動画データからコマ送り画像データに切り替えるための所定の操作（第１の操作）がされたかを判定する（Ｓ２０７）。なお、ここで、第１の操作は、一例としてフリック操作であるものとするが、これに限られるものではない。また、ここで、フリック操作は、タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をいう。Ｓ２０７において、フリック操作がされたと判断された場合（Ｙｅｓ）、システム制御部１３１は、表示部１５０の表示を動画データからコマ送り画像データに切り替え、コマ送り画像を表示部１５０に表示させる（Ｓ２０８）。即ち、本実施形態では、動画データにコマ送り画像データを重畳させて表示部１５０に表示させる。上述したように、動画データとコマ送り画像データは同期して動作するため、フリック操作が検知された時点において、両データは同一時刻の画像を表示していることとなる。具体的には、５分００秒（５：００）の長さの動画データが再生されているとして、再生後、１：３０時点で、フリック操作がされたとする。この場合、１：３０時点におけるコマ送り画像が表示部１５０に表示される。よって、表示部１５０は、外観上、単に一時停止している状態に見える。図３は、コマ送り画像に切り替わった表示画面の一例を示す図である。この状態において、さらにフリック操作をすると、次のコマ送り画像が表示される。言い換えると、システム制御部１３１は、操作部１４０においてフリック操作を検知した場合に、フリック操作が検知されていた時に表示部１５０に表示されていた画像の次のコマ送り画像を表示させる。

図２に戻り、システム制御部１３１は、表示部１５０に表示されるデータを、コマ送り画像データから動画データに切り替えるための所定の操作（第２の操作）がされたかを判定する（Ｓ２０９）。なお、ここで、第２の操作は、一例としてダブルタップ操作であるものとするが、これに限られるものではない。第２の操作は、第１の操作と異なる操作であっても良いし、同じ操作であっても良い。また、ここで、ダブルタップ操作は、タッチパネル上に指を素早く２回タッチするといった操作をいう。Ｓ２０９において、ダブルタップ操作がされたと判断された場合（Ｙｅｓ）、システム制御部１３１は、表示部１５０の表示をコマ送り画像データから動画データに切り替え、動画データを表示部１５０に表示させる（Ｓ２１０）。即ち、本実施形態では、コマ送り画像データに動画データを重畳させて表示部１５０に表示させる。図４は、コマ送り画像データから動画データへの切り替え操作を説明する図である。操作部１４０がダブルタップ操作を検知することにより、表示部１５０の表示が動画データへと切り替わり、再び動画データが再生される。

図２に戻り、その後、動画が終了、または、終了操作がされるまで、Ｓ２０６〜Ｓ２１０を繰り返す。なお、処理の途中で終了操作がされた場合には、処理を終了する。このような構成とすることにより、容易にユーザの意図に沿ったシーンを表示させることができ、例えば、複雑な動作を動画で覚える場合等に便利である。

なお、上述のフローでは、動画データとコマ送り画像データと同期させ、かつ、重畳して表示することにより、表示部１５０に表示させるデータの切り替えを行うこととしたが、これに限られるものではない。例えば、動画データとコマ送り画像データのそれぞれに含まれる時間情報を用いて、切り替えることも可能である。

次に、図５を参照して、コマ送り画像データの生成方法について説明する。図５は、第１の実施形態に係るコマ送り画像データの生成方法を説明する図である。図５（Ａ）は、時間情報に基づいてコマ送り画像データを生成する方法を説明する図である。動画データが、角度情報および速度情報のいずれも含まない場合、生成部１３３は、動画データから等間隔で静止画像を抽出して、コマ送り画像データを生成する。図５（Ａ）に示す例では、生成部１３３は、時刻ｔ_０〜ｔ_１において静止画像Ａ_１〜Ａ_５、つまり、５枚の静止画像を等間隔で抽出している。時間情報に基づいてコマ送り画像データを生成する場合、生成部１３３は、動画の開始時刻ｔ_０から動画の終了時刻ｔ₆まで等間隔で静止画像を抽出し、コマ送り画像データを生成する。

一方、動画データが、角度情報および速度情報の少なくとも一方を含む場合、生成部１３３は、生成部１３３は、角度情報または速度情報に基づく間隔で動画データから静止画像を抽出して、コマ送り画像データを生成する。図５（Ｂ）は、角度情報または速度情報に基づいてコマ送り画像データを生成する方法を説明する図である。本図の例では、時刻ｔ₀〜ｔ₁および時刻ｔ₃〜ｔ₄では撮影部１２０が単位時間当たり１５°動いたという角度情報が含まれており、時刻ｔ₁〜ｔ₃では撮影部１２０が単位時間当たり１０°動いたという角度情報が含まれており、時刻ｔ₄〜ｔ₆では撮影部１２０が単位時間当たり２０°動いたという角度情報が含まれているものとする。角度情報または速度情報に基づいて、コマ送り画像データを生成する場合、動画の開始時刻ｔ_０から動画の終了時刻ｔ₆における、静止画像を抽出する間隔は、角度情報または速度情報に応じて変動する。

本図に示す例では、生成部１３３は、時刻ｔ₁〜ｔ₂において静止画像Ｂ_１〜Ｂ₇、つまり、７枚の静止画像を抽出している。時刻ｔ₀〜ｔ₁では、５枚の静止画像が抽出されていることから、時刻ｔ₁〜ｔ₂では、時刻ｔ₀〜ｔ₁よりも短い間隔で静止画像が抽出されていることがわかる。一方、時刻ｔ₄〜ｔ₅において、生成部１３３は静止画像Ｃ_１〜Ｃ₄、つまり、４枚の静止画像を抽出している。つまり、時刻ｔ₄〜ｔ₅では、時刻ｔ₀〜ｔ₁よりも長い間隔で静止画像が抽出されていることがわかる。すなわち、生成部１３３は、動画データに含まれる単位時間あたりの角度情報の値が大きい、または、速度情報の値が大きいほど、静止画像を抽出する間隔を長くして、コマ送りデータを生成する。

単位時間当たりの角度情報の値が大きい、または、速度情報の値が大きいほど、ユーザは撮影時において、撮影部１２０をより早く動かしていることになる。このような場合、ユーザは被写体を細かく観察することを意図せずに被写体を撮影したことが考えられる。一方、単位時間当たりの角度情報の値が小さい、または、速度情報の値が小さいほど、ユーザは撮影時において、撮影部１２０をよりゆっくりと動かしていることになる。このような場合、ユーザは被写体を細かく観察することを意図して被写体を撮影したことが考えられる。よって、上述のような方法でコマ送りデータを生成することにより、ユーザの意図に沿ったコマ送りデータを生成することが可能となる。

なお、角度情報または速度情報に応じた前記間隔の設定については、例えば、角度情報または速度情報の値と、それに応じた間隔に関する情報を含むテーブル等を記憶部１７０に記憶させておき、該テーブル等を用いて設定しても良いし、演算により間隔を設定しても良い。

なお、静止画像を抽出する間隔は、時間情報に基づく場合も、角度情報または速度情報に基づく場合もユーザの操作によって変更可能である。静止画像を抽出する間隔を短くすることにより、コマ送り画像データの動きのスムーズ度が上昇する。

また、システム制御部１３１は、コマ送り画像データのそれぞれのコマ送り画像を表示部１５０に一覧表示させることも可能である。図６は、コマ送り画像の一覧表示の画面例を示す図である。例えば、アイコン３０１をタップすることにより、コマ送り画像データの一覧が表示部１５０に表示される。一覧から、任意のコマ送り画像を、例えば、タップすることにより選択すると、選択されたコマ送り画像が表示部１５０に表示される。さらに、この状態で、コマ送り画像データから動画データに切り替えるための所定の操作をすることにより、選択されたコマ送り画像の時点から動画を再生することができ、動画再生における操作性をさらに向上させることができる。

また、コマ送り画像を１つの画像データとして、例えば、記憶部１７０に保存することも可能である。図７は、コマ送り画像を保存する場合の画面例を示す図である。例えば、コマ送り画像の一覧表示から、保存したいコマ送り画像を選択する。そして、アイコン３０２をタップすることにより、コマ送り画像を１つの画像データとして保存することができる。これにより、ユーザの意図に応じたシーンを画像として保存することが可能となる。

さらに、システム制御部１３１は、複数のデータを同時に表示部１５０に表示させることもできる。図８は、複数のデータを同時に表示させる画面例を示す図である。任意のデータを、例えば、記憶部１７０から１または複数選択し、表示部１５０表示させる。ここで、選択されるデータは、動画データであっても良いし、動画データとコマ送り画像データを含むデータであっても良い。コマ送り画像データが含まれない動画データが選択された場合、上述の処理によって、動画データとコマ送り画像データを含むデータを生成する。本図では、一例として、表示部１５０にデータ４０１とデータ４０２が表示されている。データ４０１とデータ４０２は、同一のデータであっても良いし、異なるデータであっても良い。同一のデータを同時に表示させる場合は、同一データに含まれる異なるシーンを容易に比較することができる。また、異なるデータである場合は、複数のデータを容易に比較することができる。なお、同時に表示させるデータの数は２つに限られない。

また、データ４０１とデータ４０２に対する操作は、同期させても良いし、それぞれに対して操作することも可能である。同期させる場合、複数の異なるデータを比較する場合に、操作しやすい。一方、それぞれに対して操作する場合は、より柔軟にそれぞれのデータからシーンを選択することが可能となる。

以上、第１の実施形態によれば、動画再生時において、容易にユーザの意図に沿ったシーンを表示させることができる。

（第２の実施形態）
動画データが、角度情報または速度情報を含む場合であっても、動画データに動きが検知されなかった期間が含まれている場合がある。このような場合に対応するため、第２の実施形態では、時間情報、および、角度情報または速度情報を用いて、コマ送り画像データを生成する。なお、第１の実施形態と同様の構成は同符号で示し、説明は省略する。

まず、図９を参照して説明する。図９は、第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する方法を説明する図である。本図では、時刻ｔ₀〜ｔ₁および時刻ｔ₃〜ｔ₄では撮影部１２０の動きがセンサ部１１０によって検知されなかったという情報が含まれている。一方、時刻ｔ₁〜ｔ₃では撮影部１２０の動きが検知され、単位時間当たり１０°動いたという角度情報が含まれており、時刻ｔ₄〜ｔ₆でも撮影部１２０の動きが検知され、単位時間当たり２０°動いたという角度情報が含まれている例について説明する。すなわち、時刻ｔ₀〜ｔ₁および時刻ｔ₃〜ｔ₄は、角度の変化が検出されない期間であり、時刻ｔ₁〜ｔ₃および時刻ｔ₄〜ｔ₆は、角度の変化が検出される期間である。

本図に示す例では、生成部１３３は、時刻ｔ₀〜ｔ₁および時刻ｔ₃〜ｔ₄では、動画データから時間情報に基づく間隔で静止画像を抽出して、コマ送り画像データを生成する。一方、時刻ｔ₁〜ｔ₃および時刻ｔ₄〜ｔ₆では、角度情報または速度情報に基づく間隔で静止画像を抽出して、コマ送り画像データを生成する。なお、本実施形態では、角度の変化が検出されるか否かを例に説明するが、速度が検出されるか否かでも同様に適応することができる。

動画データのうち、前記動きが検知されない期間は、被写体によっては、シーンの変化が乏しい場合が考えられる。このような期間において、時間情報に基づく間隔でコマ送り画像データを生成することにより、よりユーザの意図に沿ったコマ送り画像データを生成することが可能となる。

図１０は、第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する処理の一例を示すフローチャートである。本図の処理は、第１の実施形態の図２のＳ２０４の工程に相当する。このフローチャートで示す各動作（ステップ）は、システム制御部１３１による各部の制御によって実行されうる。

まず、生成部１３３は、動画データにおいて、撮影部１２０の動きが検知されているかを判断する（Ｓ５０１）。Ｓ５０１において、動きがないと判断された場合（Ｎｏ）、生成部１３３は、時間情報に基づく間隔で静止画像を抽出する（Ｓ５０２）。一方、Ｓ５０１において、動きがあると判断された場合（Ｙｅｓ）、角度情報または速度情報に基づく間隔で静止画像を抽出して、コマ送り画像データを生成する（Ｓ５０３）。Ｓ５０１〜Ｓ５０３を動画データの終了時刻まで繰り返す（Ｓ５０４）。

第２の実施形態によれば、よりユーザの意図に沿ったコマ送り画像データを生成することが可能なり、よりユーザの意図に沿ったシーンを表示させることができる。

（画像処理システムの実施形態）
本実施形態では、上述の画像処理装置１００を含む画像処理システム１０００について説明する。なお、上述の実施形態と同様の構成は同符号で示し、説明は省略する。図１１は、画像処理システム１０００のブロック図である。画像処理システム１０００は、画像処理装置１００、サーバ６００、端末７００を含む。

端末７００は、例えば、スマートフォンと呼ばれる携帯情報端末である。ただし、端末７００は、表示部７０１を備えており、かつ、ネットワーク８００を介してサーバ６００と通信可能であれば良い。よって、端末７００は、タブレット端末や、携帯電話等の携帯情報端末であってもよいし、コンピュータであってもよく、これらに限られない。なお、端末７００は、センサ部１１０および撮影部１２０に相当する機能を有していなくても良い。なお、本実施形態において、表示部７０１は、一例としてタッチスクリーンであり、操作部としての機能を備えるものとする。

サーバ６００は、動画データとコマ送り画像データを含むデータ（以降、単にデータという）を、例えば、画像処理装置１００と端末７００との間で共有するためのサービスを提供する。データは、例えば、画像処理装置１００から、ネットワーク８００を介してアップロードされる。データがサーバ６００にアップロードされると、サーバ６００は、データに対応するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｅｒｃｅ Ｌｏｃａｔｏｒ）やコードを出力する。サーバ６００により提供されるサービスは、対象とするユーザを登録会員に限定してもよく、また一般に開放してもよい。

サーバ６００は、通信部６１０、記憶部６２０、再生部６３０、および、制御部６４０を含む。通信部６１０は、外部機器やインターネットなどと通信して、ファイルやコマンドなどの各種データの送受信を行う。記憶部６２０は、サーバ６００の処理を実行するためのプログラムや、画像処理装置１００からアップロードされたデータを記憶する。また、記憶部６２０は、制御部６４０が処理を実行する際の記憶領域としても機能する。

再生部６３０は、ネットワーク８００を介して、端末７００の表示部７０１に画像処理装置１００からアップロードされたデータを表示させる。具体的には、例えば、端末７００が、サーバ６００から出力されたＵＲＬやコードを読み込むことにより、サーバ６００と通信する。これにより、画像処理装置１００からアップロードされた、該当のデータを端末７００で表示することができる。また、再生部６３０は、端末７００がサーバ６００と通信を行う際に用いたブラウザに応じてプレイヤーを選択し、選択されたプレイヤーを用いて、データを再生する。

制御部６４０は、例えば、ＣＰＵを含み、サーバ６００の各部を制御する制御手段である。制御部６４０は、例えば、後述する処理を実行するため、サーバ６００の各部を制御する。

次に、図１２を参照してサーバ６００におけるデータの再生処理について説明する。図１２は、サーバ６００におけるデータの再生処理の一例を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、制御部６４０による各部の制御によって実行されうる。なお、本フローチャートのＳ８０２〜８０７のステップは、第１の実施形態のＳ２０６〜Ｓ２１１と同様であるため、説明を簡略化する。

まず、再生部６３０は、端末７００がサーバ６００と通信を行う際に用いたブラウザに応じてプレイヤーを選択する（Ｓ８０１）。そして、再生部６３０は、通信部６１０を介して端末７００の表示部７０１に動画データとコマ送り画像データを切り替え可能に表示させ、再生する（Ｓ８０２）。

その後、制御部６４０は、表示部７０１に表示されるデータを、動画データからコマ送り画像データに切り替えるための所定の操作（第１の操作）がされたかを判定する（Ｓ８０３）。なお、ここで、第１の操作は、一例としてフリック操作であるものとするが、これに限られるものではない。Ｓ８０３において、フリック操作がされたと判断された場合（Ｙｅｓ）、制御部６４０は、表示部７０１の表示を動画データからコマ送り画像データに切り替え、コマ送り画像を表示部７０１に表示させる（Ｓ８０４）。

そして、制御部６４０は、表示部７０１に表示されるデータを、コマ送り画像データから動画データに切り替えるための所定の操作（第２の操作）がされたかを判定する（Ｓ８０５）。なお、ここで、第２の操作は、一例としてダブルタップ操作であるものとするが、これに限られるものではない。Ｓ８０５において、ダブルタップ操作がされたと判断された場合（Ｙｅｓ）、制御部６４０は、表示部７０１の表示をコマ送り画像データから動画データに切り替え、動画データを表示部７０１に表示させる（Ｓ８０６）。その後、動画が終了、または、終了操作がされるまで、Ｓ８０２〜Ｓ８０６を繰り返す（Ｓ８０７）。このような構成とすることにより、撮影部またはセンサ部を有さない端末においても、容易にユーザの意図に沿ったシーンを表示させることができる。

なお、本実施形態においては、画像処理装置１００からアップロードされた動画データとコマ送り画像データを含むデータを、サーバ６００を用いて端末７００に表示させる実施形態について説明した。しかし、例えば、サーバ６００が生成部１３３に相当する機能を備えていてもよい。この場合、サーバ６００に動画データをアップロードすることで、動画データとコマ送り画像データを含むデータを生成することが可能となる。

（その他の実施形態）
以上、以上、本発明の好ましい実施形態について詳述したが、本発明は、コンピュータに上述の方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置又は画像処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は、上記に説明した実施形態等に限定されるものではない。したがって、特許請求の範囲に記載された本発明の要旨の範囲内において、実施形態は、種々の変形又は変更が可能である。

１００ 画像処理装置
１１０ センサ部
１２０ 撮影部
１３１ システム制御部
１３２ 取得部
１３３ 生成部
１４０ 操作部
１５０ 表示部
６００ サーバ
６３０ 再生部
６４０ 制御部
７００ 端末
８００ ネットワーク
１０００ 画像処理システム

上記課題を解決するために、本発明の一実施形態は、時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、時間情報、角度情報、および、速度情報の少なくとも１つに基づいて、動画データから、コマ送り画像を抽出し、複数のコマ送り画像を含むコマ送りデータを生成する生成部と、動画データとコマ送りデータを表示部に切り替え可能に表示させる表示制御部とを有し、生成部は、動画データから所定の間隔で静止画像を抽出することで、コマ送りデータを生成し、動画データが時間情報および角度情報、または、速度情報を含む場合に、動画データに含まれる時間情報の単位時間あたりの角度情報の値が大きい、または、速度情報の値が大きいほど、静止画像を抽出する間隔を長くして、コマ送りデータを生成することを特徴とする。

Claims (12)

1. 時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、
   前記時間情報、前記角度情報、および、前記速度情報の少なくとも１つに基づいて、前記動画データから、コマ送り画像を抽出し、複数の前記コマ送り画像を含むコマ送りデータを生成する生成部と、
   前記動画データと前記コマ送り画像データを表示部に切り替え可能に表示させる表示制御部とを有することを特徴とする画像処理装置。
2. 操作部を有し、
   前記表示制御部は、前記操作部において第１の操作を検知した場合に、前記第１の操作が検知されていた時に前記表示部に表示されていた画像の次のコマ送り画像を表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記表示部に前記動画データが表示されている時に、前記操作部において前記第１の操作を検知した場合に、前記コマ送り画像の表示に切り替えることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御部は、前記表示部に前記コマ送り画像データが表示されている時に、前記操作部において第２の操作を検知した場合に、前記動画データの表示に切り替えることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記表示制御部は、前記生成部が抽出した前記複数のコマ送り画像を一覧で前記表示部に表示させることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記表示制御部は、第１の動画データと前記第１の動画データから生成した第１のコマ送りデータとを含む第１のデータと、第２の動画データと前記第２の動画データから生成した第２のコマ送りデータとを含む第２のデータ、を同時に前記表示部に表示させる請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成部は、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送り画像データを生成し、前記動画データが前記時間情報および前記角度情報、または、前記速度情報を含む場合に、前記動画データに含まれる時間情報の単位時間あたりの前記角度情報の値が大きい、または、前記速度情報の値が大きいほど、前記静止画像を抽出する間隔を長くして、前記コマ送りデータを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成部は、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送り画像データを生成し、前記間隔は変更可能であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成部は、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送り画像データを生成し、前記動画データが前記時間情報、および、前記角度情報または前記速度情報を含む場合に、前記動画データのうち、角度の変化または速度が検出される期間については、前記角度情報または前記速度情報に基づく間隔で前記静止画像を抽出し、前記角度の変化または前記速度が検出されない期間については、前記時間情報に基づく間隔で前記静止画像を抽出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
   
10. 時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得工程と、
    前記時間情報、前記角度情報、および、前記速度情報の少なくとも１つに基づいて、前記動画データから、コマ送り画像を抽出し、複数の前記コマ送り画像を含むコマ送りデータを生成する生成工程と、
    前記動画データと前記コマ送り画像データを表示部に切り替え可能に表示させる表示工程とを含むことを特徴とする画像処理方法。
11. 請求項１０に記載の方法をコンピュータに実行させるためのプログラム。
12. 請求項１乃至９のいずれか１項に記載の画像処理装置と、前記画像処理装置とネットワークを介して通信可能なサーバと、前記サーバと前記ネットワークを介して通信可能な端末と、を含む画像処理システムであって、
    前記サーバは、前記動画データと、前記コマ送り画像データを前記端末に表示させる再生部を備えることを特徴とする画像処理システム。

Images