JP2008028948A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画及び静止画を記録日時順に再生する場合、同一日時に記録された動画及び静止画があっても、ひと続きの動画の再生を途中で途切れさせること無く同期再生できるようにする。
【解決手段】動画及び静止画の記録日時を検出し、検出された動画及び静止画の記録日時を比較し、さらに、前記動画の区切り位置を検出する。そして、前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行うようにして、動画及び静止画を記録日時順に再生する場合、同一日時に記録された動画及び静止画があっても、ひと続きの動画の再生を途中で途切れさせること無く同期再生できるようにする。
【選択図】図１

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、複数の画像記録方法で記録された画像を再生するために用いて好適な技術に関する。

従来、複数の記録媒体に記録された画像を記録日時順に再生するものがある。例えば、動画と静止画との双方を撮影可能なデジタルビデオカメラを使用して、テープに記録した動画とフラッシュメモリに記録した静止画を、記録日時順に再生する技術が知られている（例えば、特許文献１参照）。前記技術は、動画と動画とのつなぎ目に静止画が記録されている場合に、ユーザによる再生モードの切り替え操作なしに動画と静止画とを記録日時順に再生するものである。

特開２００２−２６２２４１号公報

しかしながら、前記技術は動画と動画とのつなぎ目に静止画が記録されている場合に、動画と静止画を記録日時順に再生するものであり、動画の記録時間中に静止画が記録されている場合の再生方法については言及されていない。

また、デジタルビデオカメラとデジタルカメラなど、複数の撮影装置を用いて同一のシーンを記録した場合に、これら複数の装置を同時進行して記録日時順に再生可能な装置、方法はない。なお、単純に記録日時順に動画及び静止画を再生する方法では、同一日時に記録された動画及び静止画の場合、ひと続きの動画の再生途中に静止画の再生を行うことなり、動画再生が途切れてしまうという問題があった。

本発明は前述の問題点に鑑み、動画及び静止画を記録日時順に再生する場合、同一日時に記録された動画及び静止画があっても、ひと続きの動画の再生を途中で途切れさせること無く同期再生できるようにすることを目的としている。

本発明の画像処理装置は、動画と静止画とを記録日時順に再生する画像処理装置であって、前記動画の記録日時を検出する動画記録日時検出手段と、前記静止画の記録日時を検出する静止画記録日時検出手段と、前記動画記録日時検出手段と静止画記録日時検出手段とによって検出された記録日時を比較する記録日時比較手段と、前記動画の区切り位置を検出する区切り位置検出手段と、前記記録日時比較手段により前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記区切り位置検出手段によって前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行う再生制御手段とを備えることを特徴とする。

本発明の画像処理方法は、動画と静止画とを記録日時順に再生する画像処理装置における画像処理方法であって、前記動画の記録日時を検出する動画記録日時検出工程と、前記静止画の記録日時を検出する静止画記録日時検出工程と、前記動画記録日時検出工程と静止画記録日時検出工程とにおいて検出された記録日時を比較する記録日時比較工程と、前記動画の区切り位置を検出する区切り位置検出工程と、前記記録日時比較工程において前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記区切り位置検出工程において前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行う再生制御工程とを備えることを特徴とする。

本発明のプログラムは、動画と静止画とを記録日時順に再生する画像処理装置における画像処理方法をコンピュータに実行させるプログラムであって、前記動画の記録日時を検出する動画記録日時検出工程と、前記静止画の記録日時を検出する静止画記録日時検出工程と、前記動画記録日時検出工程と静止画記録日時検出工程とにおいて検出された記録日時を比較する記録日時比較工程と、前記動画の区切り位置を検出する区切り位置検出工程と、前記記録日時比較工程において前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記区切り位置検出工程において前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行う再生制御工程とを備える画像処理方法をコンピュータに実行させることを特徴とする。

本発明によれば、動画及び静止画を記録日時順に再生する場合、同一日時に記録された動画及び静止画があっても、ひと続きの動画の再生を途中で途切れさせること無く同期再生できる。

（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。
まず、本実施形態の画像処理装置の構成について図１の機能ブロック図を参照して説明する。
１００は、画像処理装置の全体を示し、画像処理装置１００の外部に、デジタルビデオカメラ（ＤＶＣ）１０１と、デジタルスチルカメラ（ＤＳＣ）１０２と、テレビジョン受像機（テレビ）１０３とが接続されている。

１０４は、ＩＥＥＥ１３９４制御部であり、画像処理装置１００とＤＶＣ１０１とを接続し、ＤＶＣ１０１からのＤＶフォーマットデータの読み出し、さらにＤＶＣ１０１の制御を行う。１０５は、ＩＥＥＥ１３９４制御部１０４を介して入力されたＤＶフォーマットデータから、動画像データ、音声データ、記録日時情報や、動画と動画の区切り情報などの各種パラメータを復号するためのＤＶデコーダ部である。

１０６は、ＤＶデコーダ部１０５で復号された記録日時情報を読み出すための第１の日時情報読出部である。１０７は、ＤＶデコーダ部１０５で復号された区切り情報を読み出すための区切情報読出部である。

１０８は、ＵＳＢ制御部であり、画像処理装置１００とＤＳＣ１０２とを接続し、ＤＳＣ１０２からのＥｘｉｆ、ＪＰＥＧフォーマットデータの読出し、さらにＤＳＣ１０２の制御を行う。１０９は、ＵＳＢ制御部１０８を介して入力されたＥｘｉｆ・ＪＰＥＧフォーマットデータから、静止画像データ及び記録日時情報などの各種パラメータを復号するためのＥｘｉｆ・ＪＰＥＧデコーダ部である。１１０は、Ｅｘｉｆ・ＪＰＥＧデコーダ部１０９で復号された記録日時情報を読み出すための第２の日時情報読出部である。

１１１は、第１及び第２の日時情報読出部１０６、１１０によって読み出された日時情報の比較や、区切情報読出部１０７によって読み出された区切り位置の検出、復号した画像や音声の再生に関わる制御を司る再生制御部である。さらに再生制御部１１１は、ＤＶＣ１０１の再生、停止などデータの読み出しに関わる制御、ＤＳＣ１０２からのデータの読み出しに関わる制御なども司る。なお、再生制御部１１１の制御に基づく動作フローについては図３のフローチャートを参照しながら後述する。

１１２は、ＤＶデコーダ部１０５によって復号された音声データの再生を制御する音声制御部である。１１３は、音声データを出力形態に応じ外部に出力するための音声出力部であって、外部にはテレビ１０３を接続する。１１４は、ＤＶデコーダ部１０５によって復号された動画像データと、Ｅｘｉｆ・ＪＰＥＧデコーダ部１０９によって復号された静止画像データの再生を制御する画像制御部である。１１５は、画像データを出力形態に応じ外部に出力するための画像出力部であって、外部にはテレビ１０３を接続する。

１１６は、ＤＶＣ１０１の再生、停止など指示するためのＤＶＣ制御部である。１１７は、ＤＳＣ１０２の画像再生などを指示するためのＤＳＣ制御部である。

図２を参照しながら、動画及び静止画の再生タイミングについて説明する。
図２（ａ）は、デジタルビデオカメラによって記録された動画の再生タイミングと、デジタルスチルカメラによって記録された静止画の撮影タイミングを示した図である。
図２（ａ）では、２つの動画タイトル、動画１（２０１）と動画２（２０２）とを連続して再生する状態を示しており、図２（ａ）の右側に向かって時間ｔの経過を表している。２０３は動画１（２０１）と動画２（２０２）との区切り位置である。また、静止画が撮影タイミング２０４で撮影されたことを示している。

これを、動画１（２０１）と動画２（２０２）との区切り位置２０３で静止画を再生する場合を示したのが図２（ｂ）である。図２（ｂ）では、静止画を撮影タイミング２０４の時点で再生するのではなく、区切り位置２０３のタイミングで再生する様子を示している。

次に、図３のフローチャートを参照しながら、再生制御部１１１の制御に基づく画像処理装置１００の動作について説明する。
まず、ＵＳＢ制御部１０８及びＥｘｉｆ・ＪＰＥＧデコーダ部１０９を介して、ＤＳＣ１０２に記録されている静止画像データの読み出しを行う（ステップＳ３０１）。次に、第２の日時情報読出部１１０によって、読み出した静止画像データの中から撮影日時に関する情報を取得する（ステップＳ３０２）。

ここで、静止画像データのフォーマットを図４に示す。１枚の静止画像データは、撮影日時、撮影パラメータなどの情報からなるＥｘｉｆデータ部４０１と、静止画像データそのものであるＪＰＥＧデータ部４０２とからなる。なお、ステップＳ３０２では、第２の日時情報読出部１１０によって、Ｅｘｉｆデータ部４０１に含まれる日時情報を取得している。

次に、ＩＥＥＥ１３９４制御部１０４及びＤＶデコーダ部１０５を介して、ＤＶＣ１０１に記録されている動画像データの読み出しを行う（ステップＳ３０３）。次に、第１の日時情報読出部１０６によって、読み出した動画像データの中から撮影日時に関する情報を取得する（ステップＳ３０４）。

ここで、動画像データのフォーマットを図５に示す。動画像データは、ＤＩＦシーケンス５０１と呼ばれるデータの連続からなり、例えば、ＮＴＳＣの場合、１０個のＤＩＦシーケンス５０１で、１画面を構成している。１つのＤＩＦシーケンス５０１には、ヘッダ５０２、サブコード５０３、ＶＡＵＸ（動画情報）５０４、音声データ５０５、及び動画データ５０６が含まれている。動画像の撮影日時に関するデータはＶＡＵＸ５０４に格納されており、年月日および時分秒が記録されている。すなわち、ステップＳ３０４では、第１の日時情報読出部１０６によって、ＤＩＦシーケンス５０１のＶＡＵＸ５０４に含まれる日時情報を取得している。

次に、再生制御部１１１によって、ステップＳ３０２で取得した静止画日時と、ステップＳ３０４で取得した動画日時の比較を行い、静止画日時の方が動画日時より時間的に後であるか否かを判断する（ステップＳ３０５）。この判断の結果、静止画日時の方が動画日時より時間的に後の場合は、読み出した動画の再生を行い（ステップＳ３０６）、ステップＳ３０３に戻る。

ステップＳ３０６における動画の再生では、ＤＶデコーダ部１０５から音声制御部１１２に読み出した音声データと、画像制御部１１４に読み出した動画像データとを、それぞれ音声出力部１１３、画像出力部１１５を介して外部装置に出力する。

一方、ステップＳ３０５の判断の結果、静止画日時と動画日時とが等しいか、または、静止画日時の方が動画日時より時間的に前だった場合は、読み出した動画が区切り位置にあるか否かの判断を行う（ステップＳ３０７）。

なお、動画の区切り位置の判断には、図５で示した動画像データフォーマットのサブコード５０３に格納されたデータを用いる。例えば、タイムコードの不連続性を示すＢＦ（Ｂｌａｎｋ Ｆｌａｇ）が０であれば区切り位置であると判断する。また、ＡＢＳＴ（Ａｂｓｏｌｕｔｅ Ｔｒａｃｋ Ｎｕｍｂｅｒ）が不連続であれば、区切り位置であると判断することも可能である。

この判断の結果、動画の区切り位置でなかった場合は、ステップＳ３０６に進み、再生動画の連続性を確保するため、動画再生を続けステップＳ３０３に戻る。一方、ステップＳ３０７の判断の結果、動画の区切り位置であった場合は、ＤＶＣ制御部１１６を介して、ＤＶＣ１０１に再生停止命令を送信することによって動画の再生動作を停止させる。さらに、音声制御部１１２及び画像制御部１１４からの出力を停止する（ステップＳ３０８）。

次に、ステップＳ３０１で読み出した静止画の再生を行う（ステップＳ３０９）。静止画の再生は、Ｅｘｉｆ・ＪＰＥＧデコーダ部１０９から出力された静止画像データを、画像制御部１１４、画像出力部１１５を介して外部装置に出力する。

静止画データの再生後、ＤＳＣ１０２に記録されている次の静止画像データの読み出しを行う（ステップＳ３１０）。そして、読み出した静止画像データの中から撮影日時に関する情報を取得する（ステップＳ３１１）。

次に、ステップＳ３１１で取得した静止画日時と、ステップＳ３０４で取得した動画日時との比較を行い、静止画日時の方が動画日時より時間的に前（または同じ）であるか否かを判断する（ステップＳ３１２）。この判断の結果、静止画日時と動画日時とが等しいか、または、静止画日時の方が動画日時より時間的に前の場合は、ステップＳ３０９に戻り、読み出した静止画の再生を行う。一方、ステップＳ３１２の判断の結果、静止画日時の方が動画日時より、時間的に後の場合は、動画の再生を行い（ステップＳ３１３）、ステップＳ３０３に戻る。

以上の動作を、動画及び静止画の終了まで、または、ユーザ操作による動作停止の指示があるまで繰り返し行うことにより、動画再生の連続性を妨げることなく、動画と静止画の同期再生が可能となる。

（第２の実施形態）
第１の実施形態では、静止画の再生タイミングとして、動画の区切り位置を用いた。動画の再生を途中で途切れさせないことを優先する場合は、第１の実施形態が最適である。しかし、静止画の再生タイミングを撮影タイミングに近づけることを優先する場合は、前記に加えて動画中の音声の無音部分で静止画の再生を行うことも可能である。動画中の無音部分で静止画を再生することにより、音声が途中で途切れて視聴しづらいという問題が発生することなしに、より実際の撮影タイミングに近いタイミングで静止画の再生が可能となる。

図６は、本実施形態の画像処理装置の構成例を示す機能ブロック図である。図６においては、図１の構成に音声情報読出部６０１を追加した構成である。なお、図１と同一の構成については同一の番号を付しており、同一の構成については説明を省略する。
音声情報読出部６０１は、ＤＶデコーダ部１０５で復号した音声データを読み出し、再生制御部１１１に出力する。そして、再生制御部１１１では、動画の区切り位置に加えて、動画の無音部分での静止画の再生を行う。

図７を参照しながら、動画及び静止画の再生タイミングについて説明する。図７（ａ）は、デジタルビデオカメラによって記録された動画と音声と、デジタルスチルカメラによって記録された静止画の撮影タイミングを示す図である。
図７（ａ）において、７０２は動画７０１中の無音部分を示す。また、静止画が撮影タイミング７０３で撮影されたことを示している。

これを、無音部分のタイミング７０４で静止画を再生する場合を示したのが図７（ｂ）である。静止画を撮影タイミング７０３の時点で再生するのではなく、無音部分のタイミング７０４で再生する様子を示している。

なお、無音部分とは、完全に無音の部分だけではなく、適切な閾値を設定し、この閾値以下の音量を無音部分とすることも可能である。また、無音部分であるとするための長さも、例えば１秒であったり、２秒であったりなど適切に決定することができる。

以上により、動画の無音部分で静止画の再生を行うことにより、動画再生、特に音声再生の連続性を妨げることなく、動画及び静止画の同期再生が可能となる。

（本発明に係る他の実施形態）
第１及び第２の実施形態では、ＤＶＣ１０１とＤＳＣ１０２の２台の装置を接続する場合について説明したが、動画及び静止画の双方を記録可能なＤＶＣ、またはＤＳＣを１台だけ接続し、動画と静止画の再生を切り替えることによって実施することも可能である。

さらに、２台の装置だけでなく、ＤＶＣ１台とＤＳＣ２台など、３台以上の装置を接続して実施することも可能である。さらに、第１及び第２の実施形態では、動画及び静止画を異なるインタフェースから入力する場合について説明したが、動画及び静止画を同一のインタフェース（例えばＵＳＢのみ）から入力する場合も、本発明を実施することが可能である。

さらに、第１及び第２の実施形態では、動画のフォーマットをＤＶ（ＤＩＦ）、静止画のフォーマットをＥｘｉｆとしたが、記録日時情報を取得可能なフォーマットであれば前記以外のフォーマットであっても本発明を実施することが可能である。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態の画像処理装置の構成例を示す機能ブロック図である。 本発明の第１の実施形態において、動画及び静止画の再生タイミングの一例を示す図である。 本発明の第１の実施形態における画像処理装置の動作手順の一例を示すフローチャートである。 静止画像データのフォーマットを示す図である。 動画像データのフォーマットを示す図である。 本発明の第２の実施形態の画像処理装置の構成例を示す機能ブロック図である。 本発明の第２の実施形態において、動画及び静止画の再生タイミングの一例を示す図である。

符号の説明

１００ 画像処理装置
１０１ デジタルビデオカメラ（ＤＶＣ）
１０２ デジタルスチルカメラ（ＤＳＣ）
１０３ テレビジョン受像機（テレビ）
１０４ ＩＥＥＥ１３９４制御部
１０５ ＤＶデコーダ部
１０６ 第１の日時情報読出部
１０７ 区切情報読出部
１０８ ＵＳＢ制御部
１０９ Ｅｘｉｆ・ＪＰＥＧデコーダ部
１１０ 第２の日時情報読出部
１１１ 再生制御部
１１２ 音声制御部
１１３ 音声出力部
１１４ 画像制御部
１１５ 画像出力部
１１６ ＤＶＣ制御部
１１７ ＤＳＣ制御部

Claims (5)

1. 動画と静止画とを記録日時順に再生する画像処理装置であって、
   前記動画の記録日時を検出する動画記録日時検出手段と、
   前記静止画の記録日時を検出する静止画記録日時検出手段と、
   前記動画記録日時検出手段と静止画記録日時検出手段とによって検出された記録日時を比較する記録日時比較手段と、
   前記動画の区切り位置を検出する区切り位置検出手段と、
   前記記録日時比較手段により前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記区切り位置検出手段によって前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行う再生制御手段とを備えることを特徴とする画像処理装置。
2. 動画再生装置を接続する動画再生装置接続手段と、
   静止画再生装置を接続する静止画再生装置接続手段とを備え、
   前記再生制御手段は、前記動画再生装置接続手段及び静止画再生装置接続手段から入力された動画と静止画とを再生することを特徴とする請求項１に記載の画像処理装置。
3. 前記動画と共に記録された音声の無音部分を検出する無音部分検出手段を備え、
   前記再生制御手段は、前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記無音部分検出手段によって無音部分を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 動画と静止画とを記録日時順に再生する画像処理装置における画像処理方法であって、
   前記動画の記録日時を検出する動画記録日時検出工程と、
   前記静止画の記録日時を検出する静止画記録日時検出工程と、
   前記動画記録日時検出工程と静止画記録日時検出工程とにおいて検出された記録日時を比較する記録日時比較工程と、
   前記動画の区切り位置を検出する区切り位置検出工程と、
   前記記録日時比較工程において前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記区切り位置検出工程において前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行う再生制御工程とを備えることを特徴とする画像処理方法。
5. 動画と静止画とを記録日時順に再生する画像処理装置における画像処理方法をコンピュータに実行させるプログラムであって、
   前記動画の記録日時を検出する動画記録日時検出工程と、
   前記静止画の記録日時を検出する静止画記録日時検出工程と、
   前記動画記録日時検出工程と静止画記録日時検出工程とにおいて検出された記録日時を比較する記録日時比較工程と、
   前記動画の区切り位置を検出する区切り位置検出工程と、
   前記記録日時比較工程において前記静止画の記録日時が前記動画の記録日時より以前であると判断し、かつ前記区切り位置検出工程において前記動画の区切り位置を検出した場合に、前記動画の再生を停止し、前記静止画の再生を行う再生制御工程とを備える画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images