JP2006211570A - 撮影装置 - Google Patents

Abstract

【課題】 動画の撮影中に撮影者が自由に通話や会話を行った場合でも、撮影者の通話や会話による音声が、撮影用の音声に重なって録音されない撮影装置を提供する。
【解決手段】 記録音声作成部３４は、第１のマイク部５２で取得した音声から、第２のマイク部５３で取得した音声信号成分を除去した音声を作成する。ＡＶデータ作成部３６は、記録音声作成部３４で作成された音声及カメラ部５１で取得した映像データに基づいてＡＶデータを作成する。
【選択図】 図２

Description

本発明は、動画を撮影可能な撮影装置に関し、より特定的には、動画の撮影中に撮影者が通話や会話を自由に行うことができる撮影装置に関する。

従来の動画撮影装置としては、例えば、動画を撮影することができるカメラ付き携帯電話端末がある。カメラ付き携帯電話端末は、単一の機器で、音声通話などの通信を行うこと、動画撮影を行うこと、更には撮影した動画をその場で送信することが可能であり、その便利さから、近年爆発的に普及している。

しかし、従来のカメラ付き携帯電話端末では、動画の撮影中に他の端末から着信があった場合、例えば、動画の撮影が強制的に中止されるなど、動画を撮影しながら着信に対して応答することができないという課題を有していた。そこで、従来、動画の撮影中に着信があった場合に、自動的に固定メッセージを応答し、動画の撮影をそのまま継続できるカメラ付き携帯電話端末が開示されている（例えば、特許文献１）。このようなカメラ付き携帯電話端末によると、動画撮影中の着信に対して、固定メッセージを応答することが可能となる。
特開２００１−７８０７８号公報

しかしながら、従来のカメラ付き携帯電話端末においては、動画撮影中に着信があった場合に、固定メッセージを応答することができても、撮影者が着信に応答して、動画撮影と同時に通話を行うことができなかった。

また、従来のカメラ付き携帯電話端末において、動画撮影中の着信に対して何らかの手段を用いて応答して、撮影者が動画撮影と同時に通話を行った場合を考える。このような場合、撮影者の意図に関わらず、通話による音声が動画撮影に使用するマイクに入力されることになる。このようにして撮影された動画を視聴とすると、突然、撮影者の通話による音声が再生され、視聴した人に違和感を与えることになる。このため、従来のカメラ付き携帯電話端末は、単純には動画撮影と同時に通話を行うことができなかった。

また、従来の動画撮影装置として、ビデオカメラを考えた場合も、動画の撮影中に撮影者が会話をした場合、撮影された動画に撮影者の会話に伴う音声が録音されることになる。そのため、従来のビデオカメラにおいても、動画撮影と同時に撮影者が自由に会話を行うことができなかった。

それ故に、本発明の目的は、動画の撮影中に撮影者が自由に通話や会話を行った場合でも、撮影者の通話や会話による音声が、撮影用の音声に重なって録音されない撮影装置を提供することである。

本発明は、動画の撮影が可能な撮影装置に向けられている。そして上記目的を達成するために、本発明の動画撮影装置は、インタフェース部、カメラ部、第１のマイク部、第２のマイク部、撮影制御部、音声制御部、及び主処理部を備える。

インタフェース部には、使用者の操作内容が入力される。カメラ部は、映像データを取得する。第１のマイク部は、撮影用の音声を取得する。第２のマイク部は、所定の音声を取得する。撮影制御部は、カメラ部で取得した映像データに基づいて作成されたビデオデータと、第１のマイク部で取得した音声及び第２のマイク部で取得した音声に基づいて作成された少なくとも１つのオーディオデータとを多重化し、ＡＶデータを作成する。音声制御部は、第２のマイク部で取得した音声に所定の処理を施す。主処理部は、インタフェース部を介して入力される操作内容に応じた指示を、撮影制御部と音声制御部とに与える。

好ましくは、撮影制御部は、第１のマイク部で取得された音声から、第２のマイク部で取得された音声成分が除去されたオーディオデータを作成する。

このような場合、音声制御部は、第２のマイク部から取得した音声を符号化してＰＣＭデータを作成する。撮影制御部は、映像入力部、映像処理部、音声入力部、記録音声作成部、音声処理部、及びＡＶデータ作成部を含む。映像入力部は、カメラ部で取得した映像データが入力され、入力された映像データをビデオフレーム単位で出力する。映像処理部は、映像入力部から出力された映像データをエンコードして、ビデオデータを作成する。音声入力部は、第１のマイク部で取得した音声が入力され、入力された音声を符号化してＰＣＭデータを作成する。記録音声作成部は、音声入力部で作成されたＰＣＭデータ、及び音声制御部で作成されたＰＣＭデータに基づいて、第１のマイク部で取得した音声から、第２のマイク部で取得した音声成分を除去したＰＣＭデータを作成する。音声処理部は、記録音声作成部で作成されたＰＣＭデータを圧縮して、オーディオデータを作成する。ＡＶデータ作成部は、映像処理部で作成されたビデオデータと、音声処理部で作成されたオーディオデータとを多重化して、ＡＶデータを作成する。

また、撮影制御部は、第１のマイク部で取得された音声に基づくオーディオデータと、第２のマイク部で取得された音声に基づくオーディオデータとを作成してもよい。

このような場合、音声制御部は、第２のマイク部から取得した音声を符号化してＰＣＭデータを作成する。撮影制御部は、映像入力部、映像処理部、音声入力部、スイッチ部、音声処理部、及びＡＶデータ作成部を含む。映像入力部は、カメラ部で取得した映像データが入力され、入力された映像データをビデオフレーム単位で出力する。映像処理部は、映像入力部から出力された映像データをエンコードして、ビデオデータを作成する。音声入力部は、第１のマイク部で取得した音声が入力され、入力された音声を符号化してＰＣＭデータを作成する。スイッチ部は、音声制御部と接続される。音声処理部は、音声入力部で作成されたＰＣＭデータを圧縮して第１のオーディオデータと、スイッチ部を介して入力される音声制御部で作成されたＰＣＭデータを圧縮して第２のオーディオデータとを作成する。ＡＶデータ作成部は、映像処理部で作成されたビデオデータと、第１のオーディオデータと、第２のオーディオデータとを多重化して、ＡＶデータを作成する。

記録音声作成部は、音声入力部で作成されたＰＣＭデータが入力されるスイッチ部と、音声制御部で作成されたＰＣＭデータに基づいて、第１のマイク部で取得されたであろう所定の音声成分を推定し、推定した音声成分からなるＰＣＭデータを作成するフィルタ部と、スイッチ部を介して入力されたＰＣＭデータから、フィルタ部で作成されたＰＣＭデータを除去する引き算部とを備える。

好ましくは、所定の音声は通話用の音声である。このような場合、音声制御部は、外部の通信機器との間でデータを送受信するアンテナ部と、第２のマイク部から取得した通話用の音声を変調し、アンテナ部を介して外部に送信し、アンテナ部を介して受信するデータから音声を復調する通信制御部と、復調された音声を再生するスピーカ部とを備える。

通信制御部は、第２のマイク部から取得した通話用の音声をＰＣＭデータに変換する第２の音声入力部と、第２の音声入力部で変換されたＰＣＭデータを変調してアンテナ部を介して外部に送信し、アンテナ部を介して受信するデータからＰＣＭデータを復調する通信処理部と、通信処理部で復調されたＰＣＭデータを音声に変換して、スピーカ部から再生させる音声出力部とを備える。

インタフェース部は、動画の撮影を開始する撮影開始手段と、外部の通信機器からの着信に応答する着信応答手段とを含む。主処理部は、撮影開始手段が操作されると、撮影制御部に撮影を開始する指示を与え、着信応答手段が操作されると、通信制御部に着信に対して応答する指示を与える。

所定の音声は、会話に伴う音声であってもよい。このような場合、音声制御部は、第２のマイク部から取得した会話に伴う音声を符号化して、ＰＣＭデータに変換する第２の音声入力部を備える。

以上のように、本発明によれば、動画撮影と同時に通話を行った場合に、記録音声作成部で、第１のマイク部を介して取得した音声のＰＣＭデータから、第２のマイク部を介して取得した音声の成分を除去したＰＣＭデータを作成する。そして、記録音声作成部で作成されたＰＣＭデータに基づくオーディオデータと、カメラ部で取得した映像データに基づくビデオデータとを多重化してＡＶデータを作成する。これによって、動画撮影装置は、撮影用である第１のマイク部で取得された音声から、通話用である第２のマイク部で取得された音声を除去した、ＡＶデータを作成することができる。

また、本発明によれば、通話中であれば撮影されるＡＶデータに第１のマイク部で取得した音声のオーディオデータと、第２のマイク部で取得した音声のオーディオデータとを多重化することが可能となる。これにより、動画撮影中に通話を行った場合に、第１のマイク部から取得される音声、第２のマイク部から取得される音声の両方を記録することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
本発明の第１の実施形態に係る動画撮影装置の構成を説明する前に、まず、本発明の動画撮影装置の外観から説明する。

＜動画撮影装置の外観＞
図１は、本発明の第１の実施形態に係る動画撮影装置の外観の一例を示す斜視図である。なお、図１では、動画撮影装置が動画を撮影可能なカメラ付き携帯電話端末である場合を示している。図１（ａ）は、折りたたんだ状態のカメラ付き携帯電話端末の外観を示している。図１（ｂ）は、開いた状態のカメラ付き携帯電話端末の外観を示している。図１（ｃ）は、撮影を行う場合のカメラ付き携帯電話端末の外観を示している。図１（ｄ）は、撮影と同時に通話を行う場合のカメラ付き携帯電話の外観を示している。

図１において、動画撮影装置は、蓋部１０１、本体部１０２、カメラ１０３、及びアンテナ１０４等を備える。蓋部１０１は、各種情報を表示する液晶表示部１０６、及び音声を取得するマイク１０７等を含む。本体部１０２は、電話番号の入力や各種機能の設定などに用いられるキー群１０５、及び動画等を記憶するためのメモリカードが挿入されるメモリカード挿入部１０８等を含む。

図１（ａ）において、蓋部１０１と本体部１０２とは互いに接続されていて、この接続部分を回転軸として、蓋部１０１を本体部１０２に対して回転させることが可能である。そして、蓋部１０１を回転させたのが図１（ｂ）の状態である。さらに、蓋部１０１は、この回転軸に垂直な軸を回転軸として回転させることが可能である。そして、蓋部１０１をこの垂直な軸を回転軸にして回転させたのが図１（ｃ）の状態である。図１（ｃ）において、動画撮影装置は、カメラ１０３から映像データを、マイク１０７から音声データを取得して、映像データ及び音声データを多重化してＡＶデータを作成する。そして、作成したＡＶデータをメモリカードに記録する。動画撮影装置の使用者は、キー群１０５を操作することで撮影開始の操作を行い、記録している映像データを液晶表示部１０６で確認しながら撮影を行うことができる。

図１（ｄ）において、動画撮影装置は、ヘッドホン１１０及びヘッドセットマイク１１１を有するハンズフリー装置を接続している。動画撮影装置は、ハンズフリー装置を接続することで、ＡＶデータを作成すると同時に、アンテナ１０４を介して外部の通信機器と通信を行うことができる。動画撮影装置の使用者は、キー群１０５を操作することで撮影開始及び通話着信への応答操作を行い、動画の撮影を行いながら、ヘッドホン１１０及びヘッドセットマイク１１１を用いて通話を行う。

＜動画撮影装置の構成＞
図２は、本発明の第１の実施形態に係る動画撮影装置の構成の一例を示すブロック図である。図２において、第１の実施形態に係る動画撮影装置は、主処理部１０、インタフェース部２０、撮影制御部３０、通信制御部４０、カメラ部５１、第１のマイク部５２、第２のマイク部５３、スピーカ部５４、及びアンテナ部５５を備える。

主処理部１０は、動画撮影装置の各所構成に対して所定の指示を与える。主処理部１０は、インタフェース部２０を介して通知される使用者の操作内容に基づいて、例えば、動画撮影制御部３０に対して動画撮影に関する指示や、通信制御部４０に対して着信応答などの通信に関する指示を与える。

インタフェース部２０は、使用者の操作内容を主処理部１０等に対して通知する。インタフェース部２０は、撮影開始手段２１、及び着信応答手段２２を含む。撮影開始手段２１は、動画の撮影を開始する手段である。着信応答手段２２は、動画撮影装置に着信があった時にその着信に応答する手段である。また、着信応答手段２２は、動画撮影装置が通話中であるか否かの情報を記録音声作成部３４に対して通知する。

撮影制御部３０は、主処理部１０からの指示を受け、動画撮影に関する制御を行う。撮影制御部３０は、映像入力部３１、映像処理部３２、音声入力部３３、記録音声作成部３４、音声処理部３５、及びＡＶデータ作成部３６を含む。

映像入力部３１は、カメラ部５１で撮像されたＹＵＶ（輝度信号および色差信号）などの画素を表す映像データをビデオフレーム単位で映像処理部３２に出力する。映像処理部３２は、映像入力部３１から取得した映像データをビデオフレーム単位で圧縮して、ビデオデータにエンコードし、ＡＶデータ作成部３６に対して出力する。ビデオデータとは、例えば、ＭＰＥＧ２ビデオ規格（ＩＳＯ／ＩＥＣ１３８１２−２）、ＭＰＥＧ４ビデオ規格（ＩＳＯ／ＩＥＣ１４４９６−２）、及びＭＰＥＧ４ＡＶＣ規格（ＩＳＯ／ＩＥＣ１４４９６−１０）等に準拠した映像信号を圧縮したデータである。

音声入力部３３は、第１のマイク部５２を制御し、第１のマイク部５２から取得したアナログ音声信号をＰＣＭデータ（非圧縮デジタル音声信号）に変換して、記録音声作成部３４へ出力する。記録音声作成部３４は、着信応答手段２２から通知された通話中であるか否かの情報に基づいて、音声処理部３５へ出力すべきＰＣＭデータを作成する。記録音声作成部３４の詳細については後述する。

音声処理部３５は、記録音声作成部３４から取得したＰＣＭデータを圧縮し、ＡＶデータ作成部３６に対してオーディオデータを出力する。オーディオデータとは、例えば、ＭＰＥＧ２オーディオ規格（ＩＳＯ／ＩＥＣ１３８１２−３）、及びＭＰＥＧ２ＡＡＣ規格（ＩＳＯ／ＩＥＣ１３８１２−７）などに準拠した音声信号を圧縮したデータである。

ＡＶデータ作成部３６は、映像処理部３２から取得したビデオデータ、及び音声処理部３５から取得したオーディオデータを多重化してＡＶデータを作成する。ＡＶデータとは、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ１３８１２−１）の定めるＰＳ（プログラム・ストリーム）やＴＳ（トランスポート・ストリーム）、マイクロソフト社のＡｄｖａｎｃｅｄ Ｓｙｓｔｅｍｓ Ｆｏｒｍａｔ（ＡＳＦ） Ｓｐｅｃｉｆｉｃａｔｉｏｎなどの規格に準拠して、ビデオデータおよびオーディオデータを多重化したデータである。

通信制御部４０は、主処理部１０からの指示を受け、外部との通信に関する制御を行う。通信制御部４０は、音声入力部４１、通信処理部４２、及び音声出力部４３を含む。音声入力部４１は、第２のマイク部５３を制御し、第２のマイク部５３から取得したアナログ音声信号をＰＣＭデータに変換して、記録音声作成部３４及び通信処理部４２へ出力する。

通信処理部４２は、アンテナ部５５を介して外部の通信機器とデータの送受信を行う。データ送信の場合、通信処理部４２は、音声入力部４１から出力されるＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ、非圧縮デジタル音声信号）データを、例えば、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）で規定されたＡＭＲ符号化などの通信用の音声信号符号化方法で符号化した後に変調し、アンテナ部５５を介して外部に送信する。データ受信の場合、通信処理部４２は、アンテナ部５５を介して受信したデータを復調して生成された音声データ（例えば、ＡＭＲ符号化などの音声通信用の符号化方法で符号化されたデータ）をＰＣＭデータに復号化して、音声出力部４３へ出力する。音声出力部４３は、通信処理部４２から出力されたＰＣＭデータを音声に変換して、スピーカ部５４から再生させる。

カメラ部５１は、撮影で取得するＡＶデータのうちビデオデータのもとになる（すなわち、撮影用の）映像データを取得する。カメラ部５１は、例えば、レンズ、露光の絞りを行うアイリス、入光を受光する撮像素子、及び撮像素子の出力を増幅出力する増幅回路等から構成される。図１においては、カメラ１０３がカメラ部５１に相当する。第１のマイク部５２は、撮影で取得するＡＶデータのうちオーディオデータのもとになる（すなわち、撮影用の）アナログ音声信号を取得する。図１においては、マイク１０７が第１のマイク部５２に相当する。

第２のマイク部５３は、外部の通信機器との通話に伴って発生する（すなわち、通話用の）アナログ音声信号を取得する。図１においては、ヘッドセットマイク１１１が第２のマイク部５３に相当する。スピーカ部５４は、アンテナ部５５を介して受信した音声データを再生する。図１においては、ヘッドホン１１０がスピーカ部５４に相当する。アンテナ部５５は、外部の通信機器と通信データを送受信する。

なお、通信制御部４０、スピーカ部５４、及びアンテナ部５５は、撮影者が発した音声を外部に送信するなど、撮影者が発した音声に所定の処理を施すための構成であるので、まとめて音声制御部とすることができる。

＜記録音声作成部２４の詳細な構成＞
図３は、記録音声作成部３４の詳細な構成の一例を示すブロック図である。図３において、記録音声作成部３４は、フィルタ部６、スイッチ部７、スイッチ部８、及び引き算器９を有する。

ここでは、第１のマイク部５２には、撮影用の音声Ｓ１と、撮影者の通話に伴う音声Ｓ２の一部である音声Ｓ２Ｎとが入力されるものとする。また、第２のマイク部５３には、撮影者の通話に伴う音声Ｓ２（通話用の音声）が入力されるものとする。

フィルタ部６は、第２のマイク部５３から取得した音声Ｓ２のＰＣＭデータに基づいて、第１のマイク部５２から取得した音声Ｓ１＋Ｓ２ＮのＰＣＭデータのうち、音声Ｓ２Ｎ成分を推定した音声Ｓ２ｎのＰＣＭデータを作成する。フィルタ部６には、例えば、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタなどが用いられる。

スイッチ部７及びスイッチ部８は、着信応答手段２２から通知された通話中であるか否かの情報に基づいて内部接続を切替える。具体的には、通話中である場合、スイッチ部７が端子７ａと端子７ｃとを、スイッチ部８が端子８ａと端子８ｃとをそれぞれ接続させる。また、通話中でない場合、スイッチ部７が端子７ａと端子７ｂとを、スイッチ部８が端子８ａと端子８ｂとをそれぞれ接続させる。引き算器９は、第１のマイク部５２から取得した音声Ｓ１＋Ｓ２ＮのＰＣＭデータから、フィルタ部６で作成された音声Ｓ２ｎのＰＣＭデータを除去する。

すなわち、通話中である場合は、記録音声作成部３４は、音声入力部３３を介して出力されるＰＣＭデータから、音声入力部４１を介して出力されるＰＣＭデータの成分を除去したＰＣＭデータを音声処理部３５に出力する。一方、通話中でない場合は、記録音声作成部３４は、音声入力部３３を介して出力されるＰＣＭデータをそのまま音声処理部３５に出力する。

＜動画撮影装置の動作＞
次に、第１の実施形態に係る動画撮影装置の動作について、図４及び図５を用いて説明する。図４は、動画撮影のみを行う場合における動画撮影装置の動作の一例を示すフローチャートである。図５は、動画撮影と同時に通話を行う場合における動画撮影装置の動作の一例を示すフローチャートである。

まず、動画撮影のみを行う場合における動画撮影装置の動作について説明する。図４を参照して、撮影者が動画撮影を開始すると、第１のマイク部５２は、撮影用の音声Ｓ１を取得し（ステップＳ１０１）、音声入力部３３にアナログ音声信号を出力する（ステップＳ１０２）。音声入力部３３は、アナログ音声信号を基にＰＣＭデータを作成し（ステップＳ１０３）、作成したＰＣＭデータを記録音声作成部３４へ出力する（ステップＳ１０４）。記録音声作成部３４は、取得したＰＣＭデータを、そのまま音声処理部３５へ出力する（ステップＳ１０５）。音声処理部３５は、ＰＣＭデータを符号化してオーディオデータを作成し（ステップＳ１０６）、作成したオーディオデータをＡＶデータ作成部３６に出力する（ステップＳ１０７）。

また、第１のマイク部５２が音声Ｓ１を取得するのと同時に、カメラ部５１は、撮像データを取得し（ステップＳ１０８）、映像入力部３１に映像データを出力する（ステップＳ１０９）。映像入力部３１は、ビデオフレームごとに映像データを映像処理部３２に出力する（ステップＳ１１０）。映像処理部３２は、映像データを符号化してビデオデータを作成し（ステップＳ１１１）、作成したビデオデータをＡＶデータ作成部３６に出力する（ステップＳ１１２）。

ＡＶデータ作成部３６は、音声処理部３５から出力されたオーディオデータと映像処理部３２から出力されたビデオデータとを多重化して、撮影が終了するまでＡＶデータを生成する（ステップＳ１１３、Ｓ１１４）。

次に、動画撮影と同時に通話を行う場合における動画撮影装置の動作について説明する。図５を参照して、撮影者が動画撮影と同時に通話を開始すると、第１のマイク部５２は、撮影用の音声Ｓ１と、通話用の音声Ｓ２の一部である音声Ｓ２Ｎとを取得し（ステップＳ２０１）、音声入力部３３にアナログ音声信号を出力する（ステップＳ２０２）。音声入力部３３は、アナログ音声信号を基にＰＣＭデータを作成し（ステップＳ２０３）、作成したＰＣＭデータを記録音声作成部３４へ出力する（ステップＳ２０４）。

また、同時に第２のマイク部５３は、通話用の音声Ｓ２を取得し（ステップＳ２０５）、音声入力部４１にアナログ音声信号を出力する（ステップＳ２０６）。音声入力部４１は、アナログ音声信号を基にＰＣＭデータを作成し（ステップＳ２０７）、作成したＰＣＭデータを記録音声作成部３４へ出力する（ステップＳ２０８）。

記録音声作成部３４には、音声入力部３３から音声Ｓ１＋Ｓ２ＮのＰＣＭデータ、及び音声入力部４１から音声Ｓ２のＰＣＭデータが入力される。記録音声作成部３４は、音声Ｓ２のＰＣＭデータに基づいて、第１のマイク部５２から取得されたであろう音声Ｓ２Ｎを推定する。そして、音声Ｓ１＋Ｓ２ＮのＰＣＭデータから、推定した音声Ｓ２ＮのＰＣＭデータを除去し、撮影用の音声Ｓ１のみのＰＣＭデータを音声処理部３５へ出力する（ステップＳ２０９）。

音声処理部３５は、取得したＰＣＭデータを符号化してオーディオデータを作成し（ステップＳ２１０）、作成したオーディオデータをＡＶデータ作成部３６に出力する（ステップＳ２１１）。

また、第１のマイク部５２が音声Ｓ１を取得するのと同時に、カメラ部５１は、撮像データを取得し（ステップＳ２１２）、映像入力部３１に映像データを出力する（ステップＳ２１３）。映像入力部３１は、ビデオフレームごとに映像データを映像処理部３２に出力する（ステップＳ２１４）。映像処理部３２は、映像データを符号化してビデオデータを作成し（ステップＳ２１５）、作成したビデオデータをＡＶデータ作成部３６に出力する（ステップＳ２１６）。

ＡＶデータ作成部３６は、音声処理部３５から出力されたオーディオデータと映像処理部３２から出力されたビデオデータとを多重化して、通話あるいは撮影が終了までＡＶデータを生成する（ステップＳ２１７、Ｓ２１８）。

以上のように、第１の実施形態に係る動画撮影装置によれば、動画撮影と同時に通話を行った場合に、記録音声作成部３４で、第１のマイク部５２を介して取得した音声のＰＣＭデータから、第２のマイク部５３を介して取得した音声の成分を除去したＰＣＭデータを作成する。そして、記録音声作成部３４で作成されたＰＣＭデータに基づくオーディオデータと、カメラ部５１で取得した映像データに基づくビデオデータとを多重化してＡＶデータを作成する。これによって、動画撮影装置は、撮影用である第１のマイク部５２で取得された音声から、通話用である第２のマイク部５３で取得された音声を除去した、ＡＶデータを作成することができる。

なお、第１の実施形態において、記録音声作成部３４は、通話中であるか否かの情報を着信応答手段２２から取得していたが、通信処理部４２や主処理部１０等の通話中であるか否かを判断できる構成から取得してもよい。

（第２の実施形態）
本発明の第２の実施形態に係る動画撮影装置は、第１のマイク部５２で取得した音声から、第２のマイク部５３で取得した音声の成分を除去せずに、両方の音声をそれぞれ別のストリームとして記録する。そして、撮影後において専用の編集機器等を用いて、第１のマイク部５２で取得した音声から、第２のマイク部５３で取得した音声を除去することを想定している。

＜動画撮影装置の構成＞
図６は、本発明の第２の実施形態に係る動画撮影装置の構成の一例を示すブロック図である。第２の実施形態に係る動画撮影装置において、第１の実施形態と同様の構成については、同一の参照符号を付して説明を省略する。

図６において、第２の実施形態に係る動画撮影装置は、主処理部１０、インタフェース部２０２、撮影制御部３０２、通信制御部４０、カメラ部５１、第１のマイク部５２、第２のマイク部５３、スピーカ部５４、及びアンテナ部５５を備える。すなわち、第２の実施形態に係る動画撮影装置においては、インタフェース部２０２及び撮影制御部３０２が第１の実施形態と異なる。

インタフェース部２０２は、第１の実施形態と同様に使用者の操作内容を主処理部１０等に対して通知する。インタフェース部２０２は、撮影開始手段２１及び着信応答手段２２２を含む。着信応答手段２２２は、動画撮影装置が通話中であるか否かの情報（又は通話開始及び通話停止の情報）を映像処理部３２２、スイッチ部３４２、及びＡＶデータ作成部３６２に対して通知する。

撮影制御部３０２は、第１の実施形態と同様に主処理部１０からの指示を受け、動画撮影に関する制御を行う。撮影制御部３０２は、映像入力部３１、映像処理部３２２、音声入力部３３、スイッチ部３４２、音声処理部３５２、及びＡＶデータ作成部３６２を含む。

映像処理部３２２は、映像入力部３１から取得した映像データをエンコードし、ＡＶデータ作成部３６２に対してビデオデータを出力する。映像処理部３２２で生成されるビデオデータは、第１の実施形態と同様にＭＰＥＧ２ビデオ規格等に準拠して映像データを圧縮したデータである。映像データを圧縮する場合、通常、圧縮率を向上させるために数ビデオフレーム単位でフレーム間の相関を取って圧縮を行う。ＭＰＥＧ２ビデオ規格では、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位でビデオフレーム間の相関をとって圧縮を行っている。以降では説明を簡単にするために、相互に相関を取って圧縮した数フレームのビデオフレームの単位をＧＯＰとして説明する。映像処理部３２２は、着信応答手段２２２から通話開始および通話停止の情報を受けると、その時点で映像入力部３１から受け取っているビデオフレームをＧＯＰの最終フレームとする。そして、映像入力部３１から次に受け取るビデオフレームをＧＯＰの先頭フレームとする。

スイッチ部３４２は、着信応答手段２２２から通知された通話中であるか否かの情報に基づいて、音声処理部３５２にＰＣＭデータを出力するか否かを決定する。スイッチ部３４２は、通知された情報が通話中であれば、音声入力部４１からＰＣＭデータを取得して、音声処理部３５２に出力する。

音声処理部３５２は、入力されたＰＣＭデータを圧縮し、ＡＶデータ作成部３６２に対してオーディオデータを出力する。音声処理部３５２は、スイッチ部３４２の状態によっては、音声入力部３３および音声入力部４１の両方からＰＣＭデータを取得することになる。このような場合、音声処理部３５２は、両方のＰＣＭデータをそれぞれ別のストリームのオーディオデータとして、ＡＶデータ作成部３６２出力する。

ＡＶデータ作成部３６２は、映像処理部３２２から取得したビデオデータ、及び音声処理部３５２から取得したオーディオデータを多重化してＡＶデータを作成する。ＡＶデータ作成部３６２には、２つのモードがあり、作成するＡＶデータの種類により通話時モードと非通話時モードとに分けられる。通話時モードの場合、ＡＶデータ作成部３６２は、カメラ部５１で取得した映像データをもとに作成されたビデオデータ、第１のマイク部５２で取得した音声データをもとに作成されたオーディオデータ、第２のマイク部５３で取得した音声データをもとに作成されたオーディオデータの少なくとも３つのストリームを多重化してＡＶデータを作成する。
また、非通話時モードの場合、ＡＶデータ作成部３６２は、カメラ部５１で取得した映像データをもとに作成されたビデオデータと、第１のマイク部５２で取得した音声データをもとに作成されたオーディオデータとの少なくとも２つのストリームを多重化してＡＶデータを作成する。

＜通話時モードと非通話時モードとの間の遷移について＞
本発明の第２の実施形態に係る動画撮影装置が作成するＡＶデータは、通話時には最低でもビデオデータ１ストリームと、オーディオデータ２ストリームとが多重化されている。また、非通話時には最低でもビデオデータ１ストリームと、オーディオデータ１ストリームとが多重化されている。そのため、通話開始時及び通話停止時には、多重化されるストリーム数が変化することになる。公知の規格に従ったＡＶデータの場合、ＡＶデータの途中で多重化されるストリーム数が変更されると、ストリーム数の変更がＡＶデータのどの部分からであるかが明確になるように、ＡＶデータの中にストリーム数の変更点についての情報が記録される。更にＭＰＥＧ２システム規格などでは、ＡＶデータにおけるストリーム数の変更点は、多重化されているビデオデータのＧＯＰ境界、オーディオデータのオーディオフレーム境界である必要がある。

そのため、第２の実施形態に係るＡＶデータ作成部３６２は、着信応答手段２２２から通話開始および通話停止の情報を受けても、すぐには、通話時モードや非通話時モードにモードを変更させない（多重化させるストリーム数を変更しない）。すなわち、ＡＶデータ作成部３６２は、ビデオデータのＧＯＰ境界が来るまでモードを変更せずに多重化を続けた後、作成しているＡＶデータに多重化されるストリーム数が変更されることを明示的に記録した上で、通話時モードや非通話時モードにモードを変化させて、多重化させるストリーム数を変更する。

このＡＶデータ作成部３６２のモード変化の詳細な様子を図７、図８を用いて説明する。図７は、非通話時モードから通話時モードへの遷移の様子を示すフローチャートである。図８は、通話時モードから非通話時モードへの遷移の様子を示すフローチャートである。

まず、図７を用いて、非通話時モードから通話時モードへの遷移の様子について説明する。ＡＶデータ作成部３６２及び映像処理部３２２には、着信応答手段２２２から通話開始の情報が通知される（ステップＳ３０１）。映像処理部３２２は、着信応答手段２２２から通話開始の情報が通知されると、その時点で符号化しているビデオフレームをＧＯＰの境界とする。ＡＶデータ作成部３６２は、映像処理部３２２からＧＯＰの先頭にあたるデータを取得するまでは、非通話時モードのままビデオデータとオーディオデータとを多重化する（ステップＳ３０２）。ＡＶデータ作成部３６２は、映像処理部３２２からＧＯＰの先頭を取得すると、多重化されるストリーム数が変更されることを、作成するＡＶデータに明示した上で（ステップＳ３０３）、非通話時モードから通話時モードにモードを変化させる（ステップＳ３０４）。以降、ＡＶデータ作成部３６２は、カメラ部５１で取得した映像データをもとにしたビデオデータ、第１のマイク部５２で取得した音声をもとにしたオーディオデータ、第２のマイク部５３で取得した音声をもとにしたオーディオデータの３つのストリームを多重化して、ＡＶデータを作成する。

次に、図８を用いて、通話時モードから非通話時モードへ遷移する様子について説明する。ＡＶデータ作成部３６２及び映像処理部３２２には、着信応答手段２２２から通話終了の情報が通知される（ステップＳ４０１）。映像処理部３２２は、着信応答手段２２２から通話終了の情報が通知されると、その時点で符号化しているビデオフレームをＧＯＰの境界とする。ＡＶデータ作成部３６２は、映像処理部３２２からＧＯＰの先頭にあたるデータを取得するまでは、通話時モードのままビデオデータとオーディオデータとを多重化する（ステップＳ４０２）。ＡＶデータ作成部３６２は、映像処理部３２２からＧＯＰの先頭を取得すると、多重化されるストリーム数が変更されることを、作成するＡＶデータに明示した上で（ステップＳ４０３）、通話時モードから非通話時モードにモードを変化させる（ステップＳ４０４）。以降、ＡＶデータ作成部３６２は、カメラ部５１で取得した映像データをもとにしたビデオデータ、第１のマイク部５２で取得した音声をもとにしたオーディオデータの２つのストリームを多重化して、ＡＶデータを作成する。

＜動画撮影装置の動作＞
次に、第２の実施形態に係る動画撮影装置の動作について、図９及び図１０を用いて説明する。図９は、非通話時モードにおける動画撮影装置の動作の一例を示すフローチャートである。図１０は、通話時モードにおける動画撮影装置の動作の一例を示すフローチャートである。

まず、図９を用いて、非通話時モードにおける動画撮影装置の動作について説明する。図９を参照して、撮影者が撮影を開始すると、第１のマイク部５２は、撮影用の音声Ｓ１を取得し（ステップＳ５０１）、音声入力部３３にアナログ音声信号を出力する（ステップＳ５０２）。音声入力部３３は、アナログ音声信号を基にＰＣＭデータを作成し（ステップＳ５０３）、作成したＰＣＭデータを音声処理部３５２へ出力する（ステップＳ５０４）。音声処理部３５２は、取得したＰＣＭデータを符号化してオーディオデータを作成し（ステップＳ５０５）、作成したオーディオデータをＡＶデータ作成部３６２に出力する（ステップＳ５０６）。

また、第１のマイク部５２から音声Ｓ１を取得するのと同時に、カメラ部５１は、撮像データを取得し（ステップＳ５０７）、映像入力部３１に映像データを出力する（ステップＳ５０８）。映像入力部３１は、ビデオフレームごとに映像データを映像処理部３２２に出力する（ステップＳ５０９）。映像処理部３２２は、映像信号を符号化してビデオデータを作成し（ステップＳ５１０）、作成したビデオデータをＡＶデータ作成部３６２に出力する（ステップＳ５１１）。

ＡＶデータ作成部３６２は、音声処理部３５２から出力されたオーディオデータと映像処理部３２２から出力されたビデオデータとを多重化して、撮影が終了するかあるいはＡＶデータ作成部３６２が通話時モードになるまでＡＶデータを生成する（ステップＳ５１２、Ｓ５１３）。

次に、図１０を用いて、通話時モードにおける動画撮影装置の動作について説明する。図１０を参照して、撮影者が動画撮影中に通話を開始すると、第１のマイク部５２は、撮影用の音声Ｓ１と、通話用の音声Ｓ２の一部である音声Ｓ２Ｎとを取得し（ステップＳ６０１）、音声入力部３３にアナログ音声信号を出力する（ステップＳ６０２）。音声入力部３３は、アナログ音声信号を基にＰＣＭデータを作成し（ステップＳ６０３）、作成したＰＣＭデータを音声処理部３５２へ出力する（ステップＳ６０４）。音声処理部３５２は、取得したＰＣＭデータを符号化して第１のオーディオデータを作成し（ステップＳ６０５）、作成した第１のオーディオデータをＡＶデータ作成部３６２に出力する（ステップＳ６０６）。

また、同時に第２のマイク部５３は、通話用の音声Ｓ２を取得し（ステップＳ６０７）、音声入力部４１にアナログ音声信号を出力する（ステップＳ６０８）。音声入力部４１は、アナログ音声信号を基にＰＣＭデータを作成し（ステップＳ６０９）、作成したＰＣＭデータを音声処理部３５２へ出力する（ステップＳ６１０）。音声処理部３５２は、取得したＰＣＭデータを符号化して第２のオーディオデータを作成し（ステップＳ６１１）、作成した第２のオーディオデータをＡＶデータ作成部３６２に出力する（ステップＳ６１２）。

また、第１のマイク部５２が音声Ｓ１＋Ｓ２Ｎを取得するのと同時に、カメラ部５１は、撮像データを取得し（ステップＳ６１３）、映像入力部３１に映像データを出力する（ステップＳ６１４）。映像入力部３１は、ビデオフレームごとに映像データを映像処理部３２２に出力する（ステップＳ６１５）。映像処理部３２２は、映像データを符号化してビデオデータを作成し（ステップＳ６１６）、作成したビデオデータをＡＶデータ作成部３６２に出力する（ステップＳ６１７）。

ＡＶデータ作成部３６２は、音声処理部３５２から出力された第１のオーディオデータ、第２のオーディオデータ、及び映像処理部３２２から出力されたビデオデータを多重化して、撮影が終了するかあるいは通話時モードになるまで、ＡＶデータを生成する（ステップＳ６１８、Ｓ６１９）。

以上のように、第２の実施形態に係る動画撮影装置によれば、通話中であれば撮影されるＡＶデータに第１のマイク部５２で取得した音声のオーディオデータと、第２のマイク部５３で取得した音声のオーディオデータとを多重化することが可能となる。これにより、動画撮影中に通話を行った場合に、第１のマイク部５２から取得される音声、第２のマイク部５３から取得される音声の両方を記録することができる。

なお、第２の実施形態において、ＡＶデータ作成部３６２、映像処理部３２２、及びスイッチ部３４２は、通話中であるか否かの情報を着信応答手段２２２から取得しているが、通信処理部４２や主処理部１０等の通話中であるか否かを判断できる構成から取得してもよい。

また、第２の実施形態においては、第１のマイク部５２から取得した音声から作成した第１のオーディオデータ、第２のマイク部５３から取得した音声から作成した第２のオーディオデータ、及びカメラ部５１から取得した映像データから作成したビデオデータを多重化するデータとしたが、これ以外のデータをさらに多重化してもよい。例えば、ＡＶデータ作成部３６２は、通話時モードでは「通話中」であることを表す文字情報データをさらに多重化してもよい。

本発明の第３の実施形態に係る動画撮影装置は、第１及び第２の実施形態に係る動画撮影装置が動画撮影と同時に通信を介した通話が行われることを想定しているのに対して、動画撮影と同時に会話が行われることを想定している。具体的には、第３の実施形態に係る動画撮影装置は、ビデオカメラ等の撮影装置に適用されることを想定している。

図１１は、本発明の第３の実施形態に係る動画撮影装置の構成の一例を示すブロック図である。図１１において、第３の実施形態に係る動画撮影装置は、音声制御部の構成が第１及び第２の実施形態と異なる。音声制御部は、音声入力部４１を含む。音声入力部４１は、第２のマイク部５３を制御し、第２のマイク部５３から取得したアナログ音声信号をＰＣＭデータに変換して、記録音声作成部３４（又はスイッチ部）及び通信処理部４２へ出力する。

以上のように、第３の実施形態に係る動画撮影装置によれば、動画撮影と同時に会話を行った場合も、第１及び第２の実施形態と同様の効果を得ることができる。

本発明の動画撮影装置は、動画撮影中に通話すること等に適している。

本発明の第１の実施形態に係る動画撮影装置の外観の一例を示す斜視図 本発明の第１の実施形態に係る動画撮影装置の構成の一例を示すブロック図 記録音声作成部３４の詳細な構成の一例を示すブロック図 動画撮影のみを行う場合における動画撮影装置の動作の一例を示すフローチャート 動画撮影と同時に通話を行う場合における動画撮影装置の動作の一例を示すフローチャート 本発明の第２の実施形態に係る動画撮影装置の構成の一例を示すブロック図 非通話時モードから通話時モードへの遷移の様子を示すフローチャート 通話時モードから非通話時モードへの遷移の様子を示すフローチャート 非通話時モードにおける動画撮影装置の動作の一例を示すフローチャート 通話時モードにおける動画撮影装置の動作の一例を示すフローチャート 本発明の第３の実施形態に係る動画撮影装置の構成の一例を示すブロック図

符号の説明

１０ 主処理部
２０、１０５ インタフェース部
２１ 撮影開始手段
２２ 着信応答手段
３０ 撮影制御部
３１ 映像入力部
３２、３２２ 映像処理部
３３ 音声入力部
３４ 記録音声作成部
３４２ スイッチ部
３５、３５２ 音声処理部
３６、３６２ ＡＶデータ作成部
４０ 通信制御部
４１ 音声入力部
４２ 通信処理部
４３ 音声出力部
５１、１０３ カメラ部
５２、１０７ 第１のマイク部
５３、１１１ 第２のマイク部
５４、１１０ スピーカ部
５５、１０４ アンテナ部
１０１ 蓋部
１０２ 本体部
１０６ 液晶表示部
１０８ メモリカード挿入部

Claims (10)

1. 動画の撮影が可能な撮影装置であって、
   使用者の操作内容が入力されるインタフェース部と、
   映像データを取得するカメラ部と、
   撮影用の音声を取得する第１のマイク部と、
   所定の音声を取得する第２のマイク部と、
   前記カメラ部で取得した映像データに基づいて作成されたビデオデータと、前記第１のマイク部で取得した音声及び前記第２のマイク部で取得した音声に基づいて作成された少なくとも１つのオーディオデータとを多重化し、ＡＶデータを作成する撮影制御部と、
   前記第２のマイク部で取得した音声に所定の処理を施す音声制御部と、
   前記インタフェース部を介して入力される操作内容に応じた指示を、前記撮影制御部と前記音声制御部とに与える主処理部とを備えることを特徴とする、撮影装置。
2. 前記撮影制御部は、前記第１のマイク部で取得された音声から、前記第２のマイク部で取得された音声成分が除去されたオーディオデータを作成することを特徴とする、請求項１に記載の撮影装置。
3. 前記撮影制御部は、前記第１のマイク部で取得された音声に基づくオーディオデータと、前記第２のマイク部で取得された音声に基づくオーディオデータとを作成することを特徴とする、請求項１に記載の撮影装置。
4. 前記音声制御部は、前記第２のマイク部から取得した音声を符号化してＰＣＭデータを作成し、
   前記撮影制御部は、
   前記カメラ部で取得した映像データが入力され、当該入力された映像データをビデオフレーム単位で出力する映像入力部と、
   前記映像入力部から出力された映像データをエンコードして、ビデオデータを作成する映像処理部と、
   前記第１のマイク部で取得した音声が入力され、当該入力された音声を符号化してＰＣＭデータを作成する音声入力部と、
   前記音声入力部で作成されたＰＣＭデータ、及び前記音声制御部で作成されたＰＣＭデータに基づいて、前記第１のマイク部で取得した音声から、前記第２のマイク部で取得した音声成分を除去したＰＣＭデータを作成する記録音声作成部と、
   前記記録音声作成部で作成されたＰＣＭデータを圧縮して、前記オーディオデータを作成する音声処理部と、
   前記映像処理部で作成されたビデオデータと、前記音声処理部で作成されたオーディオデータとを多重化して、前記ＡＶデータを作成するＡＶデータ作成部とを含むことを特徴とする、請求項２に記載の撮影装置。
5. 前記音声制御部は、前記第２のマイク部から取得した音声を符号化してＰＣＭデータを作成し、
   前記撮影制御部は、
   前記カメラ部で取得した映像データが入力され、当該入力された映像データをビデオフレーム単位で出力する映像入力部と、
   前記映像入力部から出力された映像データをエンコードして、ビデオデータを作成する映像処理部と、
   前記第１のマイク部で取得した音声が入力され、当該入力された音声を符号化してＰＣＭデータを作成する音声入力部と、
   前記音声制御部と接続されるスイッチ部と、
   前記音声入力部で作成されたＰＣＭデータを圧縮して第１のオーディオデータと、前記スイッチ部を介して入力される前記音声制御部で作成されたＰＣＭデータを圧縮して第２のオーディオデータとを作成する音声処理部と、
   前記映像処理部で作成されたビデオデータと、前記第１のオーディオデータと、前記第２のオーディオデータとを多重化して、前記ＡＶデータを作成するＡＶデータ作成部とを含むことを特徴とする、請求項３に記載の撮影装置。
6. 前記記録音声作成部は、
   前記音声入力部で作成されたＰＣＭデータが入力されるスイッチ部と、
   前記音声制御部で作成されたＰＣＭデータに基づいて、前記第１のマイク部で取得されたであろう所定の音声成分を推定し、当該推定した音声成分からなるＰＣＭデータを作成するフィルタ部と、
   前記スイッチ部を介して入力されたＰＣＭデータから、前記フィルタ部で作成されたＰＣＭデータを除去する引き算部とを備えることを特徴とする、請求項４に記載の撮影装置。
7. 前記所定の音声は通話用の音声であり、
   前記音声制御部は、
   外部の通信機器との間でデータを送受信するアンテナ部と、
   前記第２のマイク部から取得した通話用の音声を変調し、前記アンテナ部を介して外部に送信し、前記アンテナ部を介して受信するデータから音声を復調する通信制御部と、
   前記復調された音声を再生するスピーカ部とを備えることを特徴とする、請求項１〜６のいずれかに記載の撮影装置。
8. 前記通信制御部は、
   前記第２のマイク部から取得した通話用の音声をＰＣＭデータに変換する第２の音声入力部と、
   前記第２の音声入力部で変換されたＰＣＭデータを変調して前記アンテナ部を介して外部に送信し、前記アンテナ部を介して受信するデータからＰＣＭデータを復調する通信処理部と、
   前記通信処理部で復調されたＰＣＭデータを音声に変換して、前記スピーカ部から再生させる音声出力部とを備えることを特徴とする、請求項７に記載の撮影装置。
9. 前記インタフェース部は、
   動画の撮影を開始する撮影開始手段と、
   前記外部の通信機器からの着信に応答する着信応答手段とを含み、
   前記主処理部は、前記撮影開始手段が操作されると、前記撮影制御部に撮影を開始する指示を与え、前記着信応答手段が操作されると、前記通信制御部に着信に対して応答する指示を与えることを特徴とする、請求項８に記載の撮影装置。
10. 前記所定の音声は会話に伴う音声であり、
    前記音声制御部は、前記第２のマイク部から取得した会話に伴う音声を符号化して、ＰＣＭデータに変換する第２の音声入力部を備えることを特徴とする、請求項１〜６のいずれかに記載の撮影装置。
    
    

Images