JP2022178851A

JP2022178851A - 入出力デバイス及び撮影システム

Info

Publication number: JP2022178851A
Application number: JP2021085943A
Authority: JP
Inventors: 実和田; Minoru Wada
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2021-05-21
Filing date: 2021-05-21
Publication date: 2022-12-02

Abstract

【課題】装着者の周囲をより広範囲に撮影する。【解決手段】入出力デバイス１は、イヤホン型である。入出力デバイス１は、カメラ１１と、マイク１２と、イヤホン１３及び制御部１４とを備える。カメラ１１は、周囲の映像を撮影して映像データを生成する。マイク１２は、周囲の音声が入力され、音声に基づいて入力音声データを生成する。イヤホン１３及び制御部１４は、音声を出力する。カメラ１１は、広角レンズ１１１を有する。【選択図】図２

Description

本発明は、入出力デバイス及び撮影システムに関する。

撮影時に、手で本体を保持することなく、ビデオ撮影を行なうことが可能なビデオカメラが開発されている。例えば、特許文献１のビデオカメラは、対象物を撮影し、撮像信号を出力するカメラユニットと、撮影雰囲気の音声を取り込み、音声信号を出力するマイクと、マイクから出力される音声信号を再生するイヤホンとを有する。特許文献１のビデオカメラでは、マイクがユーザーの耳に装着されるイヤホンに一体的に取り付けられ、カメラユニットが、耳に挟持される形状に形成されている。

特開平１１－１４６２３７号公報

特許文献１のビデオカメラでは、撮影方向が正面に限られ、また、人によって異なる耳の角度や装着の状態によってカメラの方向が定まりにくく、確実に欲しい映像を得ることが難しい。

本発明は上記課題に鑑みてなされたものであり、その目的は、装着者の周囲をより広範囲に撮影可能な入出力デバイス及び撮影システムを提供することにある。

本発明に係る入出力デバイスは、イヤホン型の入出力デバイスである。前記入出力デバイスは、撮影部と、音声入力部と、音声出力部とを備える。前記撮影部は、周囲の映像を撮影して映像データを生成する。前記音声入力部は、周囲の音声が入力され、前記音声に基づいて入力音声データを生成する。前記音声出力部は、音声を出力する。前記撮影部は、広角レンズを有する。

本発明に係る撮影システムは、入出力デバイスと、画像処理装置とを備える。前記画像処理装置は、前記入出力デバイスがそれぞれ撮影した前記映像を画像処理する。前記入出力デバイスは、送信部を更に備える。前記送信部は、前記撮影部によって生成された前記映像データと前記音声入力部によって生成された前記入力音声データとを前記画像処理装置に送信する。前記画像処理装置は、受信部と、画像処理部とを有する。前記受信部は、前記送信部によって送信された前記映像データを受信する。前記画像処理部は、前記受信部によって受信された前記映像データの示す映像に対して画像処理を行う。

本発明によれば、装着者の周囲をより広範囲に撮影することが可能となる。

発明の実施形態に係る入出力デバイスを装着した人物を示す図である。発明の実施形態に係る入出力デバイスを示す図である。本発明の実施形態に係る撮影システムを示す図である。本発明の実施形態に係る撮影システムにおける撮影データ処理方法を示すシーケンス図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

図１及び図２を参照して、本発明の実施形態に係る入出力デバイスについて説明する。図１は、発明の実施形態に係る入出力デバイスを装着した人物を示す図である。図２は、発明の実施形態に係る入出力デバイスを示す図である。

人物１００は、入出力デバイス１を装着する。具体的には、人物１００は、入出力デバイス１Ｒを右耳に装着し、入出力デバイス１Ｌを左耳に装着する。入出力デバイス１Ｒ、１Ｌは、例えば、１組のワイヤレスイヤホン型の入出力デバイスである。

図２は、人物１００に装着された入出力デバイス１Ｌを示す。以下、図２に示す入出力デバイス１Ｌを例に説明するが、入出力デバイス１Ｒの構成は、入出力デバイス１Ｌと同じである。

入出力デバイス１は、カメラ１１と、マイク１２と、イヤホン１３と、制御部１４とを備える。カメラ１１は、撮影部の一例である。マイク１２及び制御部１４は、音声入力部の一例である。イヤホン１３及び制御部１４は、音声出力部の一例である。イヤホン１３は、例えば、耳に装着されるイヤーピースとコイルとを含む。

カメラ１１は、例えば、イヤーピースの裏側に設けられる。カメラ１１は、広角レンズ１１１を有する。広角レンズ１１１には、魚眼レンズ及び超広角レンズ等が含まれる。広角レンズ１１１は、入出力デバイス１から露出する。

マイク１２及び制御部１４は、入出力デバイス１の内部において、カメラ１１及びイヤホン１３と異なる位置に設けられる。

制御部１４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等のプロセッサー又は集積回路を含む。

また、制御部１４は、不揮発性メモリー（ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）及び揮発性メモリー（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の記憶部を含んでもよい。記憶部には、各種の演算処理をＣＰＵに実行させるための制御プログラムが、予め格納されている。また、記憶部は、ＣＰＵが実行する各種の演算処理を一時的に記憶する。

制御部１４は、制御プログラムの実行により、カメラ１１、マイク１２及びイヤホン１３を制御する。また、入出力デバイス１Ｒ、１Ｌの制御部１４は、例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）等によって接続され、互いに各種信号及び各種データの送受信が可能である。

カメラ１１は、周囲の映像を撮影して映像データを生成する。具体的には、カメラ１１は、広角レンズ１１１により、入出力デバイス１の周囲を広範囲に撮影することができる。例えば、入出力デバイス１Ｌのカメラ１１は、入出力デバイス１Ｌの装着者の左側におけるカメラ１１を中心とした半球状の撮影範囲ＳＬを撮影する。入出力デバイス１Ｒのカメラ１１は、入出力デバイス１Ｌの装着者の右側におけるカメラ１１を中心とした半球状の撮影範囲ＳＲを撮影する。なお、撮影範囲ＳＬは、装着者の右側の一部を含んでもよく、撮影範囲ＳＲは、装着者の左側の一部を含んでもよい。

入出力デバイス１Ｌのカメラ１１は、撮影範囲ＳＬを撮影した映像を示す映像データＭＤＬを生成する。入出力デバイス１Ｒのカメラ１１は、撮影範囲ＳＲを撮影した映像を示す映像データＭＤＲを生成する。

マイク１２には、周囲の音声が入力される。具体的には、マイク１２は、入出力デバイス１の周囲の音を拾って電気信号に変換する。制御部１４は、マイク１２によって変換された電気信号を取得する。制御部１４は、取得した電気信号に基づいて、マイク１２が拾った音を示す入力音声データ（録音データ）を生成する。

なお、マイク１２は、入出力デバイス１Ｒ、１Ｌのうち、一方にのみ設けられてもよい。この場合、録音データの示す音は、モノラル音声である。

また、例えば、マイク１２が入出力デバイス１Ｒ、１Ｌの両方に設けられる場合、入出力デバイス１Ｒ、１Ｌの制御部１４がそれぞれモノラル音声の録音データを生成してもよいし、入出力デバイス１Ｒ、１Ｌのうちの一方の制御部１４が、各マイク１２によって変換された電気信号を取得して、ステレオ音声の録音データを生成してもよい。

イヤホン１３は、音声を出力する。例えば、イヤホン１３は、制御部１４によって生成された録音データの示す音声を出力する。具体的には、制御部１４は、録音データに基づいて、録音データの示す音声に対応する電気信号を生成してイヤホン１３に出力する。イヤホン１３は、制御部１４からの電気信号に応じた音声を出力する。

なお、イヤホン１３及び制御部１４は、録音データ以外の音声データの示す音声を出力してもよい。

［映像データ及び録音データの送信］
本実施形態において、入出力デバイス１は、カメラ１１によって生成された映像データとマイク１２及び制御部１４によって生成された録音データとを入出力デバイス１の外部へ向けて送信する。具体的には、制御部１４は、生成した映像データ及び録音データを、ブルートゥース、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）及び携帯電話回線等を介して入出力デバイス１の外部へ向けて送信する。制御部１４は、送信部の一例である。

［映像データ及び録音データの受信］
次に、図１～図３を参照して、本発明の実施形態に係る撮影システムについて説明する。図３は、本発明の実施形態に係る撮影システムを示す図である。

撮影システム１０は、入出力デバイス１Ｒ、１Ｌと、画像処理装置２とを備える。画像処理装置２は、例えば、ノート型パーソナルコンピューター（ノートＰＣ）、デスクトップ型パーソナルコンピューター（デスクトップＰＣ）、タブレット端末、又はスマートフォン等であり、入出力デバイス１による映像データ及び録音データの送信先の一例である。

図３では、画像処理装置２がデスクトップＰＣである例を示す。画像処理装置２は、制御部２１を有する。また、画像処理装置２は、例えば、操作部２２と、表示部２３とを備える。操作部２２は、キーボード、マウス、トラックパッド、タッチパネル等を含み、画像処理装置２のユーザーによって画像処理装置２に対する指示が入力される。表示部２３は、例えば、液晶ディスプレイ及び有機エレクトロルミネッセンスディスプレイ等を含み、各種画像及び映像等が表示される。

制御部２１は、ＣＰＵ等のプロセッサーを含む。また、制御部２１は、不揮発性メモリー（ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）及び揮発性メモリー（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の記憶部を含んでもよい。記憶部には、各種の演算処理をＣＰＵに実行させるための制御プログラムが、予め格納されている。また、記憶部は、ＣＰＵが実行する各種の演算処理を一時的に記憶する。

制御部２１は、ブルートゥース、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）及び携帯電話回線等を介して、入出力デバイス１等の外部の機器と各種信号及び各種データの送受信が可能である。制御部２１は、受信部の一例である。例えば、制御部２１は、入出力デバイス１の制御部１４によって送信された映像データ及び録音データを受信する。

具体的には、入出力デバイス１Ｌのカメラ１１は、映像データＭＤＬを生成する。入出力デバイス１Ｒのカメラ１１は、映像データＭＤＲを生成する。

例えば、入出力デバイス１Ｒ、１Ｌを装着した人物１００の正面に木Ｔ１が存在したとする。木Ｔ１は、撮影範囲ＳＬ及び撮影範囲ＳＲの両方に含まれるものとする。

映像データＭＤＬの示す映像ＭＬには、木Ｔ１に相当するオブジェクトＭＴＬが含まれる。オブジェクトＭＴＬは、例えば、映像ＭＬの右側の周辺部に位置する。また、撮影範囲ＳＬが広角レンズ１１１を用いて撮影されると、周辺部に位置するオブジェクトＭＴＬが歪む。

映像データＭＤＲの示す映像ＭＲには、木Ｔ１に相当するオブジェクトＭＴＲが含まれる。オブジェクトＭＴＲは、例えば、映像ＭＲの左側の周辺部に位置する。また、撮影範囲ＳＲが広角レンズ１１１を用いて撮影されると、周辺部に位置するオブジェクトＭＴＲが歪む。

入出力デバイス１Ｌの制御部１４は、カメラ１１によって生成された映像データＭＤＬを取得して画像処理装置２へ送信する。入出力デバイス１Ｒの制御部１４は、カメラ１１によって生成された映像データＭＤＲを取得して画像処理装置２へ送信する。

また、制御部１４は、生成した録音データを画像処理装置２へ送信する。

画像処理装置２の制御部２１は、入出力デバイス１Ｒ、１Ｌからそれぞれ送信された映像データＭＤＲ、ＭＤＬ及び録音データを受信する。

［映像データの画像処理］
制御部２１は、受信した映像データＭＤＲ、ＭＤＬの示す映像ＭＲ、ＭＬに対して画像処理を行う。制御部２１は、画像処理部の一例である。

例えば、制御部２１は、画像処理の一例として、それぞれ、映像ＭＲ、ＭＬの歪みの補正、映像ＭＲ、ＭＬの一部の切り出し、映像ＭＲ、ＭＬの拡大及び縮小等を行う。

具体的には、画像処理装置２のユーザーは、映像ＭＲ、ＭＬに対して各種画像処理を行う場合、各種画像処理を行う旨の指示を操作部２２に入力する。制御部２１は、操作部２２に入力された指示に従い、各種画像処理を行う。

また、制御部２１は、画像処理の一例として、映像ＭＲ、ＭＬを１つの映像ＭＣに合成する。例えば、制御部２１は、映像ＭＲに含まれるオブジェクトＭＴＲの座標及びオブジェクトＭＴＲの色等を示す画像パラメータと、映像ＭＬに含まれるオブジェクトＭＴＬの座標及びオブジェクトＭＴＬの色等を示す画像パラメータとに基づいて、オブジェクトＭＴを含む映像ＭＣを生成する。このとき、制御部２１が映像ＭＲ、ＭＬの歪みを補正することで、歪みのない映像ＭＣが生成される。

制御部２１は、生成した映像ＭＣを、例えば表示部２３に表示させる。表示部２３に表示された映像ＭＣでは、入出力デバイス１を装着した人物１００が見た木Ｔ１を含む景色が再現される。

また、例えば、制御部２１は、受信した録音データを、映像ＭＲ、ＭＬ又は映像ＭＣと合成してもよい。

このように、入出力デバイス１Ｒ、１Ｌによって撮影された映像ＭＲ、ＭＬを画像処理装置２が画像処理を行って入出力デバイス１Ｒ、１Ｌの装着者が見た景色を再現することで、入出力デバイス１Ｒ、１Ｌの装着者以外が、入出力デバイス１Ｒ、１Ｌの装着者の状況を把握することができる。

また、制御部２１は、映像ＭＲ、ＭＬのうち少なくとも一方に含まれる人物１００の正面以外の方向の映像を映像ＭＣとして生成することも可能である。これにより、例えば、入出力デバイス１Ｒ、１Ｌの装着者の死角となる方向の状況を、入出力デバイス１Ｒ、１Ｌの装着者以外が把握することができる。

［音声データの送受信］
本実施形態において、画像処理装置２は、入出力デバイス１のイヤホン１３によって出力される音声を示す出力音声データを生成して入出力デバイス１に送信する。

例えば、画像処理装置２のユーザーは、音声指示を画像処理装置２に設けられた図示しないマイク等に入力する。制御部２１は、入力された音声指示を示す出力音声データを生成する。制御部２１は、生成した出力音声データをブルートゥース、無線ＬＡＮ及び携帯電話回線等を介して、入出力デバイス１Ｒ、１Ｌに送信する。

入出力デバイス１Ｒ、１Ｌの制御部１４は、画像処理装置２の制御部２１によって送信された出力音声データを受信する。制御部１４は、受信部の一例である。

制御部１４は、受信した出力音声データの示す音声指示を出力するようイヤホン１３を制御する。例えば、入出力デバイス１Ｒ、１Ｌによって撮影された映像ＭＲ、ＭＬに基づいて、画像処理装置２のユーザーが音声指示を入力することで、適切な音声指示を入出力デバイス１Ｒ、１Ｌの装着者に与えることが可能になる。

なお、入出力デバイス１Ｒ、１Ｌの制御部１４は、画像処理装置２以外から送信された出力音声データを受信し、受信した出力音声データの示す音声指示を出力するようイヤホン１３を制御することも可能である。

次に、図４を参照して、本発明の実施形態に係る撮影システムにおける撮影データ処理方法を説明する。図４は、本発明の実施形態に係る撮影システムにおける撮影データ処理方法を示すシーケンス図である。

入出力デバイス１Ｌは、撮影範囲ＳＬを撮影した映像ＭＬを示す映像データＭＤＬを生成する（ステップＳ１１）。

入出力デバイス１Ｒは、撮影範囲ＳＲを撮影した映像を示す映像データＭＤＲを生成する（ステップＳ１２）。

入出力デバイス１Ｌは、映像データＭＤＬを画像処理装置２に送信する。画像処理装置２は、映像データＭＤＬを受信する（ステップＳ１３）。

入出力デバイス１Ｒは、映像データＭＤＲを画像処理装置２に送信する。画像処理装置２は、映像データＭＤＲを受信する（ステップＳ１４）。

画像処理装置２は、映像データＭＤＬ及び映像データＭＤＲの少なくとも一方に対して画像処理を行う（ステップＳ１５）。

画像処理装置２は、出力音声データを生成して入出力デバイス１Ｒ、１Ｌに送信する（ステップＳ１６、ステップＳ１７）。

入出力デバイス１Ｌは、出力音声データを受信し、出力音声データの示す音声を出力する（ステップＳ１８）。

入出力デバイス１Ｒは、出力音声データを受信し、出力音声データの示す音声を出力する（ステップＳ１９）。

なお、ステップＳ１１及びステップＳ１３と、ステップＳ１２及びステップＳ１４との順番は入れ替わってもよい。

本実施形態において、撮影システム１０は、２つの入出力デバイス１と、画像処理装置２とを備える構成としたが、これに限らず、撮影システム１０は、３つ以上の入出力デバイス１と、画像処理装置２とを備える構成であってもよい。また、撮影システム１０は、１つの入出力デバイス１と、画像処理装置２とを備える構成であってもよい。

本実施形態において、入出力デバイス１Ｒ、１Ｌが独立した構成としたが、これに限らず、例えば、入出力デバイス１Ｒ、１Ｌが結線されていてもよい。

本実施形態において、入出力デバイス１Ｒ、１Ｌと、画像処理装置２とが映像データ、録音データ及び出力音声データを直接送受信する構成としたが、これに限らず、例えば、映像データ、録音データ及び出力音声データが入出力デバイス１Ｒ、１Ｌと、画像処理装置２との間で１つ以上のノートＰＣ、デスクトップＰＣ、タブレット端末、又はスマートフォン等によって中継されてもよい。

以上、図面（図１～図４）を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の材質や形状、寸法等は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。

本発明は、撮影システムの分野に利用可能である。

１、１Ｌ、１Ｒ：入出力デバイス
２：画像処理装置
１０：撮影システム
１１：カメラ
１２：マイク
１３：イヤホン
１４：制御部
１１１：広角レンズ
ＭＣ：映像
ＭＤＬ、ＭＤＲ：映像データ
ＭＬ、ＭＲ：映像

Claims

イヤホン型の入出力デバイスであって、
周囲の映像を撮影して映像データを生成する撮影部と、
周囲の音声が入力され、前記音声に基づいて入力音声データを生成する音声入力部と、
音声を出力する音声出力部と
を備え、
前記撮影部は、広角レンズを有する、入出力デバイス。
前記入出力デバイスは、前記音声出力部によって出力される前記音声を示す出力音声データを受信する受信部を更に備える、請求項１に記載の入出力デバイス。
請求項１又は請求項２に記載の入出力デバイスと、
前記入出力デバイスがそれぞれ撮影した前記映像を画像処理する画像処理装置と
を備え、
前記入出力デバイスは、前記撮影部によって生成された前記映像データと前記音声入力部によって生成された前記入力音声データとを前記画像処理装置に送信する送信部を更に備え、
前記画像処理装置は、
前記送信部によって送信された前記映像データを受信する受信部と、
前記受信部によって受信された前記映像データの示す映像に対して画像処理を行う画像処理部と
を有する、撮影システム。
前記画像処理部は、複数の前記入出力デバイスからそれぞれ送信された前記映像データの示す映像を１つの映像に合成する、請求項３に記載の撮影システム。