JP2020047972A - 画像処理装置 - Google Patents

Abstract

【課題】送信すべき映像データの量を低減させつつ、ユーザの要求に応じたレイアウトで複数のカメラが撮像した複数の画像を表示する、画像処理装置を提供する。【解決手段】画像処理装置は、複数のカメラ２０がそれぞれ撮像した複数の画像データを取得する第１取得部と、複数の画像データから選択した複数の選択画像データに基づく画像を表示する表示装置２００から、表示すべき複数の選択画像データを特定するための選択情報と、当該表示装置の画面のレイアウト情報とを取得する第２取得部と、選択情報に基づき、第１取得部が取得した複数の画像データから複数の選択画像データを選択する選択部と、レイアウト情報に基づき、選択された複数の選択画像データを表示装置に対応するデータサイズに変換する変換部と、変換された複数の選択画像データを表示装置に送信する送信部とを備える。【選択図】図２

Description

本発明は、画像処理装置に関する。

複数の監視カメラがそれぞれ撮像した複数の画像を、監視カメラが配置された位置とは異なる位置に設けられた表示装置に表示して監視する監視システムが知られている。また、このような監視システムにおいて、複数の画像のサイズを縮小して１つの画像にした縮小画像を表示装置に送信し、縮小した複数の画像を表示画面上の指定された位置にそれぞれ表示する監視システムが知られている（例えば、特許文献１を参照）。

特開２００９−２９６１３５号公報

このような監視システムは、監視カメラが増加すると表示装置に送信すべき画像データの量も増加してしまい、表示速度の低下、および表示の遅延等が発生することがあった。ここで、予め画像データを圧縮して送信すると、表示装置に送信すべき画像データの量を低減することはできる。しかしながら、ユーザは、監視すべき対象に応じて表示画面上のレイアウトを変更して画像を表示することがある。また、異常な状態が発生しているか否かを判別する必要がある場合、複数の画像のうち指定する画像を１つの画面に拡大表示して監視したいということもある。このような場合、予め画像データを圧縮してしまうと、画像の解像度が低減してしまい、ユーザが要求するレイアウトでの監視が困難になることがあった。

そこで、本発明はこれらの点に鑑みてなされたものであり、送信すべき画像データの量を低減させつつ、ユーザの要求に応じたレイアウトで複数の画像を表示できる画像処理装置を提供することを目的とする。

本発明の第１の態様においては、複数のカメラがそれぞれ撮像した複数の画像データを取得する第１取得部と、前記複数の画像データから選択した複数の選択画像データに基づく画像を表示する表示装置から、表示すべき前記複数の選択画像データを特定するための選択情報と、当該表示装置の画面のレイアウト情報とを取得する第２取得部と、前記選択情報に基づき、前記第１取得部が取得した前記複数の画像データから前記複数の選択画像データを選択する選択部と、前記レイアウト情報に基づき、選択された前記複数の選択画像データを前記表示装置に対応するデータサイズに変換する変換部と、変換された前記複数の選択画像データを前記表示装置に送信する送信部とを備える画像処理装置を提供する。

前記変換部は、選択された前記複数の選択画像データを、前記レイアウト情報に応じた配置で前記複数の選択画像データを含む一の画像データに変換し、前記送信部は、前記一の画像データを前記表示装置に送信してよい。前記送信部は、前記一の画像データと、変換された前記複数の選択画像データとを同一のフレームで前記表示装置に送信してよい。

前記第１取得部は、前記複数の画像データとして、それぞれフレームレートが異なる複数の映像データを取得し、前記送信部は、前記フレームレートに応じた頻度で、前記複数の映像データを構成する前記複数の画像データそれぞれを送信してよい。前記レイアウト情報は、前記表示装置の画面サイズの情報を含み、前記変換部は、前記複数の選択画像データを前記表示装置の前記画面サイズに応じたデータサイズに変換してよい。

前記レイアウト情報は、前記表示装置と前記表示装置のユーザとの間の距離の情報を含み、前記変換部は、前記表示装置と前記表示装置のユーザとの間の前記距離に応じたデータサイズに変換してよい。前記表示装置は、複数の表示パネルを有し、前記レイアウト情報は、前記複数の表示パネルそれぞれの解像度および配置の情報を含み、前記変換部は、前記レイアウト情報に基づき、選択された前記複数の選択画像データを前記複数の表示パネルに対応するデータサイズに変換してよい。

本発明によれば、送信すべき映像データの量を低減させつつ、ユーザの要求に応じたレイアウトで複数の画像を表示できるという効果を奏する。

本実施形態に係る画像表示システム１０の構成例を示す。 本実施形態に係る画像処理装置１００の構成例を示す。 本実施形態に係る画像処理装置１００の動作フローの一例を示す。 本実施形態に係る表示装置２００の表示パネル２３０が表示する画面の一例を示す。 本実施形態に係る送信部１６０が送信する複数の選択画像データの構成例を示す。 本実施形態に係る送信部１６０が送信する複数の選択画像データを１つにまとめた画像データの構成例を示す。

＜画像表示システム１０の構成例＞
図１は、本実施形態に係る画像表示システム１０の構成例を示す。画像表示システム１０は、複数のカメラがそれぞれ撮像した複数の画像データを取得し、取得した複数の画像データをユーザが指示するレイアウトで表示する。画像表示システム１０は、カメラ２０と、ネットワーク３０と、画像処理装置１００と、表示装置２００とを備える。

カメラ２０は、観測したい場所ごとに複数設けられる。複数のカメラ２０は、静止画または動画を撮像する。複数のカメラ２０は、例えば、監視すべき場所に配置される監視カメラである。複数のカメラ２０は、撮像した画像データを画像処理装置１００に送信する。

画像処理装置１００は、複数のカメラ２０がそれぞれ撮像した複数の画像データを取得する。また、画像処理装置１００は、ユーザの指定を表示装置２００から取得する。画像処理装置１００は、複数の画像データのうち、ユーザの指定に対応する画像データを表示装置２００に送信する。

表示装置２００は、表示すべき画像データと、表示画面上における当該画像データのレイアウトの情報を含むユーザからの指定が入力される。また、表示装置２００は、ユーザの指定に応じた画像データを画像処理装置１００から受け取り、ユーザの指定に応じたレイアウトで表示する。即ち、表示装置２００は、複数の画像データから選択した複数の選択画像データに基づく画像を表示する。

表示装置２００は、画像処理装置１００と有線または無線で接続される。また、表示装置２００は、画像処理装置１００とネットワーク３０を介して接続されることが望ましい。表示装置２００は、一例として、画像処理装置１００から受け取る画像データを内部に記憶する。表示装置２００は、インターフェース部２１０と、通信部２２０と、表示パネル２３０と、制御部２４０とを有する。

インターフェース部２１０は、ユーザから画像表示に関する指定を受け付ける。インターフェース部２１０は、複数の画像データのうち、表示パネル２３０に表示すべき画像データの指定をユーザから受け付ける。また、インターフェース部２１０は、表示パネル２３０に画像データを表示するレイアウトの指定をユーザから受け付ける。インターフェース部２１０は、例えば、マウス、キーボード、およびタッチパネル等の入力デバイスを有し、ユーザからの入力を受け付けるユーザインターフェースとして機能する。

通信部２２０は、ネットワーク３０を介して画像処理装置１００とデータを送受信するための通信インターフェースである。通信部２２０は、ユーザの指定に基づく情報を画像処理装置１００に送信する。また、通信部２２０は、画像処理装置１００から送信される画像データを受信する。

表示パネル２３０は、画像処理装置１００から受け取る画像データに応じた画像を表示する。画像処理装置１００から受け取る画像データは、ユーザの指定に対応する画像データである。表示パネル２３０は、画像処理装置１００から受け取った画像データが予め定められたフレームレートの動画のデータの場合、当該フレームレートで各フレームを表示する。また、表示パネル２３０は、画像処理装置１００から受け取った画像データが静止画像のデータの場合、静止画像を表示する。なお、表示装置２００は、複数の表示パネル２３０を有してもよい。

制御部２４０は、インターフェース部２１０、通信部２２０、および表示パネル２３０の動作を制御する。制御部２４０は、一例として、ＣＰＵ等のプロセッサを備え、プログラムを実行することによって機能する。

制御部２４０は、複数の画像データのうち、表示パネル２３０に表示すべき画像データとしてユーザが指定した情報を選択情報としてインターフェース部２１０から取得する。例えば、制御部２４０は、予め画像処理装置１００から複数のカメラ２０が実際に撮像した画像データの一部を通信部２２０から取得して、取得した画像データを表示パネル２３０に表示させる。そして、制御部２４０は、複数の画像データの中から表示すべき画像データを選択する操作をユーザがインターフェース部２１０に入力すると、入力された選択操作の内容を選択情報として取得する。

これに代えて、制御部２４０は、複数のカメラ２０が配置された場所の情報を表示パネル２３０に表示してもよい。この場合においても、制御部２４０は、複数のカメラ２０の配置の中から表示すべき画像データを撮像するカメラ２０を選択する操作をユーザがインターフェース部２１０に入力すると、入力された選択操作の内容を選択情報として取得する。

また、制御部２４０は、選択画像データを表示するレイアウトの指定をレイアウト情報として取得する。制御部２４０は、ユーザが表示すべき画像データのレイアウトを指定する操作をインターフェース部２１０に入力すると、入力された指定操作の内容をレイアウト情報として取得する。制御部２４０は、例えば、１つの表示パネルの画面上におけるレイアウトの指定内容をレイアウト情報として取得する。また、制御部２４０は、複数の表示パネルの画面上におけるレイアウトの指定内容をレイアウト情報として取得してもよい。

制御部２４０は、取得した選択情報およびレイアウト情報を通信部２２０から画像処理装置１００に送信する。制御部２４０は、例えば、インターフェース部２１０がユーザの指定をインターフェース部２１０に入力したことに応じて、入力に基づく情報を画像処理装置１００に送信する。また、制御部２４０は、通信部２２０が画像処理装置１００から受け取った画像データを表示パネル２３０に表示する。

以上の本実施形態に係る画像表示システム１０は、複数のカメラ２０がそれぞれ撮像した画像データのうちユーザが指定する画像データを、ユーザの指定するレイアウトで表示装置２００に表示する。従来、このようなシステムは、複数のカメラ２０および表示装置２００が接続され、複数のカメラ２０がそれぞれ撮像した複数の画像データを表示装置２００が取得し、当該複数の画像データをデータ処理してから表示していた。このようなシステムを監視用途で用いる場合、常に複数のカメラ２０から画像データを取得して表示するので、カメラ２０の数に応じた画像データを送信しなければならず、トラフィックが増大してしまうことになる。

また、カメラ２０の数を増加して監視システムの規模を大きくすると、増加したカメラの分だけトラフィックが増大してしまう。また、カメラ２０の解像度等を向上させた場合、カメラの数が増えなくても、トラフィックが増大してしまう。また、表示装置２００が受け取る画像データの量が増加すると、画像データのデータ処理に時間がかかり、表示速度の低下、表示の遅延、表示すべき画像のとび等が発生してしまうことがある。

そこで、本実施形態に係る画像表示システム１０は、複数のカメラ２０および表示装置２００の間に画像処理装置１００を備え、トラフィックの増大を防止しつつ、ユーザの指定に応じたレイアウトで画像データを表示装置２００に表示する。このような画像処理装置１００について、次に説明する。

＜画像処理装置１００の構成例＞
図２は、本実施形態に係る画像処理装置１００の構成例を示す。画像処理装置１００は、第１取得部１１０と、記憶部１２０と、第２取得部１３０と、選択部１４０と、変換部１５０と、送信部１６０とを備える。

第１取得部１１０は、複数のカメラ２０がそれぞれ撮像した複数の画像データを取得する。第１取得部１１０は、例えば、複数のカメラ２０にそれぞれ接続され、複数のカメラ２０から複数の画像データを受け取る。第１取得部１１０は、ネットワークを介して複数の画像データを受け取ってもよい。また、第１取得部１１０は、ネットワークに接続された外部のデータベース等に記憶された複数の画像データを受け取ってもよい。第１取得部１１０および複数のカメラ２０の間がネットワークで接続される場合、ＬＡＮ（Local Area Network）等で接続されることが望ましい。

記憶部１２０は、第１取得部１１０が取得した画像データを記憶する。また、記憶部１２０は、画像処理装置１００の設定値等を記憶してよい。また、記憶部１２０は、画像処理装置１００が動作の過程で生成する（または利用する）中間データ、算出結果、閾値、およびパラメータ等をそれぞれ記憶してもよい。また、記憶部１２０は、画像処理装置１００内の各部の要求に応じて、記憶したデータを要求元に供給してもよい。

第２取得部１３０は、表示装置２００から、表示すべき複数の選択画像データを特定するための選択情報と、当該表示装置２００の画面のレイアウト情報とを取得する。画像処理装置１００および表示装置２００は、ネットワーク３０を介して接続されることが望ましく、この場合、第２取得部１３０は、当該ネットワーク３０を介して選択情報およびレイアウト情報を受け取る。なお、画像処理装置１００および表示装置２００は、直接接続されてもよい。レイアウト情報は、画像データの縮小率、表示画面サイズ、縮小後の画面サイズ、表示画素数、および表示画面の座標等のうち、少なくとも１つの情報を含む。

選択部１４０は、第２取得部１３０が取得した選択情報に基づき、第１取得部１１０が取得した複数の画像データから複数の選択画像データを選択する。例えば、選択情報に４つの画像データの選択結果が含まれている場合、記憶部１２０に記憶された対応する４つの画像データを選択画像データとして選択する。選択部１４０は、選択した選択画像データを変換部１５０に供給する。

変換部１５０は、第２取得部１３０が取得したレイアウト情報に基づき、選択された複数の選択画像データを表示装置２００に対応するデータサイズに変換する。例えば、レイアウト情報が、１つの画面を４分割し、分割した４つの領域に４つの選択画像データをそれぞれ表示するレイアウトを含む場合、変換部１５０は、当該４つの選択画像データのデータサイズを１／４に変換する。変換部１５０は、例えばレイアウト情報が示す表示装置２００が表示する画面の１／４の領域の画素数に対応するデータサイズになるように、選択画像データのデータサイズを変換する。

送信部１６０は、変換された複数の選択画像データを表示装置２００に送信する。送信部１６０は、例えば、予め定められたフレームレートで、複数の選択画像データを表示装置２００に送信する。

以上の画像処理装置１００は、選択情報に対応する選択画像データを、レイアウト情報に基づいてデータサイズを変換してから表示装置２００に送信する。したがって、例えば、表示装置２００がｎ個のカメラ２０が撮像した選択画像データを１つの画面に表示させる場合、画像処理装置１００は、ｎ個の選択画像データのデータサイズをレイアウト情報に応じてそれぞれ変換する。ここで、ｎ個の選択画像データの画素数と表示装置２００の表示パネル２３０の一画面の画素数とが同一の場合、画像処理装置１００は、表示装置２００に送信するデータ量を１／ｎ程度に圧縮して送信することができる。

また、表示装置２００は、受信したｎ個の選択画像データをレイアウト情報に対応するように表示パネル２３０に配置して表示することで、ユーザが指定する画面表示とすることができる。即ち、本実施形態に係る画像処理装置１００を用いることで、表示装置２００は、少ないデータ量の画像データを簡便に処理するだけで、ユーザの要求に対応する画面を表示できる。このような画像処理装置１００の動作について、次に説明する。

＜画像処理装置１００の動作フロー＞
図３は、本実施形態に係る画像処理装置１００の動作フローの一例を示す。画像処理装置１００は、図３に示すＳ３１０からＳ３６０の動作を実行することにより、表示装置２００にデータ量を低減させた選択画像データを送信する。

まず、Ｓ３１０において、第１取得部１１０は、複数のカメラ２０がそれぞれ撮像した複数の画像データを取得する。第１取得部１１０は、例えばカメラ２０のそれぞれに対応する画像サイズおよびフレームレートで、複数の画像データを取得する。第１取得部１１０は、取得した複数の画像データを記憶部１２０に記憶する。

次に、Ｓ３２０において、第２取得部１３０は、選択情報およびレイアウト情報を表示装置２００から取得する。なお、表示装置２００が起動した直後等、まだユーザからの入力を取得していない場合、第２取得部１３０は、選択情報およびレイアウト情報を取得できない。この場合、第２取得部１３０は、例えば、全ての画像データを選択画像データとする選択情報と、表示装置２００の表示パネル２３０の画面を等分割して、全ての選択画像データを表示するレイアウト情報とを、初期情報として用いる。

また、第２取得部１３０が選択情報およびレイアウト情報を既に表示装置２００から取得している場合、第２取得部１３０は、表示装置２００から更に選択情報およびレイアウト情報を取得するまで、過去の選択情報およびレイアウト情報を維持する。そして、第２取得部１３０は、表示装置２００から更に選択情報およびレイアウト情報を取得すると、過去の選択情報およびレイアウト情報を破棄して新しい情報に更新する。第２取得部１３０は、選択情報を選択部１４０に供給し、レイアウト情報を変換部１５０に供給する。

次に、Ｓ３３０において、選択部１４０は、選択情報に対応する複数の選択画像データを複数の画像データから選択して変換部１５０に供給する。

次に、Ｓ３４０において、変換部１５０は、複数の選択画像データのそれぞれをレイアウト情報に応じて変換する。例えば、レイアウト情報が、１つの選択画像データの縮小率を含む場合、変換部１５０は、当該１つの選択画像データを対応する縮小率に縮小する。変換部１５０は、一例として、１つの選択画像データが６４０×４８０ドットの画像データであり、レイアウト情報が面積比１／４の縮小率であれば、３２０×２４０ドットの画像データに圧縮する。

ここで、表示装置２００の表示パネル２３０の画面サイズが予め設定されている場合、変換部１５０は、当該画面サイズに応じたデータサイズに変換してよい。画面サイズは、表示パネル２３０に表示される画面に含まれる縦方向の画素数及び横方向の画素数により規定される。例えば、表示パネル２３０の予め定められた画面サイズが１９２０×１０８０ドットであり、レイアウト情報が、当該画面を４分割して４つの選択画像データをそれぞれ表示するレイアウトを含む例を考える。この場合、変換部１５０は、変換後のデータサイズが９６０×５４０ドットの画像データとなるように４つの選択画像データを変換する。

変換部１５０は、例えば、１つの選択画像データが６４０×４８０ドットの画像データの場合、圧縮せずに、３２０×６０ドット分の黒枠のデータを加えて９６０×５４０ドットの画像データに変換する。また、変換部１５０は、６４０×４８０ドットの画像データを拡大して、９６０×５４０ドットの画像データに変換してもよい。なお、変換部１５０は、アスペクト比が異なる画像データに圧縮または拡大する場合、縦方向および横方向の一方の圧縮率または拡大率を異ならせてよく、これに代えて、縦方向および横方向の少なくとも一方に黒枠のデータを追加してもよい。

また、レイアウト情報が、このような表示装置２００の画面サイズの情報を含む場合、変換部１５０は、複数の選択画像データを表示装置２００の画面サイズに応じたデータサイズに変換してよい。これにより、例えば、ユーザが表示パネル２３０の画面サイズを変更した場合等であっても、変更後の画面サイズの情報をレイアウト情報に含めることにより、変換部１５０は、選択画像データを画面サイズに対応する画像データに変換することができる。

また、レイアウト情報が表示パネル２３０における画面サイズの情報を含む場合、変換部１５０は、選択画像データを当該画面サイズに対応するデータサイズに変換する。例えば、レイアウト情報が１の選択画像データと表示パネル２３０における８００×５００ドットの画面サイズとを対応付けて指定する場合、変換部１５０は、当該１の選択画像データのサイズを８００×５００ドットに変換する。変換部１５０のデータ圧縮およびデータ拡大は、既知のアルゴリズムを用いてよく、ここでは詳細な説明を省略する。

次に、Ｓ３５０において、送信部１６０は、変換後の複数の選択画像データを表示装置２００に送信する。これにより、表示装置２００は、データ容量を低減させた複数の選択画像データを受信することができ、ユーザの指示に応じたレイアウトに配置して表示パネル２３０に容易に表示することができる。

次に、画像処理装置１００は、動作を継続させる場合（Ｓ３６０：Ｙｅｓ）、Ｓ３１０に戻り、複数のカメラ２０が次に撮像した複数の画像データを取得する。画像処理装置１００は、Ｓ３１０からＳ３５０の動作を繰り返すことにより、複数のカメラ２０が継続して撮像した複数の画像データのうち、ユーザが選択した選択画像データをユーザの要求するレイアウトに応じたサイズに変換して、表示装置２００に送信し続けることができる。したがって、表示装置２００は、ユーザの指定する選択画像データをユーザの指定のレイアウトにして継続して表示することができる。

なお、画像処理装置１００は、ユーザ等から動作の中止および中断の入力があった場合、また、動作異常により停止する場合等は、動作を終了させる（Ｓ３６０：Ｎｏ）。以上のように、画像処理装置１００は、レイアウト情報に基づいて送信すべき画像データの量を低減させて送信するので、トラフィックの増加を防止でき、また、表示装置２００は、ユーザの要求に応じたレイアウトで複数の画像を速やかに表示することができる。

＜複数の選択画像データを１つにまとめて送信する変形例＞
以上の本実施形態に係る画像処理装置１００は、変換後の複数の選択画像データを表示装置２００に送信する例を説明したが、これに限定されることはない。画像処理装置１００は、変換後の複数の選択画像データを１つの画像データにまとめてから送信してもよい。例えば、レイアウト情報が、複数の選択画像データの表示画面上の位置を示す配置情報を含む場合、変換部１５０は、変換後の複数の選択画像データを配置情報に応じて配置させた１つの画像データに更に変換する。即ち、変換部１５０は、選択された複数の選択画像データを、レイアウト情報に応じた配置で複数の選択画像データを含む一の画像データに変換する。

一例として、選択情報が、第１画像データ、第２画像データ、第３画像データ、および第４画像データを複数の選択画像データである情報とする。また、レイアウト情報が、１つの画面を縦方向および横方向に２分割して４等分し、分割した４つの領域の右上領域に第１画像データ、右下領域に第２画像データ、左上領域に第３画像データ、左下領域に第４画像データを表示する情報とする。また、レイアウト情報に表示パネル２３０の画面サイズが１９２０×１０８０ドットであることが含まれているものとする。

この場合、変換部１５０は、選択された複数の選択画像データのそれぞれを、レイアウト情報が示す複数の選択画像データの表示領域に応じたデータサイズに変換する。変換部１５０は、例えば、当該４つの選択画像データを９６０×５４０ドットの画像データに変換する。そして、変換部１５０は、変換後の４つの選択画像データのうち、第１画像データを右上領域に、第２画像データを右下領域に、第３画像データを左上領域に、第４画像データを左下領域に配置し、データサイズが１９２０×１０８０ドットの１つの画像データを生成する。送信部１６０は、このように変換された１つの画像データを表示装置２００に送信する。

例えば、変換前の４つの選択画像データのデータサイズが全て１９２０×１０８０ドットの画像データの場合、画像処理装置１００は、データサイズを１／４にした画像データを表示装置２００に送信できることがわかる。また、表示装置２００は、単に受信した画像データをそのまま表示パネル２３０に表示するだけで、ユーザの指定どおりに複数の選択画像データがレイアウトされた映像を当該ユーザに提供できる。

＜表示装置２００の表示例＞
図４は、本実施形態に係る表示装置２００の表示パネル２３０が表示する画面の一例を示す。図４は、表示パネル２３０が第１画像、第２画像、第３画像、および第４画像を表示している例を示す。即ち、表示装置２００は、ユーザから当該４つの画像の選択と、当該４つの画像の画面上のレイアウトの情報を取得する。そして、表示装置２００が、当該選択情報およびレイアウト情報を画像処理装置１００に送信したことに応じて、画像処理装置１００から受け取った画像データを表示パネル２３０に表示した例を図４に示す。

例えば、第１画像は、第１カメラが撮像した画像データに基づく画像である。同様に、第２画像から第４画像は、それぞれ第２カメラから第４カメラが撮像した画像データに基づく画像である。第３画像は、一例として、第３カメラが撮像する画像データに対応する画面サイズとユーザの指定の画面サイズとが異なる例を示す。図４は、変換部１５０が横方向に黒枠のデータを追加して、画像データのアスペクト比を保ったまま第３画像を表示させた例を示す。

なお、画像処理装置１００が、第１カメラから第４カメラが撮像した画像データに基づく４つの選択画像データを表示装置２００に送信した場合、表示装置２００は、当該４つの選択画像データをレイアウト情報に応じて、図４に示すように４つの画像を配置して表示パネル２３０に表示する。また、画像処理装置１００が、４つの選択画像データをまとめて１つの画像データとして表示装置２００に送信した場合、表示装置２００は、当該１つの画像データを表示パネル２３０に出力することで、図４に示す画像を表示できる。

＜他の変形例＞
以上の本実施形態に係る画像処理装置１００は、表示装置２００の表示パネル２３０におけるレイアウトの情報に基づき、複数の選択画像データを変換する例を説明したが、これに限定されることはない。画像処理装置１００は、更に、表示装置２００およびユーザの間の距離に応じて、複数の選択画像データを変換してもよい。例えば、レイアウト情報は、表示装置２００と表示装置２００のユーザとの間の距離の情報を含む。この場合、変換部１５０は、複数の選択画像データを表示装置２００と表示装置２００のユーザとの間の距離に応じたデータサイズに変換する。

例えば、表示装置２００およびユーザの間の距離が離れている場合、表示する画像データの解像度を低減させても、ユーザは解像度の低下を認識できないことがある。したがって、変換部１５０は、表示装置２００およびユーザの間の距離に応じて、ユーザが認識できない程度に解像度を低減させてよい。

この場合、例えば、表示装置２００およびユーザの間の距離と、ユーザが認識できない程度の解像度との対応関係を予め定め、変換部１５０は、当該対応関係に応じた解像度に変換する。この場合、変換部１５０は、上記のレイアウト情報に基づいて変換した画面サイズは変えずに、距離情報に応じた解像度に変換してよい。これにより、画像処理装置１００は、送信するデータサイズを更に低減させることができる。

以上の本実施形態に係る画像処理装置１００は、表示装置２００から受け取るレイアウト情報に基づき、１つの表示パネル２３０に１つのまたは複数の選択画像データを表示させる例を説明したが、これに限定されることはない。画像処理装置１００は、複数の表示パネル２３０に１つのまたは複数の選択画像データをそれぞれ表示するための選択画像データを表示装置２００に送信してもよい。

この場合、表示装置２００は、複数の表示パネル２３０を有する。インターフェース部２１０は、当該複数の表示パネル２３０に表示すべき画像データ、及びレイアウト情報をユーザから受け付ける。制御部２４０は、レイアウト情報を表示パネル２３０毎に画像処理装置１００に送信してもよく、これに代えて、表示パネル２３０に対応付けられたレイアウト情報をまとめて画像処理装置１００に送信してもよい。また、レイアウト情報は、各表示パネル２３０の画面サイズ、解像度等の情報を含んでもよい。

このように、画像処理装置１００は、例えば、複数の表示パネル２３０それぞれの解像度および配置の情報を含むレイアウト情報を受け取る。この場合、変換部１５０は、レイアウト情報に基づき、選択された複数の選択画像データを複数の表示パネル２３０に対応するデータサイズに変換する。画像処理装置１００は、例えば、１つの表示パネル２３０に表示するために選択された複数の選択画像データを、当該１つの表示パネル２３０に対応するデータサイズに変換して、表示装置２００に送信する。画像処理装置１００は、表示パネル２３０毎に同様の処理を繰り返すことで、送信する画像データのデータサイズを低減させつつ、複数の表示パネル２３０のそれぞれに１つのまたは複数の選択画像データを表示できる。

以上の本実施形態の画像処理装置１００は、変換部１５０が変換した複数の選択画像データを送信部１６０が表示装置２００に送信する例を説明した。ここで、送信部１６０は、例えば、変換された複数の選択画像データを同一のフレームレートで表示装置２００に送信する。なお、第１取得部１１０は、複数のカメラ２０から複数の画像データを略同一のフレームレートで取得できることが望ましい。この場合、送信部１６０は、変換された複数の選択画像データを、第１取得部１１０が複数のカメラ２０から取得するフレームレートと略同一のフレームレートで表示装置２００に送信する。

しかしながら、複数のカメラ２０が略同一の機能を有するとは限らない。最初から異なる性能の複数のカメラ２０を設置することもあれば、同一の複数のカメラ２０を設置してもカメラ２０の追加、および、交換等により、異なる機能のカメラ２０が混在することがある。この場合、第１取得部１１０は、複数の画像データとして、それぞれフレームレートが異なる複数の映像データを取得することになる。

このような場合であっても、送信部１６０は、変換された複数の選択画像データを同一のフレームレートで表示装置２００に送信することが望ましい。そこで、送信部１６０は、フレームレートに応じた頻度で、複数の映像データを構成する複数の画像データそれぞれを送信する。この場合、送信部１６０は、複数のカメラ２０のそれぞれのフレームレートのうち、最も速いフレームレートと略同一のフレームレートで複数の画像データを送信してよい。送信部１６０が送信する複数の画像データのフレームレートについて、次に説明する。

＜複数の選択画像データを同一のフレームレートで送信する例＞
図５は、本実施形態に係る送信部１６０が送信する複数の選択画像データの構成例を示す。図５は、第１取得部１１０が第１カメラ、第２カメラ、および第３カメラの３つのカメラから複数の画像データ取得した例を示す。ここで、第１カメラのフレームレートを２４ＦＰＳ（Flames Per Second）、第２カメラのフレームレートを１２ＦＰＳ、第３カメラのフレームレートを６ＦＰＳとする。なお、３つのカメラが撮像した３つの画像データは、ユーザによって選択された選択画像データとする。また、変換部１５０は、レイアウト情報に基づき、当該３つの選択画像データを表示装置２００に対応するデータサイズに変換する。

即ち、送信部１６０は、変換部１５０が変換した３つの選択画像データを送信することになる。そして、変換後の３つの選択画像データは、変換前のデータと比較してデータサイズが変わっているものの、フレームレートに変化はない。そこで、図５は、送信部１６０が最も速いフレームレートの２４ＦＰＳで３つの選択画像データを送信する例を示す。なお、図５において、送信部１６０が送信する変換後の３つの選択画像データを、第１画像データ、第２画像データ、および第３画像データとする。例えば、第１画像データは、第１カメラが撮像した画像データに基づくデータである。同様に、第２画像データおよび第３画像データは、それぞれ第２カメラおよび第３カメラが撮像した画像データに基づくデータである。

第１カメラのフレームレートは２４ＦＰＳなので、第１画像データの各フレームは、送信部１６０がそのまま２４ＦＰＳで送信できる。例えば、送信部１６０は、送信する画像データの第１フレームに、第１カメラが撮像した画像データの第１フレームに対応する第１画像データの第１フレームを含める。この場合、送信部１６０が送信するその後の画像データの第ｎフレームは、第１カメラが撮像した画像データの第ｎフレームに対応する第１画像データの第ｎフレームを含めることができる（ｎ＝２，３，４，．．．）。

第２カメラのフレームレートは１２ＦＰＳなので、第２カメラが撮像した画像データの各フレームに基づく第２画像データの各フレームは、送信部１６０が２つのフレームを送信する毎に送信できる。例えば、送信部１６０が送信する画像データの第１フレームに、第２画像データの第１フレームを含める。この場合、送信部１６０が送信するその後の画像データの（２ｍ−１）フレーム目は、第２カメラが撮像した画像データに基づく画像データの第ｍフレームを含めることができる（ｍ＝２，３，４，．．．）。

このように、図５は、第２画像データのｍ番目のフレームを、送信部１６０が送信する（２ｍ−１）番目のフレームに含める例を示す。この場合、送信部１６０が送信する２ｍ番目のフレームには、第２画像データを含めなくてよい。例えば、変換部１５０は、２ｍ番目のフレームに空のデータを挿入する。これにより、送信部１６０が表示装置２００に送信するデータ量を削減することができる。

第３カメラのフレームレートは６ＦＰＳなので、第３カメラが撮像した画像データの各フレームに基づく第３画像データの各フレームは、送信部１６０が４つのフレームを送信する毎に送信できる。例えば、送信部１６０が送信する画像データの第１フレームに、第３画像データの第１フレームを含める。この場合、送信部１６０が送信するその後の画像データの（４ｎ−３）フレーム目は、第３画像データの第ｋフレームを含めることができる（ｋ＝２，３，４，．．．）。

このように、図５は、第３画像データのｋ番目のフレームを、送信部１６０が送信する（４ｋ−３）番目のフレームに含める例を示す。この場合、送信部１６０が送信する４ｋ番目、（４ｋ−１）番目、および（４ｋ−２）番目のフレームには、第３画像データを含めなくてよい。例えば、変換部１５０は、これらのフレームに空のデータを挿入する。これにより、送信部１６０が表示装置２００に送信するデータ量を削減することができる。

以上のように、送信部１６０は、複数のカメラ２０から取得する画像データのそれぞれのフレームレートに応じた頻度で、複数の画像データを表示装置２００にそれぞれ送信する。これにより、送信部１６０は、変換部１５０が変換した複数の選択画像データを、データサイズの増加を防止しつつ統一されたフレームレートで表示装置２００に送信できる。

以上のように、図５において、画像処理装置１００が複数の選択画像データの少なくとも一部に空のデータを挿入して表示装置２００にそれぞれ送信する例を示したが、これに限定されることはない。変換部１５０が、変換後の複数の選択画像データをレイアウト情報に応じた配置で１つの画像データに更に変換する場合であっても、同様に、複数の選択画像データの少なくとも一部に空のデータを挿入してよい。

＜複数の選択画像データを１つにまとめてから送信する例＞
図６は、本実施形態に係る送信部１６０が送信する複数の選択画像データを１つにまとめた画像データの構成例を示す。ここで、図５の例と同様に、第１取得部１１０が第１カメラ、第２カメラ、および第３カメラの３つのカメラから画像データを取得する場合を考える。なお、第１カメラのフレームレートを２４ＦＰＳ、第２カメラのフレームレートを１２ＦＰＳ、第３カメラのフレームレートを６ＦＰＳとする。この場合、変換部１５０は、最も速いフレームレートの２４ＦＰＳで、複数の選択画像を１つの画面に配置させた１つの画像データに変換する。変換後の１つの画像データは、１つの映像データを構成し、図６において、第１映像データとして示す。

変換部１５０は、例えば、２４ＦＰＳの第１カメラの画像に基づく変換後の選択画像データの各フレームを、２４ＦＰＳで送信する１つの画像データの各フレームに、レイアウト情報に応じて配置する。即ち、送信部１６０が送信する第１映像データの第ｎフレームには、第１カメラが撮像した画像データの第ｎフレームに対応する画像データの第ｎフレームが配置される（ｎ＝２，３，４，．．．）。

そして、変換部１５０は、１２ＦＰＳの第２カメラの画像に基づく変換後の選択画像データの各フレームを、２４ＦＰＳで送信する１つの画像データの１つおきの各フレームに、レイアウト情報に応じて配置する。即ち、送信部１６０が送信する１つの画像データの（２ｍ−１）フレーム目には、第２カメラが撮像した画像データに基づく画像データの第ｍフレームが配置される（ｍ＝１，２，３，．．．）。

このように、図６は、第２カメラに基づく画像データのｍ番目のフレームを、送信部１６０が送信する１つの画像の（２ｍ−１）番目のフレームに配置する例を示す。この場合、送信部１６０が送信する１つに画像の２ｍ番目のフレームには、第２カメラに基づく画像データを配置しなくてよい。例えば、変換部１５０は、２ｍ番目のフレームの第２カメラに対応する位置に空のデータを配置する。これにより、送信部１６０が表示装置２００に送信するデータ量を削減することができる。

そして、変換部１５０は、６ＦＰＳの第３カメラの画像に基づく変換後の選択画像データの各フレームを、２４ＦＰＳで送信する１つの画像データの３つおきの各フレームに、レイアウト情報に応じて配置する。即ち、送信部１６０が送信する１つの画像データの（４ｋ−３）フレーム目には、第３カメラが撮像した画像データに基づく画像データの第ｋフレームが配置される（ｋ＝１，２，３，．．．）。

このように、図６は、第３カメラに基づく画像データのｋ番目のフレームを、送信部１６０が送信する１つの画像の（４ｋ−３）番目のフレームに配置する例を示す。この場合、送信部１６０が送信する１つに画像の４ｋ番目、（４ｋ−１）番目、および（４ｋ−２）番目のフレームには、第３カメラに基づく画像データを配置しなくてよい。例えば、変換部１５０は、これらのフレームの第３カメラに対応する位置に空のデータを配置する。これにより、送信部１６０が表示装置２００に送信するデータ量を削減することができる。

なお、図５および図６に示す画像データの構成は、送信部１６０がフレームレートを統一させて送信するための一例であり、これに限定されることはない。例えば、図６に示すような複数の選択画像データを１つにまとめた画像データを用いた場合、空データを挿入しなくてもよい。この場合、変換部１５０は、例えば、第２カメラに基づく画像データのｍ番目のフレームを、送信部１６０が送信する１つの画像の（２ｍ−１）番目および２ｍ番目のフレームに配置する。

同様に、変換部１５０は、例えば、第３カメラに基づく画像データのｋ番目のフレームを、送信部１６０が送信する１つの画像の４ｋ番目、（４ｋ−１）番目、（４ｋ−２）番目、および（４ｋ−３）番目のフレームに配置する。これにより、表示装置２００は、画像処理装置１００から受け取る１つの映像データを表示パネル２３０に表示するだけで、チラツキを低減させた画像を表示させることができる。また、表示装置２００は、図６に示す映像データを受け取った後に、空データのフレームを上記のように補間してから表示パネル２３０に表示してもよい。

以上の本実施形態に係る画像処理装置１００は、複数の選択画像データまたは複数の選択画像データを１つにまとめた画像データを表示装置２００に送信する例を説明したが、これに限定されることはない。画像処理装置１００は、複数の選択画像データおよび複数の選択画像データを１つにまとめた画像データの両方を表示装置２００に送信してもよい。この場合、送信部１６０は、例えば、変換された複数の選択画像データを１つにまとめた画像データと、変換された複数の選択画像データとを同一のフレームで表示装置２００に送信する。

送信部１６０は、一例として、図５に示す第１フレームにおいて送信される第１画像データ、第２画像データ、および第３画像データと、図６に示す第１フレームにおいて送信される第１映像データとを、同一のフレームにおいて送信する。送信部１６０は、同様に、後続の各フレームにおいて、第１画像データから第３画像データの１フレーム分のデータと、第１映像データの１フレーム分のデータとを多重化して送信する。このように、送信部１６０は、２種類のフォーマットの画像データを表示装置２００に送信する。

これにより、表示装置２００は、仕様、設定、パフォーマンス等に応じて、適切なフォーマットの画像データを選択して表示パネル２３０に表示することができる。表示装置２００にこのような選択を実行させる場合であっても、画像処理装置１００は、送信する画像データのサイズを２倍程度の増加に抑制できる。

以上の本実施形態に係る画像処理装置１００の少なくとも一部は、一例として、コンピュータ等で構成できる。この場合、コンピュータ等は、例えば、プログラム等を実行することにより、本実施形態に係る第１取得部１１０、記憶部１２０、第２取得部１３０、選択部１４０、変換部１５０、および送信部１６０として機能する。記憶部１２０は、一例として、コンピュータ等のＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）、および作業領域となるＲＡＭ（Random Access Memory）を含む。また、記憶部１２０は、ＯＳ（Operating System）、アプリケーションプログラム、および／または当該アプリケーションプログラムの実行時に参照されるデータベースを含む種々の情報を格納してよい。即ち、記憶部１２０は、ＨＤＤ（Hard Disk Drive）および／またはＳＳＤ（Solid State Drive）等の大容量記憶装置を含んでよい。

また、コンピュータは、ＣＰＵ等のプロセッサを備え、記憶部１２０に記憶されたプログラムを実行することによって、第１取得部１１０、記憶部１２０、第２取得部１３０、選択部１４０、変換部１５０、および送信部１６０の少なくとも一部として機能する。コンピュータは、ＧＰＵ（Graphics Processing Unit）等を更に備えてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１０ 画像表示システム
２０ カメラ
１００ 画像処理装置
１１０ 第１取得部
１２０ 記憶部
１３０ 第２取得部
１４０ 選択部
１５０ 変換部
１６０ 送信部
２００ 表示装置
２１０ インターフェース部
２２０ 通信部
２３０ 表示パネル
２４０ 制御部

Claims (7)

1. 複数のカメラがそれぞれ撮像した複数の画像データを取得する第１取得部と、
   前記複数の画像データから選択した複数の選択画像データに基づく画像を表示する表示装置から、表示すべき前記複数の選択画像データを特定するための選択情報と、当該表示装置の画面のレイアウト情報とを取得する第２取得部と、
   前記選択情報に基づき、前記第１取得部が取得した前記複数の画像データから前記複数の選択画像データを選択する選択部と、
   前記レイアウト情報に基づき、選択された前記複数の選択画像データを前記表示装置に対応するデータサイズに変換する変換部と、
   変換された前記複数の選択画像データを前記表示装置に送信する送信部と
   を備える画像処理装置。
2. 前記変換部は、選択された前記複数の選択画像データを、前記レイアウト情報に応じた配置で前記複数の選択画像データを含む一の画像データに変換し、
   前記送信部は、前記一の画像データを前記表示装置に送信する、
   請求項１に記載の画像処理装置。
3. 前記送信部は、前記一の画像データと、変換された前記複数の選択画像データとを同一のフレームで前記表示装置に送信する、
   請求項２に記載の画像処理装置。
4. 前記第１取得部は、前記複数の画像データとして、それぞれフレームレートが異なる複数の映像データを取得し、
   前記送信部は、前記フレームレートに応じた頻度で、前記複数の映像データを構成する前記複数の画像データそれぞれを送信する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記レイアウト情報は、前記表示装置の画面サイズの情報を含み、
   前記変換部は、前記複数の選択画像データを前記表示装置の前記画面サイズに応じたデータサイズに変換する、
   請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記レイアウト情報は、前記表示装置と前記表示装置のユーザとの間の距離の情報を含み、
   前記変換部は、前記表示装置と前記表示装置のユーザとの間の前記距離に応じたデータサイズに変換する、
   請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記表示装置は、複数の表示パネルを有し、
   前記レイアウト情報は、前記複数の表示パネルそれぞれの解像度および配置の情報を含み、
   前記変換部は、前記レイアウト情報に基づき、選択された前記複数の選択画像データを前記複数の表示パネルに対応するデータサイズに変換する、
   請求項１から６のいずれか一項に記載の画像処理装置。

Images