JP2016129269A - 画像・音声処理装置、集積回路、およびプログラム - Google Patents

Abstract

【課題】自装置での画像・音声処理の結果と同じになるように、外部装置で画像・音声処理ができること。【解決手段】画像・音声処理装置は、画像・音声取得部と、画像・音声処理部と、新規に画像・音声処理を実施する際に、画像・音声処理が実施可能かどうかを判定する画像・音声処理実施判定部と、画像・音声処理実施判定部が実施不可能と判定した場合、外部装置で画像・音声処理を行った結果と自機器で画像・音声処理を行った結果が同じになるように圧縮符号化のパラメータを計算するエンコードパラメータ計算部と、エンコーダ部と、画像・音声処理を代理実行する装置を決定する代理実行装置決定部と、代理実行装置決定部が決定した装置にエンコードデータを送る通信部と、を備える。【選択図】図２

Description

本発明は、画像処理、もしくは、音声処理を行う時のデータを送信する装置に関するものである。

監視カメラは、他の画像を処理する機器同様、デジタル処理化が進んでいる。デジタル化された監視カメラは、カメラで撮影した映像をエンコードすることで、データ量が削減されたエンコードデータを生成し、前記のエンコードデータをＩＰネットワークにて送る、という動作を行う。

一方、監視カメラで撮影する映像の解像度について、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）からＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、フルＨＤ、４Ｋ２Ｋと急激に高解像度化しているため、エンコードによってデータ量を削減しても、ネットワーク帯域やサーバの記憶領域に対する負荷が大きくなっており、データ量のさらなる削減が求められている。

前述のような理由から、映像や音声そのものを送るのではなく、監視カメラ自体で画像処理や音声処理を行い、その処理結果のみを送る、もしくは、その処理結果とその処理結果に有意な情報を見つけた時の映像・音声情報を送る、という機能を持つ監視カメラが徐々に製品化されている。これまでの一般的な監視カメラは、映像・音声を送信する機能のみであったが、今後、監視カメラは、画像・音声処理機能を持つのが一般的になってくると想像される。

画像処理、音声処理は、複雑な処理であることが多いので、ＣＰＵ能力やメモリ量、専用回路など多量のハードウェア資源を必要とすることが多い。このため、監視カメラが持つ限られたハードウェア資源で、複数の画像処理、もしくは、音声処理を実行させようとする時、ハードウェア資源の不足により、画像処理、音声処理が実施できないことがある。このため、ハードウェアの一時的な能力不足や不備などにより、画像処理が出来ない場合は、外部機器に画像を送信して一旦保存した後に、ハードウェアの能力不足や不備が解消した時に画像処理を実施する医用画像システムが知られている（例えば、特許文献１参照）。

特開２００８−２２８８９８号公報

しかしながら、上記特許文献１の技術を利用した場合、一時的なハードウェアの能力不足や不備などにより、画像処理が出来ない場合に、外部機器に送信する画像は医用画像とのみ書かれているが、その医用画像が非圧縮の画像データか、圧縮符号化されたデータかなのかが不明である。

もし、対象となる医用画像が非圧縮の画像データとした場合、その非圧縮のデータ量は非常に大きいため、監視カメラが用いるＩＰネットワークに送信するのは困難であり、圧縮符号化をした画像データを送信する必要がある。このため、上記特許文献１の技術では画像データの圧縮符号化する手段が存在しないため、監視カメラに、この技術を用いるのは困難である。

また、対象となる医用画像が圧縮符号化された画像データとした場合、一旦圧縮符号化された画像データは情報が欠落するため、圧縮符号化のパラメータの設定によっては、圧縮符号化しない画像を画像処理した結果と圧縮符号化した後の画像を画像処理した結果が異なる場合がある。このため、圧縮符号化する際のパラメータとして、それらの画像処理結果が異ならないようにする必要があり、この面でも、上記特許文献１の技術を用いることは困難である。

さらに、上記特許文献１の技術は、画像処理が出来なかった画像データに対しハードウェアの能力不足や不備が解消した時に行うものとしているが、監視カメラでは、他の画像処理が常時動作して、一時的なハードウェア能力不足が解消しない可能性がある。このことから、監視カメラでは、ハードウェア能力不足が解消しない場合の対策も必要である。

本発明は、前記従来の課題を解決するもので、一時的なハードウェア能力不足のため、画像処理や音声処理が出来なかった場合、そのハードウェア自身で画像処理、音声処理を実施した結果と、外部機器で画像処理、音声処理を実施した結果が同じとなるように、外部機器で画像処理、音声処理を代理で実行できることを目的とする。

前記従来の課題を解決するために、本発明の画像・音声処理装置は、画像処理や音声処理の実施を試みた際に、ハードウェア資源が不足した場合には、外部機器で画像処理や音声処理が可能なデータを送信する画像・音声処理装置であって、画像データ、もしくは、音声データの取得を行う画像・音声取得部と、前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、画像処理、もしくは、音声処理を行う画像・音声処理部と、新規に画像処理や音声処理を実施する際に、ハードウェア資源が不足しないかどうかを計算するリソース使用量計算部と、前記リソース使用量計算部においてハードウェア資源が不足すると計算された時に、外部機器で画像処理、もしくは、音声処理で行うための圧縮符号化のパラメータを計算するエンコードパラメータ計算部と、前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、前記エンコードパラメータ計算部で計算された圧縮符号化のパラメータにより圧縮符号化処理を行うエンコーダ部と、前記エンコーダ部で圧縮符号化を行われたデータを外部機器に送信する通信部とを備える。

本構成によって、一時的なハードウェア能力不足のため、画像処理や音声処理が出来なかった場合、そのハードウェア自身で画像処理、音声処理を実施した結果と、外部機器で画像処理、音声処理を実施した結果が同じとなるように、外部機器で画像処理、音声処理を代理で実行できる。

本発明の画像・音声処理装置によれば、一時的なハードウェア能力不足のため、画像処理や音声処理が出来なかった場合、そのハードウェア自身で画像処理、音声処理を実施した結果と、外部機器で画像処理、音声処理を実施した結果が同じとなるように、外部機器で画像処理、音声処理を代理で実行できる。

本発明の実施の形態１における画像・音声処理装置１が利用されるシステム全体構成図 本発明の実施の形態１における画像・音声処理装置１の構成図 本発明の実施の形態１における主制御部１００がエンコードされた画像データを外部機器に送信する動作フローを示す図 本発明の実施の形態１における主制御部１００が画像処理されたデータを外部機器に送信する動作フローを示す図 本発明の実施の形態１における画像・音声処理装置１がＣＰＵ使用量に応じて、送信するデータの種類を変更する方法についての概要を示した図 本発明の実施の形態１において、画像・音声処理装置１で画像処理Ｃを行った結果と、画像・音声処理代理実行サーバ６で画像処理Ｃを行った結果が異なることがあることを説明した図 本発明の実施の形態１における主制御部１００が、自機器で画像処理の実行、もしくは、外部機器で画像処理の代理実行に関する動作フローを示す図 本発明の実施の形態１における主制御部１００が、画像処理の外部機器に代理実行判断に関する動作フローを示す図 本発明の実施の形態１における主制御部１００が、画像処理の外部機器での代理実行時の送信エンコード画像のエンコードパラメータを計算する動作フローを示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像・音声処理装置が利用されるシステムの全体構成図を示したものである。システムの全体構成は、画像・音声処理装置１と、映像・音声データ受信サーバ４と、画像・音声処理データ受信サーバ５と、画像・音声処理代理実行サーバ６とからなる。

画像・音声処理装置１は、カメラやマイクなどの入力デバイスから画像・音声データを取得した後、それらのデータに対して何らかの加工を施して、外部の機器に出力する装置である。詳細には、画像・音声処理装置１は、カメラやマイクから画像・音声データを取得して、それらのデータをエンコードし、それらのエンコードしたデータを映像・音声データ受信サーバ４に出力する装置である。あるいは、画像・音声処理装置１は、カメラやマイクから画像・音声データを取得して、それらのデータを画像・音声処理して、画像・音声処理データ受信サーバ５に出力する装置であり、あるいは、画像・音声処理装置１は、カメラやマイクから画像・音声データを取得して、それらのデータをエンコードし、それらのデータを画像・音声処理代理実行サーバ６に出力する装置である。

映像・音声データ受信サーバ４は、画像・音声処理装置１が送信したエンコードされた映像・音声データを受信する装置である。映像・音声データ受信サーバ４は、受信したエンコードされた映像・画像データを、デコードを行ってディスプレイ上に表示することができる。また、映像・音声データ受信サーバ４は、受信したエンコードされた映像・画像データを、映像・音声データ受信サーバ４に内蔵、あるいは接続されている記録デバイスにそのまま書き込みを行うことができる。

画像・音声処理データ受信サーバ５は、画像・音声処理装置１、もしくは、画像・音声処理代理実行サーバ６が送信した画像・音声処理データを受信する装置である。画像・音声処理データ受信サーバ５は、受信した画像・音声処理データを、ディスプレイ上に表示することができる。また、画像・音声処理データ受信サーバ５は、受信した画像・音声処理データを、画像・音声処理データ受信サーバ５内蔵、あるいは接続されている記録デバイスに書き込みを行うことができる。もしくは、記録デバイスに蓄積しておいた複数の画像・音声処理データを解析して、その結果をディスプレイ上に表示することができる。

画像・音声処理代理実行サーバ６は、画像・音声処理装置１が送信したエンコードされた映像・音声データを受信して、画像・音声処理装置１の代理で画像・音声処理を行う装置である。画像・音声処理を行った結果である画像・音声処理データは、画像・音声処理データ受信サーバ５に送信する。

なお、図１では、映像・音声データ受信サーバ４、画像・音声処理データ受信サーバ５、画像・音声処理代理実行サーバ６を、個別のサーバとして記述しているが、これらのサーバで実施している機能は、１つのサーバで行っても良いし、複数のサーバで分担して行っても良い。また、これらの機能は、他の画像・音声処理装置で持っても良い。

図２は、画像・音声処理装置１の構成図である。画像・音声処理装置１は、画像取得部１０と、音声取得部２０と、通信部３０と、代理実行サーバ決定部４０と、エンコーダ部５０と、デコーダ部６０と、画像・音声処理部７０と、リソース使用量計算部８０と、主制御部１００とを備える。

画像取得部１０は、カメラを備えていて、カメラ内で撮影された画像データを取得する。もしくは、アナログビデオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子などの映像入力端子を備えていて、別の装置から送出された映像を受信して、画像データを取得する。もしくは、イーサーネットなどのネットワーク端子を備えており、ネットワーク経由で送信された映像データを受信して、場合によっては映像データのデコードを行い、画像データを取得する。なお、取得した画像データは、ＹＣ形式、ＲＧＢ形式、ＲＡＷ形式などの無圧縮の画像データとして出力する。

音声取得部２０は、マイクを備えていて、マイクに入力された音声データを取得する。もしくは、アナログ音声端子、ＨＤＭＩ（登録商標）端子などの音声入力端子を備えていて、別の装置から送出された音声を受信して、音声データを取得する。もしくは、イーサーネットなどのネットワーク端子を備えていて、別の装置から送出された音声データを受信して、場合によっては音声データのデコードを行い、音声データを取得する。なお、取得した音声データは、ビットストリーム形式などの、無圧縮の音声データとして出力する。

通信部３０は、イーサーネットや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などのネットワーク端子を通して、外部の機器とデータの送受信を行う手段である。

代理実行サーバ決定部４０は、画像処理、もしくは、音声処理を画像・音声処理装置１に代わって実行する画像・音声処理代理実行サーバを決定する手段である。決定する方法としては、予め代理実行サーバ決定部４０内に持つ画像・音声処理代理実行サーバのリストから選択する方法がある。その他に、画像・音声処理装置１の外部にある画像・音声処理代理実行サーバの検索サーバに検索を行う方法がある。

エンコーダ部５０は、ＲＡＷ形式やＲＧＢ形式やＹＣｂＣｒ形式などの無圧縮の画像データを、ＭＰＥＧ１／２／４、Ｈ．２６４、ＪＰＥＧ、ＪＰＥＧ２０００のような任意の画像圧縮方式により、符号化を行う手段である。もしくは、ビットストリームなどの無圧縮の音声データを、ＭＰ３、ＡＣ３、ＡＡＣなどの任意の音声圧縮方式で符号化を行う手段である。

デコーダ部６０は、ＭＰＥＧ１／２／４、Ｈ．２６４、ＪＰＥＧ、ＪＰＥＧ２０００などの任意の画像圧縮方式で符号化された画像データを、ＲＡＷ形式やＲＧＢ形式やＹＣｂＣｒ形式などの無圧縮の画像データに復号化する手段である。もしくは、ＭＰ３、ＡＣ３、ＡＡＣなどの任意の音声圧縮方式で符号化された音声データを、ビットストリームなどの無圧縮の音声データに復号化する手段である。

画像・音声処理部７０は、画像取得部１０で取得した画像データや、デコーダ部６０で復号化された画像データや、エンコーダ部５０により符号化された画像データに対して、画像処理を行う手段である。もしくは、音声取得部２０で取得した音声データや、デコーダ部６０で復号化された音声データや、エンコーダ部５０により符号化された音声データに対し、音声解析を行う手段である。

リソース使用量計算部８０は、画像・音声処理装置１のＣＰＵや、ＲＡＭ、記録媒体、ネットワークなど各種デバイスの単位時間当りの使用量を計算する手段である。もしくは、それら各種デバイスの単位時間当りの使用率を計算する手段である。

主制御部１００は、画像取得部１０、音声取得部２０、通信部３０、代理実行サーバ決定部４０、エンコーダ部５０、デコーダ部６０、画像・音声処理部７０、リソース使用量計算部８０を制御して、一連の処理を実現する手段である。例えば、画像取得部１０で取得した画像データや、音声取得部２０で取得した音声データを、エンコーダ部５０で符号化した後、通信部３０で映像・音声データ受信サーバ４に送信する制御を行う。もしくは、画像取得部１０で取得した画像データや、音声取得部２０で取得した音声データを、画像・音声処理部７０で画像処理、もしくは、音声処理を行い、その解析結果を通信部３０で画像・音声処理データ受信サーバ５に送信する制御を行う。もしくは、画像処理、もしくは、音声処理出来ない場合に、代理実行サーバ決定部４０で決定した画像・音声処理代理実行サーバ６に対して代理実行を依頼すると共に、画像・音声処理代理実行サーバ６で画像処理、音声処理を実行した結果と、画像・音声処理装置１で画像処理、音声処理を実施した結果が同じになるようにエンコードパラメータを計算して、画像取得部１０で取得した画像データや、音声取得部２０で取得した音声データを、前述のエンコードパラメータを用いてエンコーダ部５０で符号化した後、通信部３０で、画像・音声処理代理実行サーバ６に送信する制御を行う。

図３は、画像データをエンコードして、そのエンコードしたデータを外部に送信するという一連の動作を、主制御部１００が制御する流れを示したフローチャートである。

まず、主制御部１００は、画像取得部１０に画像データＰの取得を指示する。指示を受けた画像取得部１０は、画像取得部１０内に備えるカメラ、もしくは、外部映像入力端子などの画像入力デバイスから、画像データＰを取得する（ステップＳ３１０）。

続いて、主制御部１００は、ステップＳ３１０で取得した画像データＰを符号化することをエンコーダ部５０に指示する。指示を受けたエンコーダ部５０は、画像データＰを、Ｈ．２６４など任意の画像圧縮方式により符号化を行い、エンコード画像データＰ’を得る（ステップＳ３２０）。

最後に、主制御部１００は、ステップＳ３２０で取得したエンコード画像データＰ’を任意の外部機器へ送信することを通信部３０に指示する。指示を受けた通信部３０は、エンコード画像データＰ’を、任意の外部機器が受信可能なプロトコル、例えば、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）や、ＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、を使って、外部機器へ送信を行う（ステップＳ３３０）。

図４は、画像データを画像処理して、その処理結果データを外部に送信するという一連の動作を、主制御部１００が制御する流れを示したフローチャートである。

まず、主制御部１００は、画像取得部１０に画像データの取得を指示する。指示を受けた画像取得部１０は、画像取得部１０内に備えるカメラ、もしくは、外部映像入力端子などの画像入力デバイスから、画像データＰを取得する（ステップＳ４１０）。

続いて、主制御部１００は、ステップＳ４１０で取得した画像データＰの画像処理を画像・音声処理部７０に指示する。指示を受けた画像・音声処理部７０は、画像データＰに対し、顔識別処理、ナンバープレート認識処理など、任意の方式の画像処理を行い、画像処理結果Ａを得る（ステップＳ４２０）。

最後に、主制御部１００は、ステップＳ４２０で取得した画像処理結果Ａを任意の外部機器へ送信することを通信部３０に指示する。指示を受けた通信部３０は、画像処理結果Ａを、任意の外部機器が受信可能なプロトコル、例えば、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）や、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）や、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などを使って、外部機器へ送信を行う（ステップＳ４３０）。

図５は、本発明の実施の形態１における画像・音声処理装置が、ＣＰＵ使用量に応じて、送信するデータの種類を変更する方法についての概要を示した図である。

まず、画像・音声処理装置１は、画像処理Ａと画像処理Ｂを動作させており、その２つのＣＰＵ使用量の総計はＣＰＵ最大使用量を下回っていて、遅延がない状態で２つの画像処理が実施している。なお、画像処理は、通常、ＹＣ形式やＲＧＢ形式などの無圧縮のデータ形式が行われることがほとんどであるため、ここでは、画像処理Ａと画像処理Ｂともに、ＹＣ形式で画像処理が行われるとしている。

次に、画像・音声処理装置１は、画像処理Ｃを新たに動作させようとする（ステップＳ５１０）。この時、画像・音声処理装置１は、現在のＣＰＵ使用量と画像処理ＣのＣＰＵ使用量予測値の合計が、ＣＰＵ最大使用量を超過していないかを確認する。超過していなければ、画像処理Ｃを開始する。超過していれば、画像処理Ｃを開始しても期待通りに動作しない可能性が高いと判断し、画像・音声処理装置１は、外部機器で画像処理Ｃを代理実行することを判断する。

続いて、画像・音声処理装置１は、画像処理Ｃを代理実行できる画像・音声処理代理実行サーバ６を探索する。そして、探索できた画像・音声処理代理実行サーバ６に対して、画像処理Ｃの実行を依頼する（ステップＳ５２０）。探索の方法としては、画像・音声処理装置１内に、予め画像処理Ｃの代理実行が可能な画像・音声処理代理実行サーバのリストを持っておき、そのリストの先頭から順番に画像処理Ｃの代理実行が可能かを問い合わせていき、代理実行可能と回答した画像・音声処理代理実行サーバの中から選択する方法でもよいし、画像処理Ｃの代理実行が可能な画像・音声処理代理実行サーバを教えるサーバへの問い合わせにより探索する方法などでもよい。なお、画像処理Ｃの代理実行を依頼された画像・音声処理代理実行サーバ６は、画像処理Ｃを実行するための準備を行う。

続いて、画像・音声処理装置１は、画像処理Ｃの代理実行処理を開始する。画像・音声処理装置１にとって、画像処理Ｃの代理実行処理とは、画像・音声処理代理実行サーバ６で画像処理Ｃを実行するために必須である画像データを、画像・音声処理代理実行サーバ６に送信することである。通常、画像処理ＣはＹＣデータ形式の画像データを用いて実施されるため、ＹＣデータ形式のデータを画像・音声処理代理実行サーバ６に送信するのがよい。しかし、ＹＣデータ形式の画像データは容量が大きいため、ネットワークを用いた送信には向いていない。このため、ＹＣデータ形式の画像データをそのまま送るのではなく、その画像データを一旦、画像圧縮符号化して送信する（ステップＳ５３０）。画像・音声処理代理実行サーバ６は、画像圧縮符号化された画像データを受信して、その画像データを復号化してＹＣデータ形式の画像データに戻し、画像処理Ｃを実行する。

この時、画像圧縮符号化時のパラメータによっては、画像・音声処理装置１で画像処理Ｃを行った結果と、画像・音声処理代理実行サーバ６で画像処理Ｃ行った結果が異なることがある。このことを説明する図が、図６である。図６（ａ）は、画像・音声処理装置１で画像処理Ｃを行い、画像処理結果データＡ１を得ることを示したものである。画像・音声処理装置１は、画像取得部１０で取得したＹＣデータＤ１に対し、画像処理Ｃを行って、画像処理結果データＡ１を得る。図６（ｂ）は、画像・音声処理装置１で画像処理Ｃを実施せず、画像・音声処理代理実行サーバ６で画像処理Ｃを代理実行することを示したものである。画像・音声処理装置１は、画像取得部１０にてＹＣデータＤ１の取得を行った後、そのデータを画像圧縮符号化（エンコード）して、画像・音声処理代理実行サーバ６に送る。画像・音声処理代理実行サーバ６は、受け取ったデータを復号化（デコード）してＹＣデータＤ２を取り出した後、画像処理Ｃを行い、画像処理結果データＡ２を得る。ここで、ＹＣデータＤ１を画像圧縮符号化（エンコード）した後に、符号化（デコード）して取り出したデータであるＹＣデータＤ２は、画像圧縮符号化によるデータ欠落があるため、同一のものではない。このため、ＹＣデータＤ１に対し画像処理Ｃを実施した結果である画像処理結果データＡ１と、ＹＣデータＤ２に対し画像処理Ｃを実施した結果である画像処理結果データＡ２は、同じではないことがある。しかし、解像度、圧縮率、圧縮方法など画像圧縮符号化のパラメータを調整することで、画像処理結果データをほぼ同一にすることは可能である。このため、画像・音声処理装置１は、画像処理結果が同じになる画像圧縮パラメータで画像圧縮符号化処理を行う必要がある。

続いて、画像・音声処理代理実行サーバ６は、画像・音声処理装置１が送信した画像圧縮符号化された画像データを受信する。そして、その画像データを復号化して、ＹＣデータ形式の画像データを取り出し、画像処理Ｃを行う（ステップＳ５４０）。画像処理Ｃを行った結果である画像処理結果データは、画像・音声処理代理実行サーバ６自身で保持するか、もしくは、画像・音声処理データ受信サーバ５へ送信する。

図７は、画像処理を画像・音声処理代理実行サーバ６で代理実行するかを判断した後、画像・音声処理代理実行サーバ６で代理実行する場合は画像データをエンコードして外部機器に送信し、代理実行しない場合は画像処理を行ってその処理結果を、画像・音声処理代理実行サーバ６に送信する一連の動作を、主制御部１００が制御する流れを示したフローチャートである。

まず、主制御部１００は、画像処理を、画像・音声処理代理実行サーバ６で代理実行するかどうかの判断を行う（ステップＳ７１０）。次に、主制御部１００は、ステップＳ７１０で判断した結果を判断して処理を分岐させる（ステップＳ７２０）。もし、画像処理を画像・音声処理代理実行サーバ６で代理実行すると判断した場合には、エンコード画像を生成して、画像・音声処理代理実行サーバ６にエンコード画像を送信する処理を行う（ステップＳ７３０）。なお、ステップＳ７３０の詳細シーケンスは、図４に示すステップＳ４００のシーケンスとなる。

もし、画像処理を画像・音声処理代理実行サーバ６で代理実行しないと判断した場合には、画像・音声処理装置１内で画像処理を行い、画像処理結果を画像・音声処理データ受信サーバ５へ送信する（ステップＳ７４０）。なお、ステップＳ７４０の詳細シーケンスは、図５に示すステップＳ５００のシーケンスとなる。

図８は、画像・音声処理代理実行サーバ６での画像処理の代理実行の判断方法の一連の詳細動作を、主制御部１００が制御する流れを示したフローチャートである。

まず、主制御部１００は、リソース使用量計算部８０からリソース使用量を取得して、取得したリソース使用量とこれから動作させる画像処理のリソース使用量の総計がリソース使用量の最大値が超えていないかを確認する（ステップＳ８１０）。もし、超えていない場合は、このフローチャートを終了し、超えている場合は次のステップに移行する。ここで、リソース量とは、ＣＰＵ使用量や、ＲＡＭ使用量、記録領域使用量などがある。

次に、主制御部１００は、送信する画像データをエンコードする際のエンコードパラメータＥを計算する（ステップＳ８２０）。ここで、エンコードパラメータＥは、画像・音声処理装置１で画像処理を行った画像処理結果と、画像・音声処理代理実行サーバ６が画像・音声処理装置１から受信した画像を用いて画像処理を行った結果が同じとなるように計算される。なお、ステップＳ８２０の詳細シーケンスは、図９にて説明する。

次に、主制御部１００は、代理実行サーバ決定部４０に、画像処理の代理実行する画像・音声処理代理実行サーバ６を決定するように指示する（ステップＳ８３０）。ここで、代理処理するサーバを決定する方法としては、予め実行の代理実行が可能な画像・音声処理代理実行サーバのリストを持っておき、そのリストの先頭から順番に画像処理Ｃの代理実行が可能かを問い合わせていき、代理実行可能と回答した画像・音声処理代理実行サーバの中から決定する方法でもよいし、画像処理Ｃの代理実行が可能な画像・音声処理代理実行サーバを教えるサーバへの問い合わせにより決定する方法などでもよい。もしくは、予め、画像処理毎の画像・音声処理代理実行サーバ６のリストを持っておき、画像処理の種類によって画像・音声処理代理実行サーバ６を決定してもよい。

続いて、主制御部１００は、ステップＳ８３０にて決定した画像・音声処理代理実行サーバ６に対し、通信部３０から、画像処理の依頼通知を行う（ステップＳ８４０）。この時、依頼通知だけでなく、画像処理に必要なパラメータも渡しても良い。

最後に、主制御部１００は、ステップＳ８２０で計算したエンコードパラメータＥを、エンコーダ部５０に設定する（ステップＳ８５０）。

図９は、主制御部１００が画像・音声処理代理実行サーバ６での代理実行時にエンコードパラメータＥを計算する一連の詳細動作を、主制御部１００が制御する流れを示したフローチャートである。

まず、主制御部１００は、画像取得部１０に対して画像データＰを取得するよう指示する（ステップＳ９１０）。

続いて、主制御部１００は、画像・音声処理部７０に対し、ステップＳ９１０で取得した画像データＰの画像処理を行う指示を出し、画像処理結果Ａを得る（ステップＳ９２０）。

同時に、主制御部１００は、ステップＳ９１０で取得した画像データＰを、エンコードパラメータＥＥを仮設定し（ステップＳ９３０）、その仮設定したエンコードパラメータＥＥでエンコードを実施して、エンコード画像データＰＥＥを得る（ステップＳ９４０）。次に、エンコード画像データＰＥＥをデコードすることで画像データＰＤを得て（ステップＳ９５０）、その画像データＰＤに対し、画像処理を行って画像処理結果ＡＤを得る（ステップＳ９６０）。

次に、主制御部１００は、ステップＳ９２０で得た画像処理結果Ａと、ステップＳ９６０で得た画像処理結果ＡＤを比較する（ステップＳ９７０）。比較した結果、同じ結果だと判断できた場合は、次のステップに進むが、同じ結果だと判断できなかった場合はステップＳ９３０に戻り。これまでに仮設定をしていないエンコードパラメータＥＥを仮設定した上で、ステップＳ９３０〜ステップＳ９７０を再度実行する。これを、ステップＳ９２０で得た画像処理結果Ａと、ステップＳ９６０で得た画像処理結果ＡＤが同じ結果だと判断できるまで繰り返す。

最後に、主制御部１００は、仮設定のエンコードパラメータＥＥを、本設定のエンコードパラメータＥＥとして、エンコーダ部５０に設定する（ステップＳ９８０）。

なお、図３〜８では、画像データを取得して、画像処理を行う例にて説明を行ったが、画像データを音声データに、画像処理を音声処理に置き換えれば、音声処理に関する説明となる。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の画像・音声処理装置は、ハードウェア資源の不足などにより、自機器で画像処理や音声処理が実施できない時、外部機器で画像処理や音声処理が可能なデータを送信することで、自身で画像処理や音声処理を行った時と同じ結果になるように、外部機器で画像処理や音声処理が可能であるという効果を奏し、例えば、監視カメラに適用することが可能である。

１ 画像・音声処理装置
４ 映像・音声データ受信サーバ
５ 画像・音声処理データ受信サーバ
６ 画像・音声処理代理実行サーバ
１０ 画像取得部
２０ 音声取得部
３０ 通信部
４０ 代理実行サーバ決定部
５０ エンコーダ部
６０ デコーダ部
７０ 画像・音声処理部
８０ リソース使用量計算部
１００ 主制御部

Claims (9)

1. 自装置で画像処理や音声処理ができない場合、外部装置で画像処理や音声処理が可能なデータを送信する画像・音声処理装置であって、
   画像データ、もしくは、音声データの取得を行う画像・音声取得部と、
   前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、画像処理、もしくは、音声処理を行う画像・音声処理部と、
   新規に画像処理や音声処理を実施する際に、自装置にてその画像処理や音声処理が実施可能かを判定する画像・音声処理実施判定部と、
   前記画像・音声処理実施判定部において、自装置での画像・音声処理が実施不可能と判定された場合、外部装置で画像処理、もしくは、音声処理で行うための圧縮符号化のパラメータを計算するエンコードパラメータ計算部と、
   前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、前記エンコードパラメータ計算部で計算された圧縮符号化のパラメータにより圧縮符号化処理を行うエンコーダ部と、
   画像処理や音声処理を外部装置で行う際に、その外部装置を決定する代理実行装置決定部と、
   前記エンコーダ部で圧縮符号化を行われたデータを、前記代理実行装置決定部によって決められた外部装置に送信する通信部と、
   を備える画像・音声処理装置。
2. 画像・音声処理装置が持つおのおののリソース使用量を計算するリソース使用量計算部をさらに備え、
   前記画像・音声処理実施判定部は、前記リソース使用量計算部から獲得したリソース量と、新規に画像処理や音声処理を実行した場合に発生するリソース量と、を合計した上でリソース量の最大値と比較し、最大値と等しい時、あるいは、小さい時は画像・音声処理が実施可能と判定し、最大値より大きい時は画像・音声処理が実施不可能とする、
   請求項１記載の画像・音声処理装置。
3. 前記エンコードパラメータ計算部は、前記画像・音声処理部の処理方法毎に、予め保持されたエンコードパラメータを返す、
   請求項１または２記載の画像・音声処理装置。
4. 圧縮符号化された画像データ、もしくは、音声データの復号化処理を行うデコーダ部をさらに備え、
   前記エンコードパラメータ計算部は、前記画像・音声取得部が取得した画像データ、もしくは、音声データを前記画像・音声処理部で画像処理、もしくは、音声処理をした結果と、前記画像・音声取得部が取得した画像データ、もしくは、音声データを、前記エンコーダ部で仮のエンコーダパラメータを使い圧縮符号化処理したのち、前記デコーダ部で復号化処理を行い、復号化処理されたデータを前記画像・音声処理部にて画像処理、もしくは、音声処理した結果とを比較し、同じ結果であれば、仮エンコードパラメータをエンコードパラメータとし、違う結果であれば、再度仮パラメータを設定し、前記エンコーダ部、前記デコーダ部、前記画像・音声処理部による一連の処理を同じ結果となるまで繰り返し行う、
   請求項１または２記載の画像・音声処理装置。
5. 前記代理実行装置決定部は、予め実行の代理実行が可能な装置のリストを持っておき、そのリストの先頭から順番に画像・音声処理の代理実行が可能かを問い合わせていき、代理実行可能と回答した装置から、画像・音声処理の代理実行を行う装置を決定する、
   請求項１〜４のいずれか１項に記載の画像・音声処理装置。
6. 前記代理実行装置決定部は、画像処理の代理実行が可能な装置を教えるサーバへの問い合わせを行うことによって、画像・音声処理の代理実行を行う装置を決定する、
   請求項１〜４のいずれか１項に記載の画像・音声処理装置。
7. 前記代理実行装置決定部は、予め画像処理や音声処理の種類毎に、代理実行が可能な装置のリストを持っておき、画像処理や音声処理の種類によって、画像・音声処理の代理実行を行う装置を決定する、
   請求項１〜５のいずれか１項に記載の画像・音声処理装置。
8. 自集積回路で画像処理や音声処理ができない場合、外部の装置に画像処理や音声処理が可能なデータを送信する集積回路であって、
   画像データ、もしくは、音声データの取得を行う画像・音声取得部と、
   前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、画像処理、もしくは、音声処理を行う画像・音声処理部と、
   新規に画像処理や音声処理を実施する際に、自集積回路でその画像処理や音声処理が実施可能かを判定する画像・音声処理実施判定部と、
   前記画像・音声処理実施判定部において、自集積回路での画像・音声処理が実施不可能と判定された場合、外部装置で画像処理、もしくは、音声処理で行うための圧縮符号化のパラメータを計算するエンコードパラメータ計算部と、
   前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、前記エンコードパラメータ計算部で計算された圧縮符号化のパラメータにより圧縮符号化処理を行うエンコーダ部と、
   画像処理や音声処理を外部装置で行う際に、その外部装置を決定する代理実行装置決定部と、
   前記エンコーダ部で圧縮符号化を行われたデータを、前記代理実行装置決定部によって決められた外部装置に送信する通信部と、
   を備える集積回路。
9. 自プログラムで画像処理や音声処理ができない場合、外部装置で画像処理や音声処理が可能なデータを送信するプログラムであって、
   画像データ、もしくは、音声データの取得を行う画像・音声取得部と、
   前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、画像処理、もしくは、音声処理を行う画像・音声処理部と、
   新規に画像処理や音声処理を実施する際に、自プログラムにてその画像処理や音声処理が実施可能かを判定する画像・音声処理実施判定部と、
   前記画像・音声処理実施判定部において、自プログラムでの画像・音声処理が実施不可能と判定された場合、外部装置で画像処理、もしくは、音声処理で行うための圧縮符号化のパラメータを計算するエンコードパラメータ計算部と、
   前記画像・音声取得部で取得された画像データ、もしくは、音声データに対し、前記エンコードパラメータ計算部で計算された圧縮符号化のパラメータにより圧縮符号化処理を行うエンコーダ部と、
   画像処理や音声処理を外部装置で行う際に、その外部装置を決定する代理実行装置決定部と、
   前記エンコーダ部で圧縮符号化を行われたデータを、前記代理実行装置決定部によって決められた外部装置に送信する通信部と、
   を備えるプログラム。

Images