JP2020141213A - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Abstract

【課題】 動画像に対する画像センシング処理を効率的に行うことができる【解決手段】 本発明は、画像処理装置に関する。そして、本発明の画像処理装置は、カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、第１のフレーム列を第２のフレームレートの第２のフレーム列で出力するフレーム取得手段と、第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行う画像認識手段と、画像認識手段の認識処理の状況に応じて、フレーム取得手段に設定する第２のフレームレートを決定し、フレーム取得手段に決定した第２のフレームレートで第２のフレーム列を出力するように制御するフレームレート制御手段とを有することを特徴とする。【選択図】 図１

Description

この発明は、画像処理装置、画像処理プログラム及び画像処理方法に関し、例えば、監視カメラにより撮像された画像に基づく認識処理を行うシステムに適用し得る。

複数のカメラで撮像された動画像について、所定の物体やイベントを検知する処理（以下、「画像センシング処理」と呼ぶ）を行うシステムとして、例えば、非特許文献１の記載技術が存在する。

非特許文献１に記載されたシステムでは、サッカーのコートに複数のカメラを設置し、複数アングルの動画像について画像センシング処理としてスポーツ動画センシングの処理を行い、映像からプレイヤーやボールの動きを検知し、シュートやゴールシーンなどの競技シーンを自動的に抽出することについて記載されている。

「サッカーのシュート映像などを自動抽出するNTTのAI技術 プレイバック映像配信のトライアルを開始」、アイティメディア株式会社、[Online]、INTERNET、[２０１９年２月１１日検索]、URL<http://www.itmedia.co.jp/enterprise/articles/1802/02/news066.html>

しかしながら、動画像に対する画像センシング処理は、画像加工やＡＩ処理等の非常に大きな処理が含まれるため、画像センシング処理を行う装置には高いスペックのコンピュータが求められる。

そのため、動画像に対する画像センシング処理を効率的に行うことができる画像処理装置、画像処理プログラム及び画像処理方法が望まれている。

第１の本発明の画像処理装置は、（１）カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、前記第１のフレーム列を第２のフレームレートの第２のフレーム列で出力するフレーム取得手段と、（２）前記第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行う画像認識手段と、（３）前記画像認識手段の認識処理の状況に応じて、前記フレーム取得手段に設定する前記第２のフレームレートを決定し、前記フレーム取得手段に決定した前記第２のフレームレートで前記第２のフレーム列を出力するように制御するフレームレート制御手段とを有することを特徴とする。

第２の本発明の画像処理プログラムは、コンピュータを、（１）カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、前記第１のフレーム列を第２のフレームレートの第２のフレーム列で出力するフレーム取得手段と、（２）前記第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行う画像認識手段と、（３）前記画像認識手段の認識処理の状況に応じて、前記フレーム取得手段に設定する前記第２のフレームレートを決定し、前記フレーム取得手段に決定した前記第２のフレームレートで前記第２のフレーム列を出力するように制御するフレームレート制御手段として機能させることを特徴とする。

第３の本発明は、画像処理装置が行う画像処理方法において、（１）前記画像処理装置は、フレーム取得手段、画像認識手段、及びフレームレート制御手段を有し、（２）前記フレーム取得手段は、カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、前記第１のフレーム列を第２のフレームレートの第２のフレーム列で出力し、（３）前記画像認識手段は、前記第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行い、（４）前記フレームレート制御手段は、前記画像認識手段の認識処理の状況に応じて、前記フレーム取得手段に設定する前記第２のフレームレートを決定し、前記フレーム取得手段に決定した前記第２のフレームレートで前記第２のフレーム列を出力するように制御することを特徴とする。

本発明によれば、動画像に対する画像センシング処理を効率的に行うことができる。

実施形態に係る画像処理システムの全体構成について示したブロック図である。 実施形態に係るゲートウェイ装置のハードウェア構成の例について示したブロック図である。 実施形態に係るゲートウェイ装置でチャンネルごとのフレームを処理する構成について示したブロック図である。 実施形態に係るゲートウェイ装置において、撮像フレーム列と画像センシングフレーム列の対応関係について示した図である。 実施形態に係るゲートウェイ装置において処理されるフレームの例について示した図である。 実施形態に係るゲートウェイ装置（フレームレート制御部）の動作について示したフローチャートである。 実施形態の変形例（変形例１）に係る画像処理システムの全体構成について示したブロック図である。 実施形態の変形例（変形例１）に係るゲートウェイ装置でチャンネルごとのフレームを処理する構成について示したブロック図である。

（Ａ）主たる実施形態
以下、本発明による画像処理装置、画像処理プログラム、画像処理方法、及び表示装置の一実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の画像処理装置、画像処理プログラム及び画像処理方法を、中継装置の１つであるゲートウェイ装置に適用した例について説明する。

（Ａ−１）実施形態の構成
図１は、この実施形態の画像処理システム１の全体構成を示すブロック図である。

図１に示す画像処理システム１には、ゲートウェイ装置１０、３台のカメラ２０（２０−１〜２０−３）、及びアプリケーションサーバ３０が配置されている。なお、画像処理システム１を構成する各装置の数は限定されないものである。

ゲートウェイ装置１０は、上位側ネットワークＮＷ１を介してアプリケーションサーバ３０と通信可能となっている。

ゲートウェイ装置１０の配下には、下位側ネットワークＮＷ２（一例は、ローカルネットワーク）を介して、カメラ２０−１〜２０−３が接続されている。

各カメラ２０は、リアルタイムに撮像したフレーム（画像）のデータ（フレーム列（動画像）のデータ）を、接続するゲートウェイ装置１０に送信する。各カメラ２０を配置する場所は限定されないものである。この実施形態の例では、各カメラ２０は、例えば、店舗や、映画館や、美術館等の施設内を撮像（監視）するように配置されているものとする。

ゲートウェイ装置１０は、配下のカメラ２０（２０−１〜２０−３）から、撮像されたフレームのデータを取得して、各フレームに写っている物体（以下、単に「オブジェクト」とも呼ぶ）を所定の認識アルゴリズムに基づいて認識する処理（以下、「画像センシング処理」と呼ぶ）を行い、画像センシング処理の結果（以下、「画像センシング情報」と呼ぶ）を出力（アプリケーションサーバ３０に送信）する。

アプリケーションサーバ３０は、ゲートウェイ装置１０から供給される情報（画像センシング情報を含む情報）の処理を行う装置である。アプリケーションサーバ３０が行う画像センシング情報を処理の詳細については限定されないものである。アプリケーションサーバ３０は、例えば、画像センシング情報に基づいてカメラ２０が配置された施設の来客数をカウントする処理等の統計処理を行う。

以下、画像処理システム１を構成する各装置の内部構成について説明する。

図１に示すように、ゲートウェイ装置１０は、フレーム取得部１１、画像センシング部１２、データ送信部１３、及びフレームレート制御部１４を有している。

フレーム取得部１１は、配下のカメラ２０（２０−１〜２０−３）から送信されたフレーム（画像）のデータ（フレーム列（動画像）のデータ）を取得する機能を担っている。

画像センシング部１２は、フレーム取得部１１が取得したフレーム列（動画像）の各フレームを参照して、写っているオブジェクト（物体）を所定の認識アルゴリズムに基づいて認識する画像センシング処理を行い、画像センシング処理の結果（画像センシング情報）を出力する。画像センシング部１２が行う画像センシング処理の方式は限定されないものであり、種々の方式（例えば、既存の画像センシング処理に関するミドルウェアやライブラリ等）を利用するようにしてもよい。画像センシング部１２が生成する画像センシング情報には、検出したオブジェクトごとのセンシング結果（以下、「オブジェクトセンシング情報」と呼ぶ）が含まれる。

画像センシング部１２が画像センシング処理により検出する対象となるオブジェクトの種類は限定されないものである。この実施形態では、ゲートウェイ装置１０は、画像センシング処理により各カメラ２０が撮像したフレームから人間（人物）を検出（種類が人間となるオブジェクトを検出）するものとして説明する。

データ送信部１３は、画像センシング部１２で画像センシング情報が生成される度に、その画像センシング情報を、アプリケーションサーバ３０に送信する処理を行う。

ここで、データ送信部１３は、画像センシング部１２で生成された複数（所定数）の画像センシング情報を、アプリケーションサーバ３０に纏めて送信する処理を行ってもよい。

またここで、データ送信部１３は、画像センシング部１２で所定時間において生成された１又は複数の画像センシング情報を、アプリケーションサーバ３０に纏めて送信する処理を行ってもよい。

フレームレート制御部１４は、フレーム取得部１１が、画像センシング部１２にフレーム列を供給する際のフレームレートを制御する処理を行う。フレームレート制御部１４の詳細処理については後述する。

ゲートウェイ装置１０は、全てハードウェア的に構成（例えば、専用の半導体チップを用いて構成）するようにしてもよいし、一部又は全部をソフトウェア的に構成するようにしてもよい。すなわち、ゲートウェイ装置１０は、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態に係る画像処理プログラムを含む）をインストールすることにより実現するようにしてもよい。

次に、図２を用いて、ゲートウェイ装置１０のハードウェア構成の例について説明する。

図２は、ゲートウェイ装置１０のハードウェア構成の例について示したブロック図である。

図２では、ゲートウェイ装置１０を、ソフトウェア（コンピュータ）を用いて構成する際のハードウェア構成の例について示している。図２に示すゲートウェイ装置１０は、ハードウェア的な構成要素として、プログラム（実施形態の画像処理プログラムを含む）がインストールされたコンピュータ１００を有している。

図２に示すコンピュータ１００は、プロセッサ１０１、一次記憶部１０２、及び二次記憶部１０３を有している。一次記憶部１０２は、プロセッサ１０１の作業用メモリ（ワークメモリ）として機能する記憶手段であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の高速動作するメモリを適用することができる。二次記憶部１０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やプログラムデータ（実施形態に係る画像処理プログラムのデータを含む）等の種々のデータを記録する記憶手段であり、例えば、ＦＬＡＳＨメモリやＨＤＤ等の不揮発性メモリを適用することができる。この実施形態のコンピュータ１００では、プロセッサ１０１が起動する際、二次記憶部１０３に記録されたＯＳやプログラム（実施形態に係る画像処理プログラムを含む）を読み込み、一次記憶部１０２上に展開して実行する。なお、コンピュータ１００の具体的な構成は図２の構成に限定されないものであり、種々の構成を適用することができる。例えば、一次記憶部１０２が不揮発メモリ（例えば、ＦＬＡＳＨメモリ等）であれば、二次記憶部１０３については除外した構成としてもよい。

次に、ゲートウェイ装置１０における画像センシング処理の具体的構成について図３を用いて説明する。

ゲートウェイ装置１０において、同時に処理するフレーム列の数は限定されないものであるが、図３では、ゲートウェイ装置１０において、３つのカメラ２０−１〜２０−３で撮像したフレーム列（動画像）に基づく画像センシング処理を行う際の流れを示している。

図３に示すフレーム取得部１１内では、カメラ２０−１〜２０−３のそれぞれのフレーム列に対応するフレーム取得処理部１１１（１１１−１〜１１１−３）が配置された状態について示している。また、図３に示す画像センシング処理部１２１では、画像センシング処理部１２１（１２１−１〜１２１−３）が配置された状態について示している。各フレーム取得処理部１１１は、フレーム取得部１１内で処理するフレーム列の数に応じて生成されるスレッドやプロセスとしてもよい。また、各画像センシング処理部１２１についても同様に、画像センシング部１２内で処理するフレーム列の数に応じて生成されるスレッドやプロセスとしてもよい。

フレーム取得処理部１１１−１〜１１１−３は、それぞれカメラ２０−１〜２０−３からフレームのデータを取得し、画像センシング処理部１２１−１〜１２１−３に供給する。また、画像センシング処理部１２１−１〜１２１−３は、それぞれフレーム取得処理部１１１−１〜１１１−３から供給されたフレームについて所定のアルゴリズムに基づいて画像センシング処理を行い、画像センシング処理の結果（画像センシング情報）を出力する。

なお、以下では、カメラ２０−１、２０−２、２０−３のフレーム列の処理の流れをそれぞれ「チャンネル」と呼ぶものとする。

また、以下では、各フレーム取得処理部１１１において、カメラ２０側から取得するフレーム列を「取得フレーム列」、各フレーム取得処理部１１１から後段の画像センシング処理部１２１に供給されるフレーム列を「画像センシングフレーム列」、取得フレーム列のフレームレートを「取得フレームレート」、画像センシングフレーム列のフレームレートを「画像センシングフレームレート」とそれぞれ呼ぶものとする。

データ送信部１３は、各画像センシング処理部１２１から供給された画像センシング情報（各チャンネルの画像センシング情報）を、アプリケーションサーバ３０に送信する処理を行う。

フレームレート制御部１４は、各チャンネルの画像センシング処理部１２１から画像センシング情報の供給を受け、供給された画像センシング情報の内容に応じて、各チャンネルの画像センシングフレームレートを決定する。そして、フレームレート制御部１４は、各フレーム取得処理部１１１に対して、決定した画像センシングフレームレートで、後段の画像センシング処理部１２１に画像センシングフレーム列を供給するように制御する。また、フレームレート制御部１４は、後段の各画像センシング処理部１２１に対して、決定した画像センシングフレームレートで、前段のフレーム取得処理部１１１から画像センシングフレーム列を供給されることを通知する。さらに、フレームレート制御部１４は、後段の各画像センシング処理部１２１に対して、決定した画像センシングフレームレートに対応した画像センシング処理を行うことについて通知して制御する。

次に、取得フレーム列（取得フレームレート）と、画像センシングフレーム列（画像センシングフレームレート）との対応関係の例について説明する。

フレームレート制御部１４は、各チャンネルについて、例えば、取得フレームレートを上限として画像センシングフレームレートを決定するようにしてもよい。言い換えると、フレームレート制御部１４は、各チャンネルのフレーム取得処理部１１１に対して、「取得フレーム列」又は「取得フレーム列の一部を間引きしたフレーム列」を画像センシングフレーム列として後段の画像センシング処理部１２１に供給するように制御するようにしてもよい。

図４は、取得フレーム列（取得フレームレート）と、画像センシングフレーム列（画像センシングフレームレート）との対応関係の例について示した説明図である。

図４では、左から右に時系列が進むフレーム列を図示している。図４では、上段から順に取得フレームレートが１５ｆｐｓの取得フレーム列、画像センシングフレームレートが１５ｆｐｓの画像センシングフレーム列、画像センシングフレームレートが７．５ｆｐｓの画像センシングフレーム列、及び画像センシングフレームレートが５ｆｐｓの画像センシングフレーム列を図示している。図４では、各フレーム列のフレームを四角形の図形で図示し、各四角形の内側に当該フレームの時系列（取得フレーム上の時系列）の順序を示す番号を付している。

例えば、取得フレームレートが１５ｆｐｓであるとすると、フレームレート制御部１４は、図４に示すように、各フレーム取得処理部１１１に対して、取得フレーム列を間引きしない場合のフレームレート（１５ｆｐｓ）や、取得フレーム列を１フレームおきに抽出した場合のフレームレート（７．５ｆｐｓ）や、取得フレーム列を２フレームおきに抽出した場合のフレームレート（５ｆｐｓ）等を決定することができる。

なお、画像センシングフレームレートを下げ過ぎると、画像センシング処理部１２１の処理精度が大きく劣化（例えば、各オブジェクトを検知する精度が劣化）するため、例えば、画像センシングフレームレートは５ｆｐｓ程度を下限とすることが望ましい。そうすると、あるチャンネルの取得フレームレートが１５ｆｐｓである場合、フレームレート制御部１４は、当該チャンネルのフレーム取得処理部１１１に対して、画像センシングフレームレートとして１５ｆｐｓ、７．５ｆｐｓ、５ｆｐｓのいずれかを決定することができることになる。

次に、各フレーム取得処理部１１１による画像センシングフレームレートの決定処理の詳細について説明する。

画像センシング処理には、例えば、画像処理やＡＩ処理等大きな処理量の処理（負荷）が必要となる。画像センシング部１２の負荷（同時に処理する処理量）は、例えば、同時に処理する画像センシングフレーム列（同時に動作する画像センシング処理部１２１）の数や、画像センシングフレームレートによって変化する。

そこで、この実施形態のフレームレート制御部１４は、各チャンネルについて画像センシング情報の内容に応じて、画像センシング処理部１２１による画像センシング処理の精度に大きな影響が出ない範囲で、画像センシングフレームレートを低下させるように制御することが望ましい。

具体的には、この実施形態のフレームレート制御部１４は、各チャンネルについて、画像センシング情報を分析して、現状の画像センシング処理の対象となるオブジェクト（以下、「処理対象オブジェクト」と呼ぶ）の数を取得し、取得した処理対象オブジェクト数に応じて、画像センシングフレームレートを決定する。フレームレート制御部１４は、例えば、画像センシング情報に含まれるオブジェクトセンシング情報（検出したオブジェクトに関する画像センシング結果）の数をカウントすることにより処理対象オブジェクト数を取得することができる。

図５は、取得フレーム列（画像センシングフレーム列）を構成するフレームの例について示した説明図である。

図５（ａ）に示すフレームでは３人の人間Ｈ１〜Ｈ３が写っている状態になっており、図５（ｂ）に示すフレームでは人間が一人も写っていない状態となっている。すなわち、図５（ａ）のフレームについて画像センシング処理を行った場合、処理対象オブジェクトの数は「３」となり、図５（ｂ）のフレームについて画像センシング処理を行った場合、処理対象オブジェクトの数は、図５（ａ）処理対象オブジェクトの数より少ない「０」となる。

例えば、フレームレート制御部１４では、処理対象オブジェクト数が０となっているチャンネルの画像センシング処理部１２１では、処理対象オブジェクトの検出が試みられるのみで、実質的に画像センシング処理は行われない状態となる。すなわち、処理対象オブジェクト数が０となるチャンネルがあった場合、当該チャンネルの画像センシング処理部１２１に供給される画像センシングフレームレートを低下させたとしても、当該チャンネルの画像センシング処理部１２１の処理精度への影響は低いということになる。

例えば、この実施形態のフレームレート制御部１４は、各チャンネルの処理対象オブジェクト数を監視し、処理対象オブジェクト数が０となるチャンネルがあった場合、当該チャンネルで処理対象オブジェクト数が０の状態が継続する期間、当該チャンネルの画像センシング処理部１２１に供給される画像センシングフレームレートを低下させる処理を行うようにしても良い。

また、例えば、フレームレート制御部１４は、処理対象オブジェクト数が０の状態が所定時間（以下、「Ｔ１」と表す）の間に連続して継続しているチャンネルがあった場合、当該チャンネルについて画像センシングフレームレートを低下させるように制御してもよい。その後、画像センシング処理部１２１は、当該チャンネルの処理対象オブジェクト数が１以上となった場合に、当該チャンネルの画像センシングフレームレートを元のフレームレート（取得フレームレート）に戻すようにしてもよい。

さらに、例えば、フレームレート制御部１４は、画像センシング処理部１２１が出力する全ての画像センシング情報について処理対象オブジェクト数を取得して画像センシングフレームレートの決定を行うようにしてもよいが、一定期間ごとに画像センシング処理部１２１が出力する画像センシング情報を取得して画像センシングフレームレートの決定を行うようにしてもよい。

（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態のゲートウェイ装置１０の動作（実施形態に係る画像処理方法）について説明する。

以下では、ゲートウェイ装置１０によるフレームレート制御部１４の動作を中心に説明する。

図６は、フレームレート制御部１４が並行して処理する１又は複数のチャンネルの中で任意のチャンネル（以下、「対象チャンネル」と呼ぶ）について、画像センシングフレームレートを制御する処理について示したフローチャートである。

ゲートウェイ装置１０では、対象チャンネルについて画像センシング処理が開始する際、フレーム取得部１１において対象チャンネルの処理を行うフレーム取得処理部１１１が起動（生成）し、さらに画像センシング部１２において対象チャンネルの処理を行う画像センシング処理部１２１が起動（生成）されることになる。

そして、フレームレート制御部１４は、対象チャンネルのフレーム取得処理部１１１が起動（生成）すると、まず当該フレーム取得処理部１１１に対して画像センシングフレームレートの初期値を設定する（Ｓ１０１）。

さらに、フレームレート制御部１４は、対象チャンネルの画像センシング処理部１２１が起動（生成）すると、まず当該画像センシング処理部１２１に対して画像センシングフレームレートについて初期の設定を行う（Ｓ１０１）。

ここで、フレームレート制御部１４は、フレーム取得処理部１１１に対し、対象チャンネルの画像センシングフレームレートとして、取得フレームレートと同じフレームレートを設定するものとする。

フレーム取得処理部１１１は、カメラ２０からフレームのデータを取得し、取得したフレームのデータを、設定された画像センシングフレームレートにて、画像センシング処理部１２１に供給する。

またここで、フレームレート制御部１４は、画像センシング処理部１２１に対して、フレーム取得処理部１１１に設定された画像センシングフレームレート（初期値）で、前段のフレーム取得処理部１１１から画像センシングフレーム列を供給されることを通知する。さらに、フレームレート制御部１４は、画像センシング処理部１２１に対して、決定した画像センシングフレームレートに対応した画像センシング処理を行うことについて通知して制御する。

画像センシング処理部１２１は、フレーム取得処理部１１１から供給されたフレームのデータ（設定された画像センシングフレームレート）について、設定された画像センシングフレームレートに基づいて画像センシング処理を行い、画像センシング処理の結果（画像センシング情報）を生成する。

そして、対象チャンネルで画像センシング処理が開始し、対象チャンネルの画像センシング処理部１２１から画像センシング情報が出力されると、フレームレート制御部１４は、当該画像センシング情報を取得し（Ｓ１０２）、その画像センシング情報から処理対象オブジェクト数を抽出して取得する（Ｓ１０３）。

対象チャンネルについて最新の処理対象オブジェクト数を取得すると、フレームレート制御部１４は、対象チャンネルについて現状の画像センシングフレームレートを変更するか否か（画像センシングフレームレートの低下又は上昇の要否）を判断する（Ｓ１０４）。

ステップＳ１０４で対象チャンネルについて画像センシングフレームレートを変更しないと判断された場合、フレームレート制御部１４は、上述のステップＳ１０２に戻って動作する。

一方、ステップＳ１０４で対象チャンネルについて画像センシングフレームレートを変更すると判断された場合、フレームレート制御部１４は、対象チャンネルのフレーム取得処理部１１１に対して画像センシングフレームレートを変更（画像センシングフレームレートの低下又は上昇）するように制御する（Ｓ１０５）。

さらに、フレームレート制御部１４は、後段の各画像センシング処理部１２１に対して、変更となる画像センシングフレームレートで、前段のフレーム取得処理部１１１から画像センシングフレーム列を供給されることを通知する。さらに、フレームレート制御部１４は、後段の各画像センシング処理部１２１に対して、変更となる画像センシングフレームレートに対応した画像センシング処理を行うことについて通知して制御する（Ｓ１０５）。

ゲートウェイ装置１０の動作は、ステップＳ１０５から、上述のステップＳ１０２に戻って動作する。

次に、上述のステップＳ１０４において、フレームレート制御部１４が、対象チャンネルについて現状の画像センシングフレームレートを変更するか否か（画像センシングフレームレートの低下又は上昇）を判断する処理の具体例について説明する。

ここでは、フレームレート制御部１４は、画像センシングフレームレートとして通常時のフレームレート（以下、「通常フレームレート」と呼ぶ）と、低下時のフレームレート（以下、「低下フレームレート」と呼ぶ）の２段階のいずれかに設定するものとする。なお、フレームレート制御部１４が制御する画像センシングフレームレートは３段階以上としてもよい。そして、ここでは、フレームレート制御部１４は、初期の画像センシングフレームレートを取得フレームレートと同じフレームレートに設定するものとする。例えば、通常フレームレート（＝取得フレームレート）を１５ｆｐｓとし、低下フレームレートを５ｆｐｓとしてもよい。

このとき、フレームレート制御部１４は、以下に例示するような種々のパターンで対象チャンネルの画像センシングレートを制御するようにしてもよい。

フレームレート制御部１４は、例えば、対象チャンネルについて通常フレームレートで制御している間に、対象チャンネルにおいて、一定期間Ｔ１以上の間、処理対象オブジェクト数が０の状態が継続した場合、対象チャンネルの画像センシングフレームレートを通常フレームレートから低下フレームレートに低下させるように制御を行うようにしてもよい。Ｔ１に設定する時間は限定されないものであるが、例えば、１０分程度の時間を設定するようにしてもよい。

また、フレームレート制御部１４は、例えば、対象チャンネルについて低下フレームレートで制御している間に、対象チャンネルにおいて処理対象オブジェクト数が１以上となった場合に、対象チャンネルの画像センシングフレームレートを低下フレームレートから通常フレームレートに上昇させるように制御を行うようにしてもよい。

さらに、フレームレート制御部１４は、例えば、対象チャンネルについて低下フレームレートで制御している間に、対象チャンネルにおいて、一定期間Ｔ２以上の間、処理対象オブジェクト数が１以上の状態が継続した場合、対象チャンネルの画像センシングフレームレートを低下フレームレートから通常フレームレートに上昇させるように制御を行うようにしてもよい。Ｔ２に設定する時間は限定されないものであるが、例えば、１秒程度を設定するようにしてもよい。

（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。

この実施形態のゲートウェイ装置１０では、フレームレート制御部１４がチャンネルごとに画像センシング結果（画像センシング情報）の収集を行い、例えば、一定期間Ｔ１の間継続して対象オブジェクト数が０のチャンネルがあった場合、当該チャンネルの画像センシングフレームレートを低下させることで、画像センシング部１２（各画像センシング処理部１２１）を効率的に動作させることができる。

（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１）変形例１
上記の実施形態のフレームレート制御部１４では、チャンネルごとの画像センシング処理部１２１における対象オブジェクト数に基づいて、画像センシングフレームレートを決定しているが、他のパラメータ（画像センシング処理部１２１の処理状態に関する他のパラメータ）を用いるようにしてもよい。

変形例１に関わる図は、図７と図８に示される。図７は、実施形態（変形例１）に係る画像処理システム１の全体構成について示したブロック図である。図８は、実施形態（変形例１）に係るゲートウェイ装置１０でチャンネルごとのフレームを処理する構成について示したブロック図である。

変形例１に係る画像処理システム１（ゲートウェイ装置１０）は、フレームレート制御部１４とリソース取得部１５以外の部分については、上述の実施形態の画像処理システム１と同一であるで、詳しい説明は省略する。

ここで、リソース取得部１５は、上述の実施形態の画像処理システム１に対して、新たに追加された構成である。

またここで、フレームレート制御部１４は、上述の実施形態の画像処理システム１と同様の構成と、後述される追加の構成とを有する。

図７及び図８を用いて、変形例１について説明する。

例えば、リソース取得部１５では、各画像センシング処理部１２１によるリソース（例えば、コンピュータ１００上のリソース）の利用状況を取得する。フレームレート制御部１４では、リソース取得部１５から、各画像センシング処理部１２１によるリソースの利用状況を取得し、取得された当該リソースの利用状況に基づいて、画像センシングフレームレートを決定するようにしてもよい。

具体的には、例えば、各チャンネルの画像センシング処理部１２１によるＣＰＵ利用率や処理遅延時間（例えば、１つのフレームについて画像センシング処理を行う際の処理時間）やメモリ使用量等に基づいて、各チャンネルの画像センシングフレームレートを決定するようにしてもよい。

例えば、あるチャンネルの画像センシング処理部１２１におけるリソース使用量（例えば、ＣＰＵ利用率やメモリ使用量や処理遅延時間等）が閾値以上となった場合、当該チャンネルの画像センシングフレームレートを低下させて、当該画像センシング処理部１２１の負荷を軽減するようにしてもよい。これにより、ゲートウェイ装置１０（コンピュータ１００）全体や、画像センシング部１２（画像センシング処理部１２１−１〜１２１−３）の処理の機能停止や暴走を防ぐことが可能となる。

（Ｂ−２）変形例２
上記の実施形態では、ゲートウェイ装置は、１つのコンピュータで構成される例について説明したが、複数のコンピュータを用いて構成するようにしてもよい。例えば、フレーム取得部１１と画像センシング部１２とを別個のコンピュータを用いて構成するようにしてもよい。このような構成の場合、フレーム取得処理部１１１から画像センシング処理部１２１への画像センシングフレームレートが効率的なフレームレートに調整されるので、ネットワークの利用効率化を図ることができる。

（Ｂ−３）変形例３
上記の実施形態のゲートウェイ装置１０では、フレーム取得部１１とは別個にフレームレート制御部１４を設ける構成について示したが、フレームレート制御部１４の具体的な実装構成は上記の実施形態の例に限定されないものである。例えば、フレームレート制御部１４の各チャンネルの画像センシングフレームレートの制御機能を各チャンネルのフレーム取得処理部１１１に分けて搭載するようにしてもよい。

１…画像処理システム、１０…ゲートウェイ装置、１１…フレーム取得部、１１１、１１１−１〜１１１−３…フレーム取得処理部、１２…画像センシング処理部、１２１、１２１−１〜１２１−３…画像センシング処理部、１３…データ送信部、２０、２０−１〜２０−３…カメラ、３０…アプリケーションサーバ、ＮＷ１…上位側ネットワーク、ＮＷ２…ローカルネットワーク。

Claims (7)

1. カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、前記第１のフレーム列を第２のフレームレートの第２のフレーム列で出力するフレーム取得手段と、
   前記第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行う画像認識手段と、
   前記画像認識手段の認識処理の状況に応じて、前記フレーム取得手段に設定する前記第２のフレームレートを決定し、前記フレーム取得手段に決定した前記第２のフレームレートで前記第２のフレーム列を出力するように制御するフレームレート制御手段と
   を有することを特徴とする画像処理装置。
2. 前記フレームレート制御手段は、前記画像認識手段による画像認識処理で検出している検出オブジェクト数に応じて、前記第２のフレームレートを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記フレームレート制御手段は、前記画像認識手段による画像認識処理で検出している検出オブジェクト数が０の間、前記フレーム取得手段に設定する前記第２のフレームレートを低下させることを特徴とする請求項２に記載の画像処理装置。
4. 前記フレームレート制御手段は、前記画像認識手段のリソース利用状況に応じて、前記第２のフレームレートを決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記フレームレート制御手段は、前記画像認識手段のリソース利用が閾値以上の場合、前記フレーム取得手段に設定する前記第２のフレームレートを低下させることを特徴とする請求項４に記載の画像処理装置。
6. コンピュータを、
   カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、前記第１のフレーム列を第２のフレームレートの第２のフレーム列で出力するフレーム取得手段と、
   前記第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行う画像認識手段と、
   前記画像認識手段の認識処理の状況に応じて、前記フレーム取得手段に設定する前記第２のフレームレートを決定し、前記フレーム取得手段に決定した前記第２のフレームレートで前記第２のフレーム列を出力するように制御するフレームレート制御手段と
   して機能させることを特徴とする画像処理プログラム。
7. 画像処理装置が行う画像処理方法において、
   前記画像処理装置は、フレーム取得手段、画像認識手段、及びフレームレート制御手段を有し、
   前記フレーム取得手段は、カメラで撮像された第１のフレーム列を第１のフレームレートで取得し、前記第１のフレーム列を第２のフレームレートの第２のフレーム列で出力し、
   前記画像認識手段は、前記第２のフレーム列のフレームごとに映っているオブジェクトの認識処理を行い、
   前記フレームレート制御手段は、前記画像認識手段の認識処理の状況に応じて、前記フレーム取得手段に設定する前記第２のフレームレートを決定し、前記フレーム取得手段に決定した前記第２のフレームレートで前記第２のフレーム列を出力するように制御する
   ことを特徴とする画像処理方法。

Images