JP2020141212A - 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置 - Google Patents

Abstract

【課題】 画像認識処理の結果を表示する際にプライバシ保護を行う。
【解決手段】 本発明は、カメラで撮像された撮像フレームを処理する画像処理装置と、撮像フレームに対応する対応フレームを表示する表示装置とを備える画像処理システムに関する。前記画像処理装置は、背景画像を取得する手段と、それぞれのオブジェクトについて背景画像に重畳画像を描画するための重畳画像描画情報を生成する手段と、背景画像と重畳画像描画情報を出力する手段とを有する。また、本発明の表示装置は、画像を表示する表示画面を備える表示手段と、表示画面に背景画像を描画させ、さらに表示画面に重畳画像描画情報に基づく重畳画像を背景画像に重畳して描画させる描画処理手段とを有することを特徴とする。
【選択図】 図１

Description

この発明は、画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置に関し、例えば、監視カメラにより撮像された画像に基づく認識処理を行うシステムに適用し得る。

従来、監視カメラ等で撮像した画像から、所定の物体やイベントを検知する処理（以下、「画像センシング処理」と呼ぶ）を行うシステムとして、例えば、非特許文献１の記載技術が存在する。

非特許文献１に記載されたシステムでは、商業施設内に設置された監視カメラで撮像した画像から、画像センシング処理により写っている人の心理状態を推定（深層学習技術を用いて推定）し、監視カメラで撮像した画像を表示処理する際に、特定の心理状態の人間が写っている領域を赤色の枠で囲う加工処理を行う。

「困っている人を深層学習で検知、ALSOKや三菱地所など実証実験」、日経ＢＰ社、[Online]、INTERNET、[２０１９年２月１１日検索]、URL<https://tech.nikkeibp.co.jp/it/atcl/news/17/011102941/>

しかしながら、従来の画像センシング処理を行うシステムでは、非特許文献１の記載技術のように、撮像した画像にセンシング結果を表示する際に、プライバシ保護（監視対象の人物のプライバシ保護）の観点で問題が生じる場合があった。

そのため、画像センシング処理の結果を表示する際にプライバシ保護を行うことができる画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置が望まれている。

第１の本発明は、カメラで撮像された撮像フレームを処理する画像処理装置と、前記撮像フレームに対応する対応フレームを表示する表示装置とを備える画像処理システムにおいて、（１）前記画像処理装置は、（１−１）前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行う画像認識手段と、（１−２）前記カメラに対応する背景画像を取得する背景画像取得手段と、（１−３）前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成する描画情報生成手段と、（１−４）前記背景画像と前記重畳画像描画情報を出力する出力手段とを有し、（２）前記表示装置は、（２−１）画像を表示する表示画面を備える表示手段と、（２−２）前記表示手段の前記表示画面に前記背景画像を描画させ、さらに前記表示手段の前記表示画面に前記重畳画像描画情報に基づく重畳画像を前記背景画像に重畳して描画させる描画処理手段とを有することを特徴とする。

第２の本発明は、カメラで撮像された撮像フレームを処理する画像処理装置において、（１）前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行う画像認識手段と、（２）前記カメラに対応する背景画像を取得する背景画像取得手段と、（３）前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成する描画情報生成手段と、（４）前記背景画像と前記重畳画像描画情報を出力する出力手段とを有することを特徴とする。

第３の本発明の画像処理プログラムは、カメラで撮像された撮像フレームを処理する画像処理装置に搭載されたコンピュータを、（１）前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行う画像認識手段と、（２）前記カメラに対応する背景画像を取得する背景画像取得手段と、（３）前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成する描画情報生成手段と、（４）前記背景画像と前記重畳画像描画情報を出力する出力手段として機能させることを特徴とする。

第４の本発明は、カメラで撮像された撮像フレームを処理する画像処理装置が行う画像処理方法において、（１）画像認識手段、背景画像取得手段、描画情報生成手段、及び出力手段を有し、（２）前記画像認識手段は、前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行い、（３）前記背景画像取得手段は、前記カメラに対応する背景画像を取得し、（４）前記描画情報生成手段は、前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成し、（５）前記出力手段は、前記背景画像と前記重畳画像描画情報を出力することを特徴とする。

第５の本発明は、カメラで撮像された撮像フレームに対応する対応フレームを表示する表示装置において、（１）画像を表示する表示画面を備える表示手段と、（２）前記表示手段の前記表示画面に第１の本発明の画像処理装置が出力した背景画像を描画させ、さらに前記表示手段の前記表示画面に第１の本発明の画像処理装置が出力した前記重畳画像描画情報に基づく重畳画像を前記背景画像に重畳して描画させる描画処理手段とを有することを特徴とする。

本発明によれば、画像センシング処理の結果を表示する際にプライバシ保護を行うことができる。

第１の実施形態に係る画像処理システム全体構成について示したブロック図である。 第１の実施形態に係るゲートウェイ装置の機能的構成について示したブロック図である。 第１の実施形態に係る画像センシング情報の構成例について示した説明図である。 第１の実施形態に係る画像センシング情報を構成するオブジェクトセンシング情報の構成例について示した説明図である。 第１の実施形態に係る対応フレーム描画データの構成について示した説明図である。 第１の実施形態に係るオブジェクト重畳描画情報の構成例について示した説明図である。 第１の実施形態に係る表示装置の構成の機能的構成について示したブロック図である。 第１の実施形態に係る画像処理システムの動作について示したシーケンス図である。 第１の実施形態のカメラが撮像したフレームの例について示した図である。 第１の実施形態に係るゲートウェイ装置が取得した背景画像の例について示した図である。 第１の実施形態に係るゲートウェイ装置で処理される画像センシング情報の例について示した説明図である。 第１の実施形態に係るゲートウェイ装置で取得される対応フレーム重畳描画情報の例について示した説明図である。 第１の実施形態に係る表示装置で生成・表示される対応フレームの例について示した説明図である。 第２の実施形態に係る表示装置で生成・表示される対応フレームの例について示した説明図である。 第３の実施形態に係るゲートウェイ装置で処理される画像センシング情報の構成例について示した説明図である。 第３の実施形態に係るゲートウェイ装置で取得される対応フレーム重畳描画情報の例について示した説明図である。 第３の実施形態に係る表示装置で生成・表示される対応フレームの例について示した説明図である。 第４の実施形態に係るゲートウェイ装置で取得される対応フレーム重畳描画情報の例について示した説明図である。 第４の実施形態に係るゲートウェイ装置で、カメラで撮像されたフレームから重畳画像（抽出画像）が抽出される処理について示した説明図である。 第４の実施形態に係る表示装置で生成・表示される対応フレームの例について示した説明図である。

（Ａ）第１の実施形態
以下、本発明による画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置の第１の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の画像処理装置、画像処理プログラム、及び画像処理方法をゲートウェイ装置に適用した例について説明する。

（Ａ−１）第１の実施形態の構成
図１は、この実施形態の画像処理システム１の全体構成を示すブロック図である。

図１に示す画像処理システム１には、ゲートウェイ装置１０、３台のカメラ２０（２０−１〜２０−３）、アプリケーションサーバ３０、及び表示装置４０が配置されている。なお、画像処理システム１を構成する各装置の数は限定されないものである。

ゲートウェイ装置１０は、上位側ネットワークＮＷ１を介してアプリケーションサーバ３０及び表示装置４０と通信可能となっている。

ゲートウェイ装置１０の配下には、ローカルネットワークＮＷ２を介して、カメラ２０−１〜２０−３が接続されている。各カメラには識別子（以下、「カメラＩＤ」と呼ぶ）が付与されている。ここでは、カメラ２０−１〜２０−３にそれぞれ１〜３のカメラＩＤが付与されているものとする。

各カメラ２０は、リアルタイムに撮像したフレーム（画像）のデータ（フレーム列（動画像）のデータ）を、接続するゲートウェイ装置１０に送信する。各カメラ２０を配置する場所は限定されないものである。この実施形態の例では、各カメラ２０は、例えば、店舗や、映画館や、美術館等の施設内を撮像（監視）するように配置されているものとする。

ゲートウェイ装置１０は、配下のカメラ２０（２０−１〜２０−３）から、撮像されたフレームのデータを取得して、各フレーム写っている物体（以下、単に「オブジェクト」とも呼ぶ）を所定の認識アルゴリズムに基づいて認識する処理（以下、「画像センシング処理」と呼ぶ）を行い、画像センシング処理の結果（以下、「画像センシング情報」と呼ぶ）を出力（アプリケーションサーバ３０に送信）する。

また、ゲートウェイ装置１０は、各カメラ２０から供給されたフレーム列の各フレームに対応するフレーム（以下、「対応フレーム」と呼ぶ）を描画（レンダリング）するためのデータ（以下、「対応フレーム描画データ」と呼ぶ）を生成して出力（表示装置４０に送信）する処理を行う。

アプリケーションサーバ３０は、ゲートウェイ装置１０から供給される情報（例えば、画像センシング情報）の処理を行う装置である。アプリケーションサーバ３０が行う画像センシング情報を処理の詳細については限定されないものである。アプリケーションサーバ３０は、例えば、画像センシング情報に基づいて施設の来客数をカウントする等の統計処理を行う。

以下、画像処理システム１を構成する各装置の内部構成について説明する。

図２は、ゲートウェイ装置１０の機能的構成の例について示した説明図である。

ゲートウェイ装置１０は、フレーム取得部１０１、画像センシング処理部１０２、描画情報生成部１０３、配信処理部１０４、及びデータ送信部１０５を有している。

フレーム取得部１０１は、配下のカメラ２０（２０−１〜２０−３）から、撮像されたフレーム（画像）のデータ（フレーム列（動画像）のデータ）を取得する機能を担っている。

画像センシング処理部１０２は、フレーム取得部１０１が取得したフレーム列（動画像）の各フレームを参照して、写っているオブジェクト（物体）を所定の認識アルゴリズムに基づいて認識する画像センシング処理を行い、画像センシング処理の結果（画像センシング情報）を出力する。画像センシング処理部１０２が行う画像センシング処理の方式は限定されないものであり、種々の方式（例えば、既存の画像センシング処理に関するミドルウェアやライブラリ等）を利用することができる。画像センシング処理部１０２が生成する画像センシング情報には、検出したオブジェクトごとのセンシング結果（以下、「オブジェクトセンシング情報」と呼ぶ）が含まれる。オブジェクトセンシング情報には、フレーム内で当該オブジェクトが写っている領域を示す情報（以下、「領域情報」と呼ぶ）や、当該オブジェクトの属性に関する情報（以下、「属性情報」と呼ぶ）や、当該オブジェクトの特徴量（画像的な特徴量）を示す情報（以下、「特徴量情報」と呼ぶ）等が含まれるものとする。

画像センシング処理部１０２が画像センシング処理により検出する対象となるオブジェクトの種類は限定されないものである。この実施形態では、ゲートウェイ装置１０は、画像センシング処理により各カメラ２０が撮像したフレームから人間（人物）を検出（種類が人間となるオブジェクトを検出）するものとして説明する。

属性情報には、例えば、当該オブジェクトの種類（例えば、「人間」）の情報が含まれる。

領域情報には、フレーム上で当該オブジェクトが写っている領域を示す情報（例えば、当該領域を示す座標等）が含まれる。この実施形態では、領域情報は、各オブジェクトが写っている領域を含む矩形の領域を示す各座標（矩形の各頂点（４点）の座標）で示されるものとするが、領域情報の形式についてはこれに限定されないものである。

また、特徴量情報には、例えば、当該オブジェクトの画像上の特徴量（例えば、人間の顔の部位や人間の身体の部位などをベクトル化した情報）を示すデータが設定される。

なお、画像センシング情報には、少なくともアプリケーションサーバ３０側の処理で必要となる項目の情報が含まれればよい。すなわち、画像センシング情報の構成は図４の例に限定されず種々の項目の組み合わせるようにしてもよい。例えば、画像センシング処理部１０２が、オブジェクトとして人間しか検出せず、全ての人間のオブジェクトに対して区別する必要がない場合（例えば、カテゴリ分け等する必要がない場合）、画像センシング情報から属性情報を削除するようにしてもよい。

図３は、画像センシング情報の構成例について示した説明図である。

ここでは、画像センシング処理部１０２が、カメラ２０−１（カメラＩＤ：１）が任意の時刻Ｔ１に撮像したフレームについて画像センシング処理を行った結果、Ｍ個のオブジェクトが検出されたものとする。このとき、Ｍ個の各オブジェクトには、それぞれ１〜Ｍの識別子（以下、「オブジェクトＩＤ」と呼ぶ）が付与されているものとする。

図３では、カメラ２０−１で時刻Ｔ１に撮像されたフレームに対応する画像センシング情報ＳＩに、画像センシング処理で検出された各オブジェクト（Ｍ個のオブジェクト）に対応するオブジェクトセンシング情報ＯＳＩ（ＯＳＩ−１〜ＯＳＩ−Ｍ）が含まれている状態について示している。

図４は画像センシング情報を構成する各オブジェクトのオブジェクトセンシング情報の構成例について示した説明図である。

図４では、図３に示す画像センシング情報ＳＩに含まれるオブジェクトＩＤが「１」となるオブジェクトのオブジェクトセンシング情報ＯＳＩ−１の構成例について示している。

図４に示す、オブジェクトセンシング情報ＯＳＩ−１では、ヘッダ情報としてカメラＩＤ、時刻（タイムスタンプ）、オブジェクトが設定されている。なお、オブジェクトセンシング情報ＯＳＩを構成するヘッダ情報は、各オブジェクトセンシング情報がどのカメラのどの時刻のフレームに対応するのか示すことができれば、その具体的な形式は限定されないものである。

また、図４に示す、オブジェクトセンシング情報ＯＳＩ−１では、当該オブジェクトに対する画像センシング処理の結果を示す情報として少なくとも領域情報、属性情報、及び特徴量情報が設定されている。

図４では、領域情報の項目に、当該フレーム内で当該オブジェクトが写っている領域を含む矩形の各頂点（４点）の座標（フレーム上の縦軸と横軸の位置）として、それぞれＰ１０１、Ｐ１０２、Ｐ１０３、Ｐ１０４が設定された状態について示している。

また、図４では、属性情報として、「人間」が設定されている。さらに、図４では、特徴量情報として、Ｘ１が設定されている。Ｘ１には、実際には、当該オブジェクトの画像上の特徴量（例えば、人間の顔の部位や人間の身体の部位などをベクトル化した情報）を示すデータが設定される。

以上のように、画像センシング処理部１０２は、画像センシング情報を生成する。

描画情報生成部１０３は、各カメラ２０から供給されたフレーム列の各フレームに対応する対応フレームを描画（レンダリング）するための対応フレーム描画データを生成する処理を行う。

図５は、対応フレーム描画データの構成例について示した説明図である。

図５に示すように、描画情報生成部１０３は、対応フレーム描画データとして、対応フレームの背景画像のデータ（以下、「背景画像データＢＧ」と呼ぶ）と、背景画像（背景画像データＢＧに基づく画像）に重畳（レンダリング）する画像（以下、「重畳画像」と呼ぶ）を描画するための対応フレーム重畳描画情報ＳＧが含まれている。

ここでは、描画情報生成部１０３は、カメラ２０ごとに背景画像データＢＧを保持しているものとする。描画情報生成部１０３が背景画像データＢＧを保持する方法や更新タイミングは限定されないものである。例えば、描画情報生成部１０３は、カメラ２０ごとに所定時刻（例えば、予め設定された時刻）に撮像した画像を背景画像データＢＧとして保持するようにしてもよいし、オペレータからの操作に応じた時刻でカメラ２０ごとに撮像した画像を背景画像データＢＧとして保持するようにしてもよい。当然のことであるが、背景画像データＢＧに設定する画像には、画像センシング処理の対象となるオブジェクト（例えば、人間等）が写っていない状態であることが望ましい。描画情報生成部１０３が保持する背景画像データＢＧは予め固定的なデータとしてもよいし、定期又は不定期のタイミングで更新（例えば、ユーザ操作により外部から供給された画像や、最新にカメラ２０で撮像した画像）に更新するようにしてもよい。

対応フレーム重畳描画情報ＳＧには、画像センシング処理により検出されたオブジェクトごとに対応する画像（重畳画像）を描画（レンダリング）するためのオブジェクト重畳描画情報ＯＳＧが含まれている。ここで、図３の例と同様に画像センシング処理の結果Ｍ個のオブジェクトが検出されたものとする。そうすると、図５に示すように、対応フレーム重畳描画情報ＳＧにもＭ個のオブジェクト重畳描画情報ＯＳＧ（ＯＳＧ−１〜ＯＳＧ−Ｍ）が設定されることになる。

図６はオブジェクト重畳描画情報ＯＳＧの構成例について示した説明図である。

図６では、図５に示す対応フレーム重畳描画情報ＳＧに含まれるオブジェクトＩＤが「１」となるオブジェクトのオブジェクト重畳描画情報ＯＳＧ−１の構成例について示している。

図６に示す、オブジェクト重畳描画情報ＯＳＧ−１では、ヘッダ情報としてオブジェクトセンシング情報ＯＳＩと同様の項目の情報（ここでは、カメラＩＤ、時刻、及びオブジェクトＩＤ）が設定されている。

また、図６に示す、オブジェクト重畳描画情報ＯＳＧ−１では、当該オブジェクトに対応する重畳画像を描画する領域を示す情報である「重畳描画領域情報」を含む情報が設定される。

重畳描画領域情報には、当該オブジェクトに対応するオブジェクトセンシング情報ＯＳＩ−１の領域情報と同じ情報を設定するようにしてもよい。なお、重畳描画領域情報には、当該オブジェクトに対応するオブジェクトセンシング情報ＯＳＩ−１の領域情報を加工した情報（例えば、領域情報が示す領域を拡張又は縮小した領域を示す情報）としてもよい。なお、この実施形態の対応フレームでは、オブジェクトごとに重畳描画領域情報が示す領域の枠線（矩形の輪郭線；以下、「オブジェクト枠」とも呼ぶ）が描画されるものとする。

配信処理部１０４は、対応フレーム描画データを出力（送信）する出力手段の機能を担っている。配信処理部１０４は、表示装置４０に対して、表示装置４０の要求に応じたカメラ２０の対応フレーム描画データを送信する。配信処理部１０４は、描画情報生成部１０３で対応フレーム重畳描画情報ＳＧ（表示装置４０の要求に応じたカメラ２０の対応フレーム重畳描画情報ＳＧ）が生成される度に、当該対応フレーム重畳描画情報ＳＧを表示装置４０に送信する。また、配信処理部１０４は、描画情報生成部１０３で保持される背景画像データＢＧ（表示装置４０の要求に応じたカメラ２０の背景画像データＢＧ）が更新される度に更新された背景画像データＢＧを表示装置４０に送信するようにしてもよい。配信処理部１０４が対応フレーム描画データを出力する方式は限定されないものである。配信処理部１０４は、例えば、対応フレーム描画データを所定のデータ記録媒体（例えば、メモリカード等）に書き込むようにしてもよい。

配信処理部１０４は、表示装置４０に対して対応フレーム描画データ（背景画像データＢＧ、及び対応フレーム重畳描画情報ＳＧ）に基づいて対応フレームを描画するためのプログラム（以下、「描画プログラム」と呼ぶ）を配信する構成としてもよい。例えば、表示装置４０がＷｅｂブラウザを備えるＷｅｂクライアントとして動作する場合、配信処理部１０４を、Ｗｅｂサーバとして機能させ、表示装置４０のＷｅｂブラウザ（Ｗｅｂ画面）にＷｅｂアプリケーション（Ｗｅｂブラウザ上で動作するアプリケーション）としての描画処理プログラムを配信するようにしてもよい。

データ送信部１０５は、画像センシング処理部１０２で画像センシング情報ＳＩが生成される度に、その画像センシング情報ＳＩを、アプリケーションサーバ３０に送信する処理を行う。

次に、表示装置４０の構成の機能的構成について図７を用いて説明する。

表示装置４０は、表示部４１、操作部４２、及び制御部４３を有している。

制御部４３は、装置全体を制御する機能を担っている。制御部４３としては、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態に係る描画プログラムを含む）をインストールすることにより構成するようにしてもよい。

表示部４１は、制御部４３の制御（描画処理）に応じた画像を表示する機能を担っている。表示部４１としては、例えば、種々のディスプレイ等を適用することができる。

操作部４２は、オペレータからの操作を受け付けるユーザインタフェースの機能を担っている。操作部４２としては、例えば、マウス、キーボード、タッチパネル（例えば、タッチパネルディスプレイのタッチパネル機能）等の入力デバイスを適用することができる。

制御部４３は、描画処理部４３１を有している。制御部４３は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態に係る描画処理プログラムを含む）をインストールすることにより実現することができる。

描画処理部４３１は、ゲートウェイ装置１０から対応フレーム描画データを受信し、受信した対応フレーム描画データに基づいて対応フレームを、表示部４１に描画（レンダリング）する機能を担っている。描画処理部４３１の具体的構成については限定されないものである。例えば、描画処理部４３１はＷｅｂブラウザ上で動作するＷｅｂアプリケーション（ゲートウェイ装置１０にＷｅｂブラウザでアクセスした際にダウンロードされるＷｅｂアプリケーション）として動作するようにしてもよい。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態における画像処理システム１の動作を説明する。

図８は、第１の実施形態に係る画像処理システム１の動作を示したシーケンス図である。

ここでは、前提として、表示装置４０（制御部４３）上で描画処理部４３１が起動状態であるものとして説明する。上述の通り、描画処理部４３１は、例えば、Ｗｅｂブラウザ上で動作するＷｅｂアプリケーション（例えば、ゲートウェイ装置１０の配信処理部１０４にアクセスした際に配信されるＷｅｂアプリケーション）であってもよい。

まず、表示装置４０の制御部４３（描画処理部４３１）が、オペレータよりカメラ２０−１の対応フレームを表示する旨の操作を受け付けたものとする（Ｓ１０１）。描画処理部４３１がオペレータから操作を受け付ける構成について限定されないものであるが、例えば、Ｗｅｂブラウザ上にオペレータから操作を受け付けるためのＧＵＩ画面を表示して、いずれかのカメラ２０の選択を受け付けるようにしてもよい。

次に、表示装置４０の制御部４３（描画処理部４３１）は、オペレータから受け付けた操作に従って、ゲートウェイ装置１０（配信処理部１０４）に対して、カメラ２０−１の対応フレーム（対応フレーム描画データ）の配信を要求する（Ｓ１０２）。

配信要求を受けると、ゲートウェイ装置１０（配信処理部１０４）は、まず、配信要求を受けたカメラ２０−１の背景画像データＢＧを、表示装置４０（描画処理部４３１）に送信する（Ｓ１０３）。

そして、ゲートウェイ装置１０（画像センシング処理部１０２）は、配信要求受付後の時刻Ｔ１に、カメラ２０−１からフレームを受信すると（Ｓ１０４）、当該フレームについて画像センシング処理を行う（Ｓ１０５）。

ゲートウェイ装置１０（画像センシング処理部１０２）は、最新に受信したフレームについて画像センシング処理を行った結果（画像センシング情報ＳＩ）を、アプリケーションサーバ３０に送信する（Ｓ１０６）。

また、ゲートウェイ装置１０（描画情報生成部１０３）は、画像センシング処理部１０２が行った画像センシング処理の結果（画像センシング情報ＳＩ）を利用して、時刻Ｔ１のフレームに対応する対応フレーム重畳描画情報ＳＧを生成して（Ｓ１０７）、表示装置４０（描画処理部４３１）に送信する（Ｓ１０８）。

そして、表示装置４０（描画処理部４３１）は、時刻Ｔ１のフレームに対応する対応フレーム重畳描画情報ＳＧを受信すると、既に受信した背景画像データＢＧも用いて対応フレームを表示部４１の画面（例えば、ディスプレイの画面上に表示されたＷｅｂブラウザの表示領域）に描画する（Ｓ１０９）。具体的には例えば、表示装置４０（描画処理部４３１）は、Ｗｅｂブラウザの表示領域（ウィンドウ）に、背景画像データＢＧを書き込み、さらにその上に対応フレーム重畳描画情報ＳＧに基づく重畳画像を描画（レンダリング）する処理を行うようにしてもよい。

以後、ゲートウェイ装置１０は、カメラ２０−１からフレームが供給されるごと上述のステップＳ１０５〜Ｓ１０８の処理を繰り返す。また、表示装置４０（描画処理部４３１）は、ゲートウェイ装置１０から対応フレーム重畳描画情報ＳＧが供給される度に、その対応フレーム重畳描画情報ＳＧに基づく対応フレームを描画する処理を行うことになる。

次に、ゲートウェイ装置１０（描画情報生成部１０３）が、対応フレーム描画情報（対応フレーム重畳描画情報ＳＧ及び背景画像データＢＧ）を取得する処理、及び表示装置４０（描画処理部４３１）が対応フレームを描画する処理の具体例について説明する。

ここでは、カメラ２０−１が時刻Ｔ１に撮像したフレームが図９に示すような内容であったものとする。図９に示すフレームでは通路に３人の人間Ｈ１〜Ｈ３が写っている。

また、ここでは、ゲートウェイ装置１０の描画情報生成部１０３において、カメラ２０−１に対応する背景画像データＢＧとして、図１０に示すような画像のデータが保持されているものとする。図１０に示す背景画像データＢＧの画像では、図９のフレームと比較して人間が写っていない状態となっている。

さらに、ここでは、画像センシング処理部１０２が、時刻Ｔ１のフレームについて画像センシング処理を行った結果、画像センシング情報ＳＩとして図１１に示す内容が得られたものとする。図１１では、時刻Ｔ１のフレームに対する画像センシング情報ＳＩとして、３人の人間Ｈ１〜Ｈ３を検出して得られたオブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３が図示されている。

図１１において、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３では、いずれもカメラＩＤが「１」、時刻が「Ｔ１」、属性情報が「種類：人間」となっている。また、図１１において、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３のオブジェクトＩＤは、それぞれ「１」〜「３」となっている。さらに、図１１において、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３の領域情報は、それぞれ「Ｐ１０１、Ｐ１０２、Ｐ１０３、Ｐ１０４」、「Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ２０４」、「Ｐ３０１、Ｐ３０２、Ｐ３０３、Ｐ３０４」となっている。さらにまた、図１１において、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３の特徴量情報は、それぞれＸ１、Ｘ２、Ｘ３となっている。

ここでは、描画情報生成部１０３が、時刻Ｔ１のフレームに対応する対応フレーム重畳描画情報ＳＧとして図１２に示す内容が得られたものとする。図１２では、時刻Ｔ１のフレームに対する対応フレーム重畳描画情報ＳＧに、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３のそれぞれに対応するオブジェクト重畳描画情報ＯＳＧ−１〜ＯＳＧ−３が図示されている。

描画情報生成部１０３は、図１２に示すように、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３のヘッダ情報（カメラＩＤ、時刻、オブジェクトＩＤ）を、いずれもオブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３と同じ内容に設定する。また、描画情報生成部１０３は、図１２に示すように、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３の重畳描画領域情報を、いずれもオブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３の領域情報と同じ内容に設定する。

その結果、表示装置４０（描画処理部４３１）が描画する対応フレーム（時刻Ｔ１のフレームに対応する対応フレーム）は、図１３のような画像となる。

図１３に示す対応フレームでは、背景画像（図１０に示す背景画像データＢＧに基づく背景画像）に、図１２に示す対応フレーム重畳描画情報ＳＧ（オブジェクト重畳描画情報ＯＳＧ−１〜ＯＳＧ−３）に基づく重畳画像が重畳表示（レンダリング）された状態となっている。具体的には、図１３では、オブジェクト重畳描画情報ＯＳＧ−１〜ＯＳＧ−３のそれぞれに対応する重畳画像Ｇ１０１〜Ｇ１０３（３つのオブジェクト枠）が描画された状態となっている。重畳画像Ｇ１０１〜Ｇ１０３の各頂点（オブジェクト枠の各頂点）の位置は、それぞれオブジェクト重畳描画情報ＯＳＧ−１〜ＯＳＧ−３の重畳描画領域情報に基づく位置（「Ｐ１０１、Ｐ１０２、Ｐ１０３、Ｐ１０４」、「Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ２０４」、「Ｐ３０１、Ｐ３０２、Ｐ３０３、Ｐ３０４」）となっている。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

第１の実施形態の画像処理システム１では、ゲートウェイ装置１０は背景画像データＢＧとセンシング結果に基づく情報（オブジェクト重畳描画情報ＯＳＧ）だけを表示装置４０に送信し、表示装置４０（描画処理部４３１）では受信した背景画像データＢＧにオブジェクト重畳描画情報ＯＳＧに従った画像（対応フレーム）を描画（表示部４１の画面上に描画）している。そして、表示装置４０（描画処理部４３１）では、背景画像データＢＧにオブジェクト重畳描画情報ＯＳＧに基づくオブジェクト枠（人間と認識したオブジェクトが映っていた領域を囲う枠）を描画することで、人間（人物）の画像を表示させずに人間（人物）の動向の確認が可能となる。すなわち、第１の実施形態の画像処理システム１では、表示装置４０上で、個人情報である人間（人物）の画像を表示しないため、画像新寝具処理の結果（人間（人物）の動き）を表示しつつ、のプライバシを保護することができる。

また、第１の実施形態のゲートウェイ装置１０は、リアルタイムにはオブジェクト重畳描画情報ＯＳＧだけを表示装置４０に送信し、表示装置４０側で対応フレームの描画（レンダリング）を実行させるため、動画像のデータそのものを送信する場合より効率の高いデータ転送を実現することができる。

（Ｂ）第２の実施形態
以下、本発明による画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置の第２の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の画像処理装置、画像処理プログラム、及び画像処理方法をゲートウェイ装置に適用した例について説明する。

（Ｂ−１）第２の実施形態の構成及び動作
第２の実施形態の画像処理システム１の全体構成、ゲートウェイ装置１０の機能的構成、及び表示装置４０の機能的構成については、第１の実施形態と同様に図１、図２、図７を用いて示すことができる。

以下では、第２の実施形態について、第１の実施形態との差異を中心に説明する。

第１の実施形態では、対応フレームに描画する重畳画像（Ｇ１０１〜Ｇ１０３）を実線の枠線としていたが、第２の実施形態では、図１４に示すように、重畳画像（Ｇ１０１〜Ｇ１０３）が人型のアイコン（シンボル；ピクトグラム）の画像（オブジェクトの種類に応じた画像）に置き換わっている点で第１の実施形態と異なっている。

第２の実施形態では、表示装置４０（描画処理部４３１）が予めアイコンの画像データを保持しておくようにしてもよいし、ゲートウェイ装置１０（描画情報生成部１０３）が、対応フレーム描画情報の一部のデータとして設定して、表示装置４０（描画処理部４３１）側に送信するようにしてもよい。

（Ｂ−２）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態と比較して以下のような効果を奏することができる。

第２の実施形態の画像処理システム１では、対応フレームにおいて、オブジェクトの種類に応じた画像（例えば、オブジェクトが人間であれば人型のアイコン）を表示する構成となっている。これにより、表示装置４０で表示される対応フレームを、視覚的により理解しやすい内容とすることができる。

（Ｃ）第３の実施形態
以下、本発明による画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置の第３の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の画像処理装置、画像処理プログラム、及び画像処理方法をゲートウェイ装置に適用した例について説明する。

（Ｃ−１）第３の実施形態の構成
第３の実施形態の画像処理システム１の全体構成、ゲートウェイ装置１０の機能的構成、及び表示装置４０の機能的構成については、第１の実施形態と同様に図１、図２、図７を用いて示すことができる。

以下では、第３の実施形態について、第１の実施形態との差異を中心に説明する。第３の実施形態では、ゲートウェイ装置１０を構成する画像センシング処理部１０２及び描画情報生成部１０３の処理が異なっている。

具体的には、第３の実施形態では、画像センシング処理部１０２が行う画像センシング処理の内容が異なっている。第３の実施形態の画像センシング処理部１０２は、各オブジェクト（オブジェクトセンシング情報ＯＳＩ）の属性情報として、当該オブジェクトの種類だけでなく、当該オブジェクトのカテゴリ（複数のカテゴリのいずれかに分類した結果）の情報も生成する。

ここで、当該オブジェクトのカテゴリの一例は、次の通りである。

１つ目の例は、当該オブジェクトに関わる人間の年齢（年代）において、所定年齢（所定年台）を上回る（超過）又は下回る（未満）に基づいて、当該オブジェクトのカテゴリを「１」又は「２」とする。

２つ目の例は、当該オブジェクトに関わる人間の性別において、女性又は男性に基づいて、当該オブジェクトのカテゴリを「１」又は「２」とする。

３つ目の例は、当該オブジェクトに関わる人間の心理状態において、困っていない人又は困っている人に基づいて、当該オブジェクトのカテゴリを「１」又は「２」とする。

４つ目の例は、当該オブジェクトに関わる人間の行動状態において、歩いている（静止している人）又は走っている人に基づいて、当該オブジェクトのカテゴリを「１」又は「２」とする。

５つ目の例は、当該オブジェクトに関わる人間の身体状態において、健常者（歩いている、静止している人）又は傷病者（横たわっている人、倒れている人）に基づいて、当該オブジェクトのカテゴリを「１」又は「２」とする。

画像センシング処理部１０２が各オブジェクトを複数のカテゴリのいずれかに分類する方式については限定されないものである。例えば、画像センシング処理部１０２は、当該オブジェクトの特徴量情報に応じて複数のカテゴリのいずれかに分類するようにしてもよい。

そして、第３の実施形態では、描画情報生成部１０３は、各オブジェクトについて生成するオブジェクト重畳描画情報ＯＳＧに、重畳描画領域情報が示す領域に描画する重畳画像の内容を指定するための情報（以下、「重畳描画画像情報」と呼ぶ）を追加する点で第１の実施形態と異なっている。

重畳描画画像情報には、例えば、画像の定義情報や画像データそのものが設定される。

重畳描画画像情報には、例えば、重畳描画領域情報が示す領域に、実線のオブジェクト枠を描画することを示す「枠線（実線）」や、重畳描画領域情報が示す領域に点線のオブジェクト枠を描画することを示す「枠線（点線）」を設定するようにしてもよい。重畳描画領域情報に設定する情報の形式は、重畳画像の内容が表示装置５０側で認識できる形式であれば具体的な形式は限定されないものである。例えば、重畳描画領域情報として「枠線（実線）」や「枠線（点線）」を示す識別子（例えば、「１」や「２」の数値で示されるＩＤ情報）に置き換えてもよい。なお、重畳描画領域情報に適用するオブジェクト枠の描画形式には、青や赤等の色設定を可能とするようにしてもよい。

そして、表示装置４０の描画処理部４３１は、対応フレームを描画する際に、各オブジェクトについて重畳描画領域情報に従った重畳画像を描画する。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態における画像処理システム１の動作を説明する。

以下では、第３の実施形態の画像処理システム１の動作について、第１の実施形態との差異のみを説明する。

第３の実施形態の画像処理システム１の全体的な動作については、第１の実施形態と同様に、図８のシーケンス図を用いて示すことができる。

次に、第３の実施形態のゲートウェイ装置１０（描画情報生成部１０３）が、対応フレーム描画情報（対応フレーム重畳描画情報ＳＧ及び背景画像データＢＧ）を取得する処理、及び表示装置４０（描画処理部４３１）が対応フレームを描画する処理の具体例について説明する。

ここでは、第１の実施形態と同様に、カメラ２０−１が時刻Ｔ１に撮像したフレームが図９に示すような内容であったものとする。また、ここでは、ゲートウェイ装置１０の描画情報生成部１０３において、カメラ２０−１に対応する背景画像データＢＧとして、図１０に示すような画像のデータが保持されているものとする。

さらに、ここでは、画像センシング処理部１０２が、時刻Ｔ１のフレームについて画像センシング処理を行った結果、画像センシング情報ＳＩとして図１５に示す内容を得たものとする。

図１５に示すオブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３では、属性情報に「カテゴリ」の項目が追加されている点で第１の実施形態と異なっている。図１５では、オブジェクトセンシング情報ＯＳＩ−１の属性情報を構成するカテゴリが「１」、オブジェクトセンシング情報ＯＳＩ−２の属性情報を構成するカテゴリが「２」、オブジェクトセンシング情報ＯＳＩ−３の属性情報を構成するカテゴリが「１」となっている。

そして、ここでは、描画情報生成部１０３が、時刻Ｔ１のフレームに対応する対応フレーム重畳描画情報ＳＧとして図１６に示す内容を得たものとする。図１６では、時刻Ｔ１のフレームに対する対応フレーム重畳描画情報ＳＧに、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３のそれぞれに対応するオブジェクト重畳描画情報ＯＳＧ−１〜ＯＳＧ−３が図示されている。図１６に示すオブジェクト重畳描画情報ＯＳＧ−１〜ＯＳＧ−３では、重畳描画画像情報が追加されている点で第１の実施形態と異なっている。描画情報生成部１０３は、図１６に示すように、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３の重畳描画画像情報に、オブジェクトセンシング情報ＯＳＩ−１〜ＯＳＩ−３の属性情報に設定されたカテゴリに応じた内容（ここでは、「枠線（実線）」又は「枠線（点線）」）を設定可能である。ここでは、描画情報生成部１０３は、各オブジェクトについて、カテゴリが「１」であった場合にオブジェクトセンシング情報ＯＳＩの重畳描画画像情報に「枠線（実線）」を設定し、カテゴリが「２」であった場合にオブジェクトセンシング情報ＯＳＩの重畳描画画像情報に「枠線（点線）」を設定するものとする。

その結果、第３の実施形態の表示装置４０（描画処理部４３１）が描画する対応フレーム（時刻Ｔ１のフレームに対応する対応フレーム）は、図１７のような内容となる。

図１７に示す対応フレームでは、各オブジェクトの重畳描画画像情報に従い、オブジェクト重畳描画情報ＯＳＧ−１、ＯＳＧ−３に対応する重畳画像Ｇ１０１、Ｇ１０３は実線のオブジェクト枠となり、オブジェクト重畳描画情報ＯＳＧ−２に対応する重畳画像Ｇ１０２は点線のオブジェクト枠となっている。

なお、オブジェクトセンシング情報ＯＳＩの重畳描画画像情報には、上記の例以外にも種々の描画内容を設定することが可能である。例えば、オブジェクトセンシング情報ＯＳＩの重畳描画画像情報には、第２の実施形態のようにアイコンの画像を描画する情報を設定可能としてもよい。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第１及び第２の実施形態と比較して以下のような効果を奏することができる。

第３の実施形態の画像処理システム１では、対応フレーム上で、オブジェクトごとに画像センシング処理の結果（例えば、属性情報のカテゴリ）に応じて重畳画像の内容を変化させている。これにより、第３の実施形態の画像処理システム１では、対応フレーム上で、オブジェクト毎の画像センシング処理結果の差異を視覚的に表現することができる。例えば、第３の実施形態の画像処理システム１では、店舗内を監視する際に、対応フレーム上で、顧客と店舗スタッフを視覚的に区別可能とすること等が可能となる。

（Ｄ）第４の実施形態
以下、本発明による画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置の第４の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の画像処理装置、画像処理プログラム、及び画像処理方法をゲートウェイ装置に適用した例について説明する。

（Ｄ−１）第４の実施形態の構成
第４の実施形態の画像処理システム１の全体構成、ゲートウェイ装置１０の機能的構成、及び表示装置４０の機能的構成については、第３の実施形態と同様に図１、図２、図７を用いて示すことができる。

以下では、第４の実施形態について、第３の実施形態との差異を中心に説明する。

第４の実施形態では、ゲートウェイ装置１０を構成する描画情報生成部１０３の処理が第３の実施形態と異なっている。

そして、第４の実施形態の描画情報生成部１０３では、オブジェクト重畳描画情報ＯＳＧの重畳描画画像情報として、カメラ２０から供給されたフレームの一部を抽出した画像（以下、「抽出画像」とも呼ぶ）を重畳画像として設定可能な点で異なっている。具体的には、第４の実施形態の描画情報生成部１０３では、オブジェクト重畳描画情報ＯＳＧの重畳描画画像情報として、対応するオブジェクトが映っている領域の画像（オブジェクトセンシング情報ＯＳＩの領域情報が示す領域の画像）を抽出して重畳画像に設定可能となっているものとする。

（Ｄ−２）第４の実施形態の動作
次に、以上のような構成を有する第４の実施形態における画像処理システム１の動作を説明する。

以下では、第４の実施形態の画像処理システム１の動作について、第３の実施形態との差異のみを説明する。

第４の実施形態の画像処理システム１の全体的な動作については、第３の実施形態と同様に、図８のシーケンス図を用いて示すことができる。

次に、第４の実施形態のゲートウェイ装置１０（描画情報生成部１０３）が、対応フレーム描画情報（対応フレーム重畳描画情報ＳＧ及び背景画像データＢＧ）を取得する処理、及び表示装置４０（描画処理部４３１）が対応フレームを描画する処理の具体例について説明する。

ここでは、第３の実施形態と同様に、カメラ２０−１が時刻Ｔ１に撮像したフレームが図９に示すような内容であったものとする。また、ここでは、ゲートウェイ装置１０の描画情報生成部１０３において、カメラ２０−１に対応する背景画像データＢＧとして、図１０に示すような画像のデータが保持されているものとする。

さらに、ここでは、画像センシング処理部１０２が、時刻Ｔ１のフレームについて画像センシング処理を行った結果、第３の実施形態と同様に、画像センシング情報ＳＩとして図１５に示す内容が得られたものとする。

そして、ここでは、描画情報生成部１０３が、時刻Ｔ１のフレームに対応する対応フレーム重畳描画情報ＳＧとして図１８に示す内容が得られたものとする。ここでは、描画情報生成部１０３は、各オブジェクトについて、カテゴリが「１」であった場合オブジェクトセンシング情報ＯＳＩの重畳描画画像情報に「枠線（実線）」を設定するものとする。また、ここでは、描画情報生成部１０３は、各オブジェクトについて、カテゴリが「２」であった場合、オブジェクトセンシング情報ＯＳＩの重畳描画画像情報に、カメラ２０−１から供給されたフレーム上で当該オブジェクトが映っている領域の画像（オブジェクトセンシング情報ＯＳＩの領域情報が示す領域の画像）を抽出し、重畳画像として設定するものとする。

例えば、ここでは図１５に示す通り、人間Ｈ２に対応するオブジェクトのオブジェクトセンシング情報ＯＳＩ−２において、属性情報のカテゴリの項目は「２」に設定されている。したがって、描画情報生成部１０３は、図１９に示す通り、カメラ２０−１が時間Ｔ１に撮像したフレーム上で、当該オブジェクト（人間Ｈ２）に対応するオブジェクトセンシング情報ＯＳＩ−２の領域情報「Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ２０４」が示す領域から、画像Ｇ１０２を抽出し、重畳画像として取得する。そして、図１８に示す通り、描画情報生成部１０３は、切り出した画像Ｇ１０２のデータを、オブジェクト重畳描画情報ＯＳＧ−２を構成する重畳描画画像情報に設定する。

その結果、第４の実施形態の表示装置４０（描画処理部４３１）が描画する対応フレーム（時刻Ｔ１のフレームに対応する対応フレーム）は、図２０のような内容となる。

図２０に示す対応フレームでは、各オブジェクトの重畳描画画像情報に従い、オブジェクト重畳描画情報ＯＳＧ−１、ＯＳＧ−３に対応する重畳画像Ｇ１０１は実線のオブジェクト枠となり、オブジェクト重畳描画情報ＯＳＧ−２に対応する重畳画像Ｇ１０２は元のフレームから抽出した画像（当該オブジェクトに対応する人間Ｈ２を撮像した画像）となる。

（Ｄ−３）第４の実施形態の効果
第４の実施形態によれば、第３の実施形態と比較して、以下のような効果を奏することができる。

第４の実施形態の画像処理システム１では、画像センシング処理で特定の結果が得られたオブジェクト（例えば、特定のカテゴリと認識されたオブジェクト）の重畳画像にのみ、元のフレームから抽出した抽出画像を適用している。これにより、第４の実施形態の画像処理システム１では、対応フレーム上で、特定の人間（人物）の画像を表示しつつ、他の人間（特定の人間以外）のプライバシを保護することができるという効果を奏することができる。

（Ｅ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｅ−１）上記の各実施形態では、本発明の画像処理装置をゲートウェイ装置に適用する例について示したが、本発明の画像処理装置を適用する装置は画像センシング処理を行う装置であれば、上記の実施形態のゲートウェイ装置に限定されないものである。

（Ｅ−２）上記の各実施形態のゲートウェイ装置では、画像センシング処理する対象のオブジェクト（物体）の種類を人間のみであるものとして説明したが、人間以外の種類のオブジェクトを検出して同様の処理を行うようにしてもよい。

１…画像処理システム、１０…ゲートウェイ装置、１０１…フレーム取得部、１０２…画像センシング処理部、１０３…描画情報生成部、１０４…配信処理部、１０５…データ送信部、２０、２０−１〜２０−３…カメラ、３０…アプリケーションサーバ、４０…表示装置、４１…表示部、４２…操作部、４３…制御部、５０…表示装置、４３１…描画処理部、ＮＷ１…上位側ネットワーク、ＮＷ２…ローカルネットワーク。

Claims (9)

1. カメラで撮像された撮像フレームを処理する画像処理装置と、前記撮像フレームに対応する対応フレームを表示する表示装置とを備える画像処理システムにおいて、
   前記画像処理装置は、
   前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行う画像認識手段と、
   前記カメラに対応する背景画像を取得する背景画像取得手段と、
   前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成する描画情報生成手段と、
   前記背景画像と前記重畳画像描画情報を出力する出力手段とを有し、
   前記表示装置は、
   画像を表示する表示画面を備える表示手段と、
   前記表示手段の前記表示画面に前記背景画像を描画させ、さらに前記表示手段の前記表示画面に前記重畳画像描画情報に基づく重畳画像を前記背景画像に重畳して描画させる描画処理手段とを有する
   ことを特徴とする画像処理システム。
2. 前記重畳画像描画情報には、対応する前記オブジェクトの領域を囲うオブジェクト枠を前記背景画像に重畳して描画するための枠線描画情報が設定可能であることを特徴とする請求項１に記載の画像処理システム。
3. 前記重畳画像描画情報には、対応する前記オブジェクトの領域に、前記オブジェクトを表すアイコンの画像を前記背景画像に重畳して描画するためのアイコン描画情報が設定可能であることを特徴とする請求項１に記載の画像処理システム。
4. 前記重畳画像描画情報には、対応する前記オブジェクトの領域に、前記撮像フレームで前記オブジェクトが映っている領域を抽出した抽出画像を、前記背景画像に重畳して描画するための抽出画像描画情報が設定可能であることを特徴とする請求項１に記載の画像処理システム。
5. 前記描画情報生成手段は、前記オブジェクトに、前記画像認識手段の認識結果に応じた内容の枠線描画情報を生成することを特徴とする請求項１〜４のいずれかに記載の画像処理システム。
6. カメラで撮像された撮像フレームを処理する画像処理装置において、
   前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行う画像認識手段と、
   前記カメラに対応する背景画像を取得する背景画像取得手段と、
   前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成する描画情報生成手段と、
   前記背景画像と前記重畳画像描画情報を出力する出力手段と
   を有することを特徴とする画像処理装置。
7. カメラで撮像された撮像フレームを処理する画像処理装置に搭載されたコンピュータを、
   前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行う画像認識手段と、
   前記カメラに対応する背景画像を取得する背景画像取得手段と、
   前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成する描画情報生成手段と、
   前記背景画像と前記重畳画像描画情報を出力する出力手段と
   して機能させることを特徴とする画像処理プログラム。
8. カメラで撮像された撮像フレームを処理する画像処理装置が行う画像処理方法において、
   画像認識手段、背景画像取得手段、描画情報生成手段、及び出力手段を有し、
   前記画像認識手段は、前記カメラで撮像された前記撮像フレームに映っているオブジェクトの認識処理を行い、
   前記背景画像取得手段は、前記カメラに対応する背景画像を取得し、
   前記描画情報生成手段は、前記画像認識手段で認識されたそれぞれの前記オブジェクトに対応する画像であって、前記背景画像に重畳する重畳画像を描画するための重畳画像描画情報を生成し、
   前記出力手段は、前記背景画像と前記重畳画像描画情報を出力する
   ことを特徴とする画像処理方法。
9. カメラで撮像された撮像フレームに対応する対応フレームを表示する表示装置において、
   画像を表示する表示画面を備える表示手段と、
   前記表示手段の前記表示画面に請求項６に記載の画像処理装置が出力した背景画像を描画させ、さらに前記表示手段の前記表示画面に請求項６に記載の画像処理装置が出力した前記重畳画像描画情報に基づく重畳画像を前記背景画像に重畳して描画させる描画処理手段と
   を有することを特徴とする表示装置。

Images