JP2018026682A - 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法 - Google Patents

Abstract

【課題】各画素を複数の固定色の１つに分類するための基準パラメータを調整する際におけるネットワークの負荷を低減する。
【解決手段】変換部１３３は、撮像部１１で撮像した画像の各画素のデータを、所定の色分類基準パラメータを用いて色の種別を示すデータに変換する。送信部１５は、変換部１３３で変換した画像データをネットワーク経由で画像解析装置に送信する。受信部１５は、画像解析装置からネットワーク経由で、色分類基準パラメータの変更情報を受信する。設定変更部１３４は、受信部１５で受信した変更情報をもとに、色分類基準パラメータを変更する。
【選択図】図２

Description

本発明は、監視カメラ等の撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法に関する。

監視カメラで撮像された画像を解析して、侵入者または侵入物（以下、両者をまとめてオブジェクトと呼ぶ）を検知する監視カメラシステムが実用化されている。当該監視カメラシステムでは監視カメラから、サーバやＰＣ等で構成される画像解析装置にネットワーク経由で画像データを送信し、画像解析装置でオブジェクト検出を行う構成が一般的である（例えば、特許文献１参照）。従来、監視カメラは撮像した画像を所定の圧縮フォーマット（Ｈ．２６４、ＪＰＥＧ等）で符号化し、符号化した画像データをネットワーク経由で画像解析装置に送信することが一般的であった。

この場合、画像解析装置は受信した画像データの復号と、画像解析を行う必要があり、処理負荷が高くなっていた。特にＨ．２６４等の圧縮フォーマットの復号処理に関しては、ＣＰＵリソースを多く消費するため、負荷が高くなっていた。そのため、複数のカメラで撮像された画像を同時に円滑に解析するには、複数のサーバやＰＣが必要となりコストが高くなっていた。また、サーバやＰＣへの通信量が増えるためネットワークの構築コストも高くなっていた。

そこで撮像した画像の原データを直接圧縮することが考えられる。例えば、画素を間引くことによりデータ量を圧縮することができる。さらに１画素あたりのデータ量を圧縮することも考えられる。オブジェクト検出処理は、１０種類程度の固定色で表現された画像を用いた場合でも、比較的高精度に実行可能である。各画素を１０種類程度の固定色の情報に変換すれば、各画素のデータ量を４ビットに圧縮することができる。

特開２００３−２５９３６０号公報

上述の画素情報の単純な色情報への変換処理では、各画素を高精度に色分類することが重要となる。しかしながら、撮像装置により撮像される画像は、撮像装置の個体差、撮像装置の設置環境（屋内、屋外）、時間帯（日中、夕方、夜）などの条件により、同じ被撮像体であっても明るさや色が異なってくる。このため各画素を高精度に色分類するためには、撮像装置が撮影するシーンに応じて、色分類するための基準パラメータを最適な状態に調整することが求められる。当該基準パラメータの調整は、撮像装置から画像解析装置への画像データの送信、画像解析装置から撮像装置への変更量の送信を少なくとも１サイクル行う必要があり、ネットワークの負荷を上昇させる要因となる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、各画素を複数の固定色の１つに分類するための基準パラメータを調整する際におけるネットワークの負荷を低減する技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置（１０）は、撮像部（１１）と、前記撮像部（１１）で撮像した画像の各画素のデータを、所定の色分類基準パラメータを用いて色の種別を示すデータに変換する変換部（１３３）と、前記変換部（１３３）で変換した画像データをネットワーク（４０）経由で画像解析装置（２０）に送信する送信部（１５）と、前記画像解析装置（２０）から前記ネットワーク（４０）経由で、前記色分類基準パラメータの変更情報を受信する受信部（１５）と、前記受信部（１５）で受信した変更情報をもとに、前記色分類基準パラメータを変更する設定変更部（１３４）と、を備える。

本発明の別の態様は、設定装置である。この装置は、撮像装置（１０）により撮像された画像の各画素のデータが、所定の色分類基準パラメータを用いて色の種別を示すデータに変換された画像データを、前記撮像装置（１０）からネットワーク（４０）経由で受信する受信部（２２）と、前記受信部（２２）で受信した画像データを表示させる表示制御部（２３３）と、前記所定の色分類基準パラメータに対するユーザが行った設定変更操作を受け付ける操作受付部（２３４）と、前記操作受付部（２３４）で受け付けた前記設定変更操作に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成部（２３５）と、前記生成部（２３５）で生成した変更情報を前記撮像装置（１０）に送信する送信部（２２）と、を備える。

本発明のさらに別の態様は、画像解析装置（２０）である。この装置は、撮像装置（１０）により撮像された画像の各画素のデータが、所定の色分類基準パラメータを用いて色の種別を示すデータに変換された画像データを、前記撮像装置（１０）からネットワーク（４０）経由で受信する受信部（２２）と、前記受信部（２２）で受信した画像データを画像解析する画像解析部（２３１）と、前記画像解析部（２３１）の特性に基づき分類されている複数の固定色の色の範囲の情報である固定色定義情報に基づき描かれたカラーチャートの情報を保持するカラーチャート情報保持部（２４３）と、前記撮像装置（１０）により撮像された画像が、前記カラーチャートが撮像された画像である場合、前記受信部（２２）で受信した画像データと前記カラーチャートの情報とに基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成部（２３５）と、前記生成部（２３５）で生成した変更情報を前記撮像装置（１０）に送信する送信部（２２）と、を備える。

本発明のさらに別の態様は、画像解析システム（１）である。この画像解析システム（１）は、撮像装置（１０）と画像解析装置（２０）がネットワーク（４０）で接続された画像解析システム（１）であって、前記撮像装置（１０）は、撮像部（１１）と、前記撮像部（１１）で撮像した画像の各画素のデータを、所定の色分類基準パラメータを用いて色の種別を示すデータに変換する変換部（１３３）と、前記変換部（１３３）で変換した画像データを前記ネットワーク（４０）経由で前記画像解析装置（２０）に送信する第１の送信部（１５）と、前記画像解析装置（２０）から前記ネットワーク（４０）経由で、前記色分類基準パラメータの変更情報を受信する第１の受信部（１５）と、前記第１の受信部（１５）で受信した変更情報をもとに、前記色分類基準パラメータを変更する設定変更部（１３４）と、を含む。前記画像解析装置（２０）は、前記第１の送信部（１５）により送信された前記画像データを受信する第２の受信部（２２）と、前記第２の受信部（２２）で受信した画像データを画像解析する画像解析部（２３１）と、前記第２の受信部（２２）で受信した画像データを表示させる表示制御部（２３３）と、前記所定の色分類基準パラメータに対するユーザが行った設定変更操作を受け付ける操作受付部（２３４）と、前記操作受付部（２３４）で受け付けた前記設定変更操作に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成部（２３５）と、前記生成部（２３５）で生成した変更情報を前記ネットワーク（４０）経由で前記撮像装置（１０）に送信する第２の送信部（２２）と、を含む。

本発明のさらに別の態様は、設定方法である。この方法は、撮像装置により撮像された画像の各画素のデータが、所定の色分類基準パラメータを用いて色の種別を示すデータに変換された画像データを、前記撮像装置からネットワーク経由で受信する受信ステップと、前記受信ステップで受信した画像データを表示させる表示制御ステップと、前記所定の色分類基準パラメータに対するユーザが行った設定変更操作を受け付ける操作受付ステップと、前記操作受付ステップで受け付けた前記設定変更操作に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成ステップと、前記生成ステップで生成した変更情報を前記ネットワーク経由で前記撮像装置に送信する送信ステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、各画素を複数の固定色の１つに分類するための基準パラメータを調整する際におけるネットワークの負荷を低減することができる。

本発明の実施の形態に係る画像解析システムの全体構成を示す図である。 実施の形態１に係る撮像装置の構成を示す図である。 実施の形態１に係る画像解析装置の構成を示す図である。 実施の形態１に係る撮像装置の基本動作を示すフローチャートである。 図５（ａ）−（ｄ）は、固定色（値）定義テーブルＡ、固定色（値）定義テーブルＢ、固定色（値）判断テーブルＡ、及び固定色（値）判断テーブルＢの一例を示す図である。 図６（ａ）、（ｂ）は、図５（ｃ）、（ｄ）に示した色判断テーブル及び輝度判断テーブルの範囲設定をそれぞれ、色相環チャート及びグレーチャートで示す図である。 図４のステップＳ１２のサブルーチンを示すフローチャートである。 実施の形態１に係る画像解析装置の基本動作を示すフローチャートである。 色分類基準パラメータの設定変更画面の一例を示す図である。 実施の形態１に係る、色分類基準パラメータの設定変更処理を示すフローチャートである。 実施の形態２に係る画像解析装置の構成を示す図である。 カラーチャートの一例を示す図である。 図１２のカラーチャートに対応する、カラーチャート情報テーブルを示す図である。 実施の形態２に係る、色分類基準パラメータの設定変更処理を示すフローチャートである。 調整テーブルの一例を示す図である。 変形例に係るカラーチャートの一例を示す図である。

図１は、本発明の実施の形態に係る画像解析システム１の全体構成を示す図である。画像解析システム１は、少なくとも１台の撮像装置１０（図１では３台）、画像解析装置２０及び画像保存装置３０を備え、それらはネットワーク４０を介して接続されている。撮像装置１０は監視カメラを想定しており、撮像装置１０は撮像した画像をネットワーク４０を介して画像解析装置２０と画像保存装置３０に送信する。画像解析装置２０は、撮像装置１０から受信した画像を解析し、オブジェクトの侵入を検出した場合、アラートを通知する。画像保存装置３０は、撮像装置１０から受信した画像を所定の期間、保存する。ネットワーク４０は、例えばＴＣＰ／ＩＰ及びイーサネット（登録商標）に準拠したＬＡＮにより構築される。

（実施の形態１）
図２は、実施の形態１に係る撮像装置１０の構成を示す図である。撮像装置１０は、撮像部１１及び処理部１２を備える。撮像部１１は、固体撮像素子（例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ）と信号処理回路を含む。固体撮像素子は、レンズで集光した入射光を電気信号に変換する。信号処理回路は、固体撮像素子における光電変換により生成された画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施して処理部１２に出力する。

処理部１２は制御部１３、記憶部１４、通信部１５を備える。制御部１３は、圧縮符号化部１３１、間引き部１３２、変換部１３３及び設定変更部１３４を含む。制御部１３の構成は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてＣＰＵ、ＤＳＰ、ＲＯＭ、ＲＡＭ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。

記憶部１４は、固定色（値）判断テーブルＡ１４１、固定色（値）判断テーブルＢ１４２及び彩度判断閾値保持部１４３を含む。記憶部１４の構成は、不揮発性メモリにより実現できる。通信部１５は、所定の通信規格に準拠した通信処理を実行する。

図３は、実施の形態１に係る画像解析装置２０の構成を示す図である。画像解析装置２０は少なくとも１台のサーバ又はＰＣにより構築される。画像解析装置２０は処理部２１及びコンソール部２５を備える。コンソール部２５は表示部２６及び操作部２７を備える。コンソール部２５は例えば、クライアントＰＣで構築される。この場合、当該クライアントＰＣは、処理部２１を構築するサーバに対して通信で接続する。なお、表示部２６及び操作部２７はそれぞれ、独立の周辺機器（例えば、ディスプレイ、キーボード、マウス）で構築されてもよい。

処理部２１は通信部２２、制御部２３、記憶部２４を備える。通信部２２は所定の通信規格に準拠した通信処理を実行する。制御部２３は、画像解析部２３１、アラート生成部２３２、表示制御部２３３、操作受付部２３４及び変更情報生成部２３５を含む。制御部２３の構成は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。記憶部２４は、検出履歴保持部２４１及び設定情報保持部２４２を含む。記憶部２４の構成は、ＨＤＤ、ＳＳＤ等の不揮発性メモリにより実現できる。

図４は、実施の形態１に係る撮像装置１０の基本動作を示すフローチャートである。撮像部１１は、画角エリアのシーンを撮像する（Ｓ１０）。撮像部１１は撮像したシーンの画像データをフレーム単位で処理部１２に出力する。撮像部１１から入力される画像データは、圧縮符号化部１３１に向かう第１系統と間引き部１３２に向かう第２系統に分岐される。第１系統は画像保存装置３０に送信する画像データを生成するための系統であり、第２系統は画像解析装置２０に送信する画像データを生成するための系統である。

間引き部１３２は、入力されるフレーム画像の画素を間引いて、フレーム画像のデータ量を圧縮する（Ｓ１１）。例えば、フルＨＤ（１９２０×１０８０）、ＨＤ（１２８０×７２０）等の画像サイズを、ＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）等の画像サイズに圧縮する。

変換部１３３は、フレーム画像内の各画素のデータを、画像解析装置２０の画像解析部２３１の特性により定められた１０種類の固定色（値）に変換する（Ｓ１２）。この１０種類の固定色（値）は、赤(1)、オレンジ(2)、黄(3)、緑(4)、青(5)、シアン(6)、マゼンタ(7)、黒(8)、グレー(9)、白(10)である。以下本明細書では、この変換処理を画素の単純化処理と呼ぶ。

なお、各固定色（値）に対応する色の範囲の定義（固定色定義情報）は、画像解析装置２０の画像解析部２３１の特性により定められる。本実施の形態では、Ｈ（色相）：０〜３６０［角度］、Ｓ（彩度）：０〜１００［％］、Ｌ（輝度）：０〜１００［％］により定義される。赤(1)〜マゼンタ(7)に関しては、Ｓ（彩度）が５０以上と定義される。また、赤(1)〜マゼンタ(7)に関しては、図５（ａ）に示すように各固定色（値）のＨ（色相）の範囲が定義される。黒(8)〜白(10)に関しては、Ｓ（彩度）が５０より小さいと定義される。また、黒(8)〜白(10)に関しては、図５（ｂ）に示すように各固定色（値）のＬ（輝度）の範囲が定義される。

従って、変換部１３３が、上述の各固定色（値）の定義に基づき画素の単純化処理を行い、単純化処理された画像データが画像解析装置２０に送信されることで、画像解析部２３１において精度の高い画像解析が期待される。しかしながら、撮像装置１０により撮像される画像は、撮像装置１０の個体差、撮像装置１０の設置環境などの条件により、被撮像体が有する色がそのままの色で撮像されるとは限らない。したがって、変換部１３３は、上述の各固定色（値）の定義とは異なり得る、変更可能な色分類基準パラメータに基づいて、画素の単純化処理を行う。

色分類基準パラメータは、固定色（値）判断テーブルＡ１４１、固定色（値）判断テーブルＢ１４２、彩度判断閾値保持部１４３の値で構成される。図５（ｃ）、（ｄ）は、固定色（値）判断テーブルＡ１４１及び固定色（値）判断テーブルＢ１４２の一例を示す図である。図６（ａ）、（ｂ）は、図５（ｃ）、（ｄ）に示した固定色（値）判断テーブルＡ１４１及び固定色（値）判断テーブルＢ１４２の範囲設定をそれぞれ、色相環チャート及びグレーチャートで示す図である。

色分類基準パラメータの初期値は、上述の各固定色（値）の定義に基づき設定する。例えば、図５（ｃ）、（ｄ）に示したように、上述の各固定色（値）の定義通りの値（図５（ａ）、（ｂ）参照）に設定する。彩度判断閾値保持部１４３の値は５０に設定する。なお、撮像装置１０の個体差、撮像装置１０の設置環境などによる、被撮像体が有する色と、それが撮像された画像データにおける色との違いを予め把握している場合は、この違いに基づき、色分類基準パラメータの初期値を設定してもよい。例えば、撮像装置１０の個体差により、Ｈ（色相）が常に５度増加するように撮像されることが分かっている場合は、図５（ｃ）の色相（角度）範囲の値を、それぞれ５度減じた値に設定してもよい。

図７は、図４のステップＳ１２のサブルーチンを示すフローチャートである。変換部１３３は、撮像部１１から入力される画像データの各画素をＲＧＢデータからＨＳＬデータに変換する（Ｓ１２０）。その際、ＨＳＬ変換後の値の範囲が、Ｈ（色相）：０〜３６０［角度］、Ｓ（彩度）：０〜１００［％］、Ｌ（輝度）：０〜１００［％］の範囲内に収まるように変換する。

変換部１３３は、対象画素の彩度と閾値を比較する（Ｓ１２１）。彩度が閾値以上の場合（Ｓ１２１のＹ）、変換部１３３は対象画素の色を色相をもとに決定する（Ｓ１２２）。彩度が閾値未満の場合（Ｓ１２１のＮ）、変換部１３３は対象画素の色を輝度をもとに決定する（Ｓ１２３）。例えば彩度の閾値が５０の場合、彩度が５０％以上の画素の色は、色相をもとに赤、黄、緑、青、オレンジ、シアン、マゼンタのいずれかに決定される。一方、彩度が５０％未満の画素の色は、輝度をもとに白、グレー、黒のいずれかに決定される。

色相に基づく色の決定は、ＨＳＬ変換により取得された色相値（０〜３６０°）が、図６（ａ）に示した色相環のどの領域に含まれるかを判別することで行う。例えば、色相値が０°（＝３６０°）付近の場合は赤、１２０°付近の場合は緑、２４０°付近の場合は青と判別する。

輝度に基づく色の決定は、ＨＳＬ変換により取得された輝度値（０〜１００％）が、図６（ｂ）に示したグレーチャートのどの領域に含まれるかを判別することで行う。図６（ｂ）に示す例では、輝度値が７０％以上の場合が白、３０％未満の場合が黒、７０％未満で３０％以上の場合がグレーと判別する。

以上の色の割当処理を全画素について実行する。最終的にフレーム画像が、赤、黄、緑、青、オレンジ、シアン、マゼンタ、白、グレー、黒の１０色のデータ（１−１０の１０値）に単純化される。従って１画素は０．５バイト（４ビット）で表現することができる。一般的なカラー固体撮像素子を使用する場合、変換部１３３への入力画像は１画素当たり３バイト（２４ビット；赤色データ：８ビット、緑色データ：８ビット、青色データ：８ビット）で規定される。従って、１画素当たりのデータ量を６分の１に圧縮できる。

図４に戻る。変換部１３３は、１０種類の色の種別を示すデータに変換した後の画像データ（以下、単純化画像データという）をランレングス圧縮する（Ｓ１３）。なお、ランレングス圧縮以外の可逆変換圧縮を行ってもよい。通信部１５は、圧縮された単純化画像データをネットワーク４０を介して画像解析装置２０に送信する（Ｓ１４）。

圧縮符号化部１３１は、撮像部１１から入力される画像データの各画素をＲＧＢデータからＹＵＢデータに変換する。圧縮符号化部１３１は変換した画像データを、直交変換を用いた所定の圧縮符号化規格に従い圧縮符号化する（Ｓ１５）。例えば、ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ等の規格に従い圧縮符号化する。通信部１５は、圧縮符号化された画像データをネットワーク４０を介して画像保存装置３０に送信する（Ｓ１６）。

図８は、実施の形態１に係る画像解析装置２０の基本動作を示すフローチャートである。通信部２２は、撮像装置１０から送信された単純化画像データを受信する（Ｓ２０）。画像解析部２３１は、圧縮された単純化画像データをランレングス伸張して、圧縮前の単純化画像データを復元する（Ｓ２１）。なお、図４のステップＳ１３のランレングス圧縮処理と、図８のステップＳ２１のランレングス伸張処理を省略する設計も可能である。

画像解析部２３１は、単純化画像の各画素の経時的な変化をもとに単純化画像内の背景とオブジェクトを分離する（Ｓ２２）。動きが閾値より小さい画素領域を背景領域とし、動きが閾値以上の画素領域をオブジェクト領域とする。単純化画像内においてオブジェクトが検出された場合（Ｓ２３のＹ）、画像解析部２３１は検出したオブジェクトをメタデータ(色、輝度、形、大きさ等)に変換し、検出履歴保持部２４１に保存する（Ｓ２４）。

アラート生成部２３２は、オブジェクトのメタデータとアラート条件データを比較し（Ｓ２５）、オブジェクトのメタデータがアラート条件を満たす場合（Ｓ２５のＹ）、アラート情報を生成し、ユーザに通知する（Ｓ２６）。例えば、アラート情報を表示制御部２３３に出力し、表示部２６にアラートメッセージを表示させる。またアラート情報を図示しない音声出力部に出力し、音声出力部にアラートメッセージを音声出力させる。アラート条件データは例えば、人を識別するためのメタデータを含み、侵入禁止エリアに人が侵入したことを検出するとアラート条件が成就する。

次に、撮像装置１０の色分類基準パラメータを、画像解析装置２０から調整して設定変更する処理を説明する。各撮像装置１０の色分類基準パラメータは、設定情報保持部２４２に保持され、各撮像装置１０に保持される色分類基準パラメータと、画像解析装置２０に保持される各撮像装置１０の色分類基準パラメータとは同期が取られている。表示制御部２３３は、撮像装置１０から受信した単純化画像と、設定情報保持部２４２から読み出した当該撮像装置１０の色分類基準パラメータを表示部２６に表示させる。

図９は、色分類基準パラメータの設定変更画面２６ａの一例を示す図である。この設定変更画面２６ａには、単純化画像２６ｂ、色相環チャート２６ｃ、グレーチャート２６ｋが表示される。色相環チャート２６ｃは７本の境界線２６ｄ−２６ｊにより７色に分類されている。ユーザは７本の境界線２６ｄ−２６ｊを任意に円弧回転させることにより、７色の色相範囲を自由に調整することができる。グレーチャート２６ｋは２本の境界線２６ｌ、２６ｍにより白、グレー、黒に分類されている。ユーザは２本の境界線２６ｌ、２６ｍを任意に上下移動させることにより、白、グレー、黒の範囲を自由に調整することができる。

ユーザは単純化画像２６ｂを見て、画素の色分類が正確に行われているか否か確認する。例えば、人肌は本来、黄またはオレンジに分類されるべきであるが、単純化画像２６ｂ内の人肌が赤に分類されている場合、色分類が正確に行われていないことになる。この場合、ユーザは境界線２６ｊの境界線を反時計周りの方向に移動させる。

図１０は、実施の形態１に係る、色分類基準パラメータの設定変更処理を示すフローチャートである。撮像部１１は、画角エリアのシーンを撮像する（Ｓ１０）。変換部１３３は、フレーム画像内の各画素のデータを、色分類基準パラメータを用いて色の種別を示すデータに変換する（Ｓ１２）。通信部１５は、単純化画像データをネットワーク４０を介して画像解析装置２０に送信する（Ｓ１４）。なお図１０では、図面の簡略化のため図４のステップＳ１１、ステップＳ１３の処理を省略して描いている。

画像解析装置２０の通信部２２は、撮像装置１０から送信された単純化画像データを受信する（Ｓ２０）。表示制御部２３３は、受信した単純化画像データを含む、色分類基準パラメータの設定変更画面を表示部２６に表示させる（Ｓ２７）。操作受付部２３４は、ユーザが操作部２７に対して行った色分類基準パラメータの設定変更操作を受け付ける（Ｓ２９）。変更情報生成部２３５は、受け付けた設定変更操作を判断基準情報として、色分類基準パラメータの設定変更情報を生成する（Ｓ２１０）。通信部２２は、生成された設定変更情報をネットワーク４０を介して、対象となる撮像装置１０に送信する（Ｓ２１１）。

撮像装置１０の通信部１５は、画像解析装置２０から色分類基準パラメータの設定変更情報を受信する（Ｓ１７）。設定変更部１３４は、受信した設定変更情報をもとに、固定色（値）判断テーブルＡ１４１、固定色（値）判断テーブルＢ１４２または彩度判断閾値保持部１４３の値を更新する（Ｓ１８）。撮影継続中（Ｓ１９のＮ）はステップＳ１０に遷移する。変換部１３３は、撮像部１１により撮像された画像データを、更新後の色分類基準パラメータをもとに単純化処理し（Ｓ１２）、通信部１５は、単純化画像データを画像解析装置２０に送信する（Ｓ１４）。

画像解析装置２０の表示制御部２３３は、受信した単純化画像データを含む、色分類基準パラメータの設定変更画面を表示部２６に表示させる（Ｓ２７）。ユーザが、色分類基準パラメータの変更後の単純化画像に満足した場合、設定変更完了の操作を行う。操作受付部２３４が、ユーザが操作部２７に対して行った設定変更完了の操作を受け付けると（Ｓ２８のＹ）、変更情報生成部２３５は、対象となる撮像装置１０の色分類基準パラメータを変更後の値に上書保存する（Ｓ２１２）。

ユーザは、最適な単純化画像が表示されるまで、ステップＳ２０→Ｓ２７→Ｓ２８→Ｓ２９→Ｓ２１０→Ｓ２１１→Ｓ１７→Ｓ１８→Ｓ１９→Ｓ１０→Ｓ１２→Ｓ１４→Ｓ２０の処理ループを繰り返し、最適な単純化画像が表示されると設定変更完了の操作を行う。

以上説明したように実施の形態１によれば、撮像装置１０から単純化画像データを画像解析装置２０に送信することにより、撮像装置１０から画像解析装置２０に送信する通信量を低減し、ネットワーク４０の負荷を低減することができる。撮像装置１０と画像解析装置２０間において、各画素の単純化処理に必要な色分離基準パラメータの調整を行う際も同様に、ネットワーク４０の負荷を低減することができる。

従来、撮像装置１０から画像解析装置２０に、画像保存装置３０に送信される画像データと同様の圧縮符号化された画像データが送信されていた。この場合、画像解析装置２０において、受信した画像データの復号処理、単純化処理、及び解析処理を全て行う必要があり、処理負荷が高くなっていた。特にＨ．２６４等の直交変換を用いた圧縮フォーマットの復号処理では、多くのＣＰＵリソースを消費していた。そのため、複数の撮像装置１０で撮像された画像を同時に解析するには、複数の画像解析装置２０を設置する必要があり、コストが高くなっていた。この場合、画像解析装置２０への通信量も増えるためネットワーク４０の構築コストも高くなっていた。また、撮像装置１０に解析機能を持たせることも考えられるが、１台当たりの撮像装置１０のコストが上がり、トータルコストが高くなる。

これに対して実施の形態１によれば、画像データの復号処理と、単純化処理を画像解析装置２０から省略することができ、画像解析装置２０の負荷を軽減することができる。また撮像装置１０で前処理としての単純化処理を行うことにより、画像解析装置２０における解析処理の負荷を軽減することができる。画像解析装置２０の負荷軽減により、画像解析装置２０が同時に処理可能な撮像装置１０の台数が増えるため、システムのトータルコストを安価にすることができる。また画像劣化を伴う非可逆的な圧縮／伸張を用いないため、従来と比較して画像解析精度を向上させることができる。また単純化画像データをランレングス圧縮する場合、画像解析精度を低下させずに、ネットワーク４０の負荷と構築コストをさらに低減することができる。

画像解析装置２０において高精度な画像解析を実現するには、撮像装置１０において高精度な単純化処理が行われる必要がある。一方、撮像装置１０により撮像される画像は、撮像装置１０の個体差、設置環境等により明るさや色が異なる。このため、高精度な単純化処理を実現するには撮像装置１０ごとに、単純化処理に必要な色分類基準パラメータを最適に調整する必要がある。

実施の形態１では単純化処理を撮像装置１０で行っているため、色分類基準パラメータを設定変更するには、撮像装置１０と画像解析装置２０が相互に連携して動作する必要がある。その際、撮像装置１０から画像解析装置２０へ単純化画像データを送信し、ユーザの目視により調整された色分類基準パラメータの設定変更情報を画像解析装置２０から撮像装置１０に送信する。実施の形態１によれば、後述する実施の形態２のように撮像装置１０にカラーチャートを撮影させる必要がない。従ってユーザが撮像装置１０の設置場所に赴くことなく、色分類基準パラメータの調整が可能である。また色分類基準パラメータの調整時にも、単純化処理を画像解析装置２０ではなく撮像装置１０で行うため、画像解析装置２０とネットワーク４０の負荷上昇を抑制することができる。

（実施の形態２）
次に実施の形態２を説明する。実施の形態１では色分類基準パラメータの調整をユーザによるマニュアル操作に基づき行う例を説明した。実施の形態２では、色分類基準パラメータの調整を自動化する例を説明する。

図１１は、実施の形態２に係る画像解析装置２０の構成を示す図である。実施の形態２では記憶部２４にカラーチャート情報保持部２４３が追加される。また撮像装置１０から受信した単純化画像データが変更情報生成部２３５にも出力される。なお撮像装置１０の構成は、実施の形態１と同様である。実施の形態２では、調整対象とする撮像装置１０に所定のカラーチャートを撮影させる。

カラーチャート情報保持部２４３には、固定色（値）定義パラメータが保持される。固定色（値）定義パラメータは、固定色（値）定義テーブルＡ、固定色（値）定義テーブルＢ、彩度定義閾値で構成される。これらの値は、実施の形態１で説明したのと同様、画像解析装置２０の画像解析部２３１の特性により定められた値となる。本実施の形態では、実施の形態１と同様に、図５（ａ）、（ｂ）の通りに定義され、また彩度定義閾値は５０と定義されているものとする。

図１２は、カラーチャートＣ１の一例を示す図である。カラーチャートＣ１は、図１２に示すように１０の領域からなる。各領域には、固定色（値）定義パラメータで定義される各固定色（値）の色の範囲から選択された一の色がそれぞれ描かれる。例えば領域３（黄）には、Ｓ（彩度）が５０以上、かつ、Ｈ（色相）が５０以上８９以下の色（例えば、Ｈ：７０、Ｓ：１００、Ｌ：１００）が描かれる。また、領域８（黒）には、Ｓ（彩度）が５０より小さく、かつ、Ｌ（輝度）が２９以下の色（例えば、Ｈ：０、Ｓ：２０、Ｌ：１５）が描かれる。

図１２に示す例では、カラーチャートＣ１のサイズ（枠の領域を除く）は横７００×縦４００である。各領域の位置情報（座標）と、各領域に描いた固定色（値）とを含むカラーチャート情報テーブルを、カラーチャート情報保持部２４３に登録する。

図１３は、図１２のカラーチャートＣ１に対応する、カラーチャート情報テーブル２４３ａを示す図である。図１３に示すカラーチャート情報テーブル２４３ａでは、各領域の位置情報を左上座標と右下座標の２点の座標で規定している。

図１４は、実施の形態２に係る、色分類基準パラメータの設定変更処理を示すフローチャートである。撮像部１１は、カラーチャートＣ１が設置されたシーンを撮像する（Ｓ１０）。変換部１３３は、フレーム画像内の各画素のデータを、色分類基準パラメータを用いて色の種別を示すデータに変換する（Ｓ１２）。通信部１５は、単純化画像データをネットワーク４０を介して画像解析装置２０に送信する（Ｓ１４）。

画像解析装置２０の通信部２２は、撮像装置１０から送信された単純化画像データを受信する（Ｓ２０）。変更情報生成部２３５は、受信した単純化画像データを、カラーチャート情報保持部２４３に保持されたカラーチャートＣ１の定型パターンデータと比較照合する（Ｓ２１３）。パターン照合の結果、定型パターンデータと一致しない色データがあった場合（Ｓ２１３の不一致）、変更情報生成部２３５は、色分類基準パラメータを変更する。

以下、具体例を挙げて説明する。パターン照合前の準備作業として、変更情報生成部２３５は、撮像された画像内においてカラーチャートが映っている領域をエリア指定し、エリア指定した領域の単純化画像データを抽出する。次に変更情報生成部２３５は、抽出した単純化画像データの領域から複数の画素の値（色情報）を判断基準情報としてピックアップし、定型パターンデータの色情報と比較照合する。

定型パターンデータのどの色情報と照合するかは、単純化画像データ内の相対位置情報に基づき決定される。カラーチャートの左上を始点とした場合、始点から右方向に２／７、下方向に１／２のエリア内の画素の場合、定型パターンデータの色の値は黒（８）なので、黒（８）と一致するか照合する。比較照合する画素の値（色情報）のピックアップは、定型パターンデータ内の１０色の全てが比較照合できるように、各色のエリアから少なくとも１画素はピックアップする。

変更情報生成部２３５は、比較照合の結果、定型パターンデータと一致しない色データがあった場合（Ｓ２１３の不一致）、設定情報保持部２４２に保持される調整テーブルを参照して、色分類基準パラメータの変更量を決定する（Ｓ２１４）。

図１５は、調整テーブル２４２ｃの一例を示す図である。例えば、撮像装置１０が暗い場所を撮影している場合、単純化処理の結果、カラーチャートＣ１のグレーが黒（８）に変換され、カラーチャートＣ１の白がグレー（９）に変換される場合が発生する。この場合、白とグレーの閾値、及びグレーと黒の閾値を、調整テーブル２４２ｃに規定された調整量分（図１５では、１０％）、下げた輝度判断テーブル１４２に変更する。逆に、明るい環境で撮像装置１０が撮影している場合は、白とグレーの閾値、及びグレーと黒の閾値を調整テーブル２４２ｃに規定された調整量分、上げた輝度判断テーブル１４２に変更することとなる。

また、明るすぎる場所を撮影している場合、色味が薄くなってしまい、単純化処理の結果、カラーチャートＣ１の有色の領域が白（１０）に変換される場合が発生する。この場合、彩度の閾値を調整テーブル２４２ｃに規定された調整量（図１５では、３％）、下げる。

また単純化処理の結果、カラーチャートＣ１の領域１（赤）がオレンジ（２）に変換される場合がある。この場合、固定色（値）判断テーブルＡ１４１の７つの境界値を、調整テーブル２４２ｃに規定された調整量分（図１５では、１０°）、進める。なお、赤とオレンジとの境界値のみを進めてもよい。逆に、単純化処理の結果、カラーチャートＣ１の領域１（赤）がマゼンタ（７）に変換される場合がある。この場合、固定色（値）判断テーブルＡ１４１の７つの境界値を、調整テーブル２４２ｃに規定された調整量分、遅らせる。なお、マゼンタと赤との境界値のみを遅らせてもよい。

通信部２２は、変更情報生成部２３５により生成された色分類基準パラメータの設定変更情報をネットワーク４０を介して、対象となる撮像装置１０に送信する（Ｓ２１１）。撮像装置１０の通信部１５は、画像解析装置２０から色分類基準パラメータの設定変更情報を受信する（Ｓ１７）。設定変更部１３４は、受信した設定変更情報をもとに、固定色（値）判断テーブルＡ１４１、固定色（値）判断テーブルＢ１４２または彩度判断閾値保持部１４３の値を更新する（Ｓ１８）。撮影継続中（Ｓ１９のＮ）はステップＳ１０に遷移する。変換部１３３は、撮像部１１により撮像された画像データを、更新後の色分類基準パラメータをもとに単純化処理し（Ｓ１２）、通信部１５は、単純化画像データを画像解析装置２０に送信する（Ｓ１４）。

画像解析装置２０の通信部２２は、撮像装置１０から送信された単純化画像データを受信する（Ｓ２０）。変更情報生成部２３５は、受信した単純化画像データと、カラーチャートＣ１の定型パターンデータを再度、比較照合する（Ｓ２１３）。両者の色データが完全に一致する場合（Ｓ２１３のＹ）、変更情報生成部２３５は、対象となる撮像装置１０の色分類基準パラメータを、変更後の値に上書保存する（Ｓ２１２）。

以上説明したように実施の形態２によれば、実施の形態１と同様の効果を奏する。さらに色分類基準パラメータの設定変更を自動化することで、撮像装置１０ごとの調整レベルのバラツキを無くし、複数の撮像装置１０間における調整レベルの統一性を確保することができる。また複数の撮像装置１０の個別事情も、調整レベルに反映させることができる。

また実施の形態１のように、ユーザによる目視とマニュアル操作によるパラメータの調整が発生しない。従ってユーザの煩雑な作業を省くことができる。特に撮像装置１０の台数が多い場合、その効果が大きくなる。実施の形態２では、撮像装置１０によるカラーチャートの撮影が必須となるが、例えば、撮像装置１０の画角内の壁にカラーチャートを貼り付けておけば、ユーザが不在な期間を含む任意のタイミングで色分類基準パラメータの調整が可能になる。さらに撮像装置１０の近傍に日射計を設置し、当該日射計により検出される日射量が所定値以上変化したタイミングで、色分類基準パラメータの調整を実行してもよい。

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図１６は、変形例に係るカラーチャートＣ２の一例を示す図である。図１２では、１０種類の固定色を含む定型パターンで構成されたカラーチャートＣ１を示した。変形例では、２つのグラデーション領域を含むグラデーション・カラーチャートＣ２を使用する。このグラデーション・カラーチャートＣ２の色情報および位置情報は、画像解析装置２０のカラーチャート情報保持部２４３にカラーチャート情報として保持される。例えば、図１２、図１３のカラーチャートＣ１と同様にサイズを横７００×縦４００と定義する。グラデーション・カラーチャートＣ２は、第１グラデーション領域と第２グラデーション領域を有する。

第１グラデーション領域は黒、グレー、白の３色がグラデーション状に変化している領域である。第１グラデーション領域の彩度は０％で固定であり、色相も０°で固定である。輝度は、第１グラデーション領域の左辺（Ｘ座標０）から右辺（Ｘ座標６９９）に向けて、Ｘ座標の値に比例して０から１００に増加する。つまり、「輝度＝（１００／６９９）＊Ｘ座標」となる。第２グラデーション領域は赤、マゼンタ、青、シアン、緑、黄、オレンジの７色がグラデーション状に変化している領域である。第２グラデーション領域の輝度は５０％で固定である。色相は、第２グラデーション領域の左辺（Ｘ座標０）から右辺（Ｘ座標６９９）に向けて、Ｘ座標の値に比例して０から３６０に増加する。つまり、「色相＝（３６０／６９９）＊Ｘ座標」となる。彩度は、第２グラデーション領域の上辺（Ｙ座標２００）から下辺（Ｙ座標３９９）に向けて、Ｙ座標の値に比例して０から１００に増加する。つまり、「彩度＝（１００／１９９）＊（Ｙ座標−１９９）」となる。

変更情報生成部２３５は、撮像装置１０により撮像された画像内においてカラーチャートＣ２が映っている領域をエリア指定し、エリア指定した領域の単純化画像データを抽出する。次に変更情報生成部２３５は、抽出した単純化画像データの領域を走査し、画素の値（色情報）の切り替わり位置を特定する。具体的には、固定色（値）定義パラメータが、図５（ｂ）に示された値となっている場合、つまり黒（８）からグレー（９）の境界値が輝度３０％に定められている場合、左上の画素から走査を開始し、画素の値が黒（８）からグレー（９）に切り替わる画素のＸ座標は２０９（≒６９９＊（３０／１００））になるべきである。これに対して、切り替わり画素が左または右方向にずれている場合、変更情報生成部２３５は、そのずれを補償するための変更情報を生成する。例えば、右に２０ずれていた（Ｘ座標２２９）場合、設定情報保持部２４２から読み出した当該撮像装置１０の色分類基準パラメータの輝度判断テーブルの「黒（８）」の「輝度（％）範囲」の最大値の値に、（２０９／２２９）を乗じた値を、当該撮像装置１０の「黒（８）」の「輝度（％）範囲」の最大値の新しい値とする。これに合わせて、当該撮像装置１０の「グレー（９）」の「輝度（％）範囲」の最小値も変更する。他の境界についても同様に、変更情報生成部２３５は、カラーチャート情報に規定される切り替わり画素と、単純化画像データの切り替わり画素とのずれを検出し、そのずれを補償するための変更情報を生成する。変形例によれば、カラーチャートＣ２の１回の撮影で、色分類基準パラメータの調整を完了させることができる。

また上述の説明では、各画素を１０種類の固定色のいずれかに分類する例を示した。この点、１０種類未満または１０種類を超える固定色を用意してもよい。用意する固定色の数を８色以内に減らせば各画素のデータ量を３ビット以内に圧縮することができるが、画像解析の精度が低下する。一方、用意する固定色の数を増やせば画像解析の精度は上昇するが、各画素のデータ量が増加し、ネットワーク４０及び画像解析装置２０の負荷が上昇する。設計者は当該トレードオフ関係を考慮して、用意する固定色の数を決定することができる。

１ 画像解析システム、 １０ 撮像装置、 １１ 撮像部、 １２ 処理部、 １３ 制御部、 １３１ 圧縮符号化部、 １３２ 間引き部、 １３３ 変換部、 １３４ 設定変更部、 １４ 記憶部、 １４１ 固定色（値）判断テーブルＡ、 １４２ 固定色（値）判断テーブルＢ、 １４３ 彩度判断閾値保持部、 １５ 通信部、 ２０ 画像解析装置、 ２１ 処理部、 ２２ 通信部、 ２３ 制御部、 ２３１ 画像解析部、 ２３２ アラート生成部、 ２３３ 表示制御部、 ２３４ 操作受付部、 ２３５ 変更情報生成部、 ２４ 記憶部、 ２４１ 検出履歴保持部、 ２４２ 設定情報保持部、 ２４３ カラーチャート情報保持部、 ２５ コンソール部、 ２６ 表示部、 ２７ 操作部、 ３０ 画像保存装置、 ４０ ネットワーク。

Claims (6)

1. 撮像部と、
   前記撮像部で撮像した画像の各画素のデータを、所定の色分類基準パラメータを用いて色の種別を示すデータに変換する変換部と、
   前記変換部で変換した画像データをネットワーク経由で画像解析装置に送信する送信部と、
   前記画像解析装置から前記ネットワーク経由で、前記色分類基準パラメータの変更情報を受信する受信部と、
   前記受信部で受信した変更情報をもとに、前記色分類基準パラメータを変更する設定変更部と、
   を備える撮像装置。
2. 撮像装置により撮像された画像の各画素のデータが、所定の色分類基準パラメータを用いて色の種別を示すデータに変換された画像データを、前記撮像装置からネットワーク経由で受信する受信部と、
   前記受信部で受信した画像データを表示させる表示制御部と、
   前記所定の色分類基準パラメータに対するユーザが行った設定変更操作を受け付ける操作受付部と、
   前記操作受付部で受け付けた前記設定変更操作に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成部と、
   前記生成部で生成した変更情報を前記撮像装置に送信する送信部と、
   を備える設定装置。
3. 撮像装置により撮像された画像の各画素のデータが、所定の色分類基準パラメータを用いて色の種別を示すデータに変換された画像データを、前記撮像装置からネットワーク経由で受信する受信部と、
   前記受信部で受信した画像データを画像解析する画像解析部と、
   前記画像解析部の特性に基づき分類されている複数の固定色の色の範囲の情報である固定色定義情報に基づき描かれたカラーチャートの情報を保持するカラーチャート情報保持部と、
   前記撮像装置により撮像された画像が、前記カラーチャートが撮像された画像である場合、前記受信部で受信した画像データと前記カラーチャートの情報とに基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成部と、
   前記生成部で生成した変更情報を前記撮像装置に送信する送信部と、
   を備える画像解析装置。
4. 前記カラーチャートは、前記複数の固定色の色の範囲を含むグラデーションが描かれたカラーチャートであり、
   前記生成部は、前記撮像装置により撮像された画像が、前記カラーチャートが撮像された画像である場合、前記受信部で受信した画像データ、前記カラーチャートの情報及び前記固定色定義情報に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する、
   請求項３に記載の画像解析装置。
5. 撮像装置と画像解析装置がネットワークで接続された画像解析システムであって、
   前記撮像装置は、
   撮像部と、
   前記撮像部で撮像した画像の各画素のデータを、所定の色分類基準パラメータを用いて色の種別を示すデータに変換する変換部と、
   前記変換部で変換した画像データを前記ネットワーク経由で前記画像解析装置に送信する第１の送信部と、
   前記画像解析装置から前記ネットワーク経由で、前記色分類基準パラメータの変更情報を受信する第１の受信部と、
   前記第１の受信部で受信した変更情報をもとに、前記色分類基準パラメータを変更する設定変更部と、
   を含み、
   前記画像解析装置は、
   前記第１の送信部により送信された前記画像データを受信する第２の受信部と、
   前記第２の受信部で受信した画像データを画像解析する画像解析部と、
   前記第２の受信部で受信した画像データを表示させる表示制御部と、
   前記所定の色分類基準パラメータに対するユーザが行った設定変更操作を受け付ける操作受付部と、
   前記操作受付部で受け付けた前記設定変更操作に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成部と、
   前記生成部で生成した変更情報を前記ネットワーク経由で前記撮像装置に送信する第２の送信部と、
   を含む画像解析システム。
6. 撮像装置により撮像された画像の各画素のデータが、所定の色分類基準パラメータを用いて色の種別を示すデータに変換された画像データを、前記撮像装置からネットワーク経由で受信する受信ステップと、
   前記受信ステップで受信した画像データを表示させる表示制御ステップと、
   前記所定の色分類基準パラメータに対するユーザが行った設定変更操作を受け付ける操作受付ステップと、
   前記操作受付ステップで受け付けた前記設定変更操作に基づいて、前記色分類基準パラメータを変更するための変更情報を生成する生成ステップと、
   前記生成ステップで生成した変更情報を前記ネットワーク経由で前記撮像装置に送信する送信ステップと、
   を備える設定方法。

Images