以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る監視システム110の利用環境の一例を示す。監視システム110は、複数の撮像装置100a〜cと、伝送経路140と、表示装置175とを備える。表示装置175は、表示制御装置170と、記録装置172と、複数のモニタ180、181、182・・・とを有する。なお、図示していないが、撮像装置100a〜cは、複数の監視領域150、151、152・・・を撮像すべく、複数の監視領域150、151、152・・・のそれぞれに設けられる。以後、複数の監視領域150、151、152・・・のそれぞれに設けられる撮像装置100a〜cを撮像装置100と総称する。
撮像装置100は、監視領域150、151、152・・・を撮像した動画を、伝送経路140を通じて表示制御装置170に送信する。表示制御装置170は、撮像装置100から受け取った動画を、モニタ180、181、182・・・に表示させる。モニタ180、181、182・・・は、それぞれ監視領域150、151、152・・・の動画を表示する。
撮像装置100は、モニタ180、181、182・・・が表示することができるモニタ解像度より高い解像度のフレーム画像を、モニタ180、181、182・・・が表示することができる動画の表示レートであるモニタ表示レートより高いフレームレートで撮像することにより、監視領域151の動画を撮像する。そして、撮像装置100は、撮像した動画に人物の顔が検出されていない間、撮像した動画をモニタ解像度以下の解像度のフレーム画像がモニタ表示レート以下のレートで表示される動画に変換して、表示制御装置170に送信し続ける。表示制御装置170は、撮像装置100から受信した動画を、そのままモニタ180、181、182・・・に表示させる。
そして、撮像装置100は、動画に人物の顔が検出されると、撮像した動画に含まれるモニタ解像度より高い解像度のフレーム画像内の人物の顔画像を、電子透かしによって送信する動画に埋め込む。表示制御装置170は、撮像装置100から受け取った動画に電子透かしとして埋め込まれた顔画像を抽出して、記録装置172に記録する。表示制御装置170は、撮像装置100から受信した動画に、高解像度の顔画像が含まれる旨の表示を重畳してモニタ180、181、182に表示させる。そして、表示制御装置170は、顔画像を表示させる旨の指示を監視者から受け取ると、記録装置172に記録された顔画像を拡大してモニタ180、181、182・・・に表示させる。
以上説明したように、監視システム110によると、撮像装置100は、モニタ解像度及びモニタ表示レートより高解像度かつ高フレームレートで撮像した動画を、モニタ解像度、モニタ表示レートの動画に変換して、表示制御装置170に送信する。そして撮像装置100は、人物の顔が検出されたときには当該人物の顔画像を、電子透かし技術によって送信する動画に埋め込む。したがって、モニタ180、181、182・・・が撮像装置100から送信された動画をそのまま表示しても、監視者は違和感なく動画を監視することができる。また、表示制御装置170は、顔画像を抽出して記録装置172に記録しておくことによって、監視者は後に高解像度の顔画像をモニタ180、181、182で確認することができる。したがって、監視システム110によると、解像度及びフレームレートの高い撮像装置100を新たに導入した場合でも、既存のモニタ180、181、182及び伝送経路140をそのまま使用することができるので、ユーザは撮影能力の高い撮像装置100を導入し易くなる。
なお、監視領域150、151、152・・・は、異なる建物内の空間であってよいし、同じ建物内の異なる空間であってもよい。例えば、監視領域150、151、152・・・は、店舗内の陳列棚の間の通路であってよい。また、監視領域150、151、152は、建物内の空間に限らず、建物によって囲われていない開放された空間であってよいことは言うまでもない。
図2は、撮像装置100のブロック構成の一例を示す。撮像装置100は、撮像部200、出力画像生成部205、オブジェクト領域特定部220、大きさ算出部230、適合判断部240、条件格納部250、埋め込み画像取得部290、埋め込み画像撮像部295、出力部270、周波数成分算出部280、及び埋め込み領域特定部285を備える。出力画像生成部205は、低データ量画像生成部210を有する。埋め込み画像取得部290は、埋め込み画像生成部260及び差分画像生成部265を有する。
撮像部200は、画像を撮像する。そして、出力画像生成部205は、撮像部200が撮像した画像から出力画像を生成する。具体的には、低データ量画像生成部210は、撮像部200が撮像した画像のデータ量を低減して、出力画像の一例としての低データ量画像を生成する。より具体的には、低データ量画像生成部210は、撮像部200が撮像した画像のデータ量を低減して、予め定められたデータ量以下の低データ量画像を生成する。なお、本実施形態におけるデータ量は、画像情報としての情報量を意味する。
そして、適合判断部240は、撮像部200が撮像した画像に、予め定められた条件に適合するオブジェクトが存在するか否かを判断する。そして、オブジェクト領域特定部220は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、出力画像における当該オブジェクトの画像のデータ量より大きいデータ量を有する当該オブジェクトが示す被写体の画像を、出力画像に埋め込んで出力する。具体的には、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、撮像部200が撮像した画像におけるオブジェクト領域の画像を、低データ量画像生成部210が生成した低データ量画像に埋め込んで出力する。
なお、差分画像生成部265は、撮像部200が撮像した画像におけるオブジェクト領域の画像と、低データ量画像生成部210が生成した低データ量画像におけるオブジェクト領域の画像との間の差分画像を生成する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、差分画像生成部が生成した差分画像を、低データ量画像生成部210が生成した低データ量画像に埋め込んで出力する。
具体的には、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、低データ量画像生成部210が生成した低データ量画像に、閲覧者が不可視な形でオブジェクト領域の画像を埋め込んで出力する。より具体的には、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を、低データ量画像生成部210が生成した低データ量画像に電子透かしにより埋め込んで出力する。このため、撮像装置100が出力する画像をそのまま表示しても、閲覧者は違和感なく画像を閲覧することができる。一方で、低データ量画像に埋め込まれたオブジェクト領域の画像を、画像処理等によって抽出すれば、オブジェクト領域の画像を監視者に提示することができる。
具体的には、低データ量画像生成部210は、撮像部200が撮像した画像の画質を低減して低画質画像を生成する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、撮像部200が撮像した画像におけるオブジェクト領域の画像を、低データ量画像生成部210が生成した低画質画像に埋め込んで出力する。
より具体的には、低データ量画像生成部210は、撮像部200が撮像した画像の解像度を低減して低解像度画像を生成する。例えば低データ量画像生成部210は、撮像部200が撮像した画像から画素を間引くことによって低解像度画像を生成してよい。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、撮像部200が撮像した画像におけるオブジェクト領域の画像を、低データ量画像生成部210が生成した低解像度画像に埋め込んで出力する。
また、低データ量画像生成部210は、撮像部200が撮像した画像の階調を低減して低階調画像を生成してよい。この場合、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、撮像部200が撮像した画像におけるオブジェクト領域の画像を、低データ量画像生成部210が生成した低階調画像に埋め込んで出力する。
なお、オブジェクト領域特定部220は、適合判断部240が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、条件に適合する複数のオブジェクトをそれぞれ含む複数のオブジェクト領域を特定してよい。そして、埋め込み画像生成部260は、撮像部200が撮像した画像における複数のオブジェクト領域の画像のそれぞれを、複数のオブジェクト領域のそれぞれに含まれるオブジェクトの特徴の種類に応じた画質の画像に変換することによって、オブジェクトの特徴の種類に応じて画質が異なる複数の画像を生成してよい。そして、出力部270は、適合判断部240が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、埋め込み画像生成部260が生成した複数の画像を、低データ量画像生成部210が生成した低データ量画像に埋め込んで出力してよい。
なお、差分画像生成部265は、埋め込み画像生成部260が生成した複数の画像のそれぞれと、低データ量画像生成部210が生成した低データ量画像におけるオブジェクト領域の画像との間の差分画像を生成してよい。この場合、出力部270は、適合判断部240が条件に適合する複数のオブジェクトが存在する旨を判断した場合に、差分画像生成部が生成した複数の差分画像を、低データ量画像生成部210が生成した低データ量画像に埋め込んで出力してよい。
なお、撮像部200は動画を撮像してよい。この場合、低データ量画像生成部210は、撮像部200が撮像した動画の表示レートを低減して低表示レート動画を生成する。そして、適合判断部240は、予め定められた条件に適合するオブジェクトが撮像部200が撮像した動画に存在するか否かを判断する。そして、オブジェクト領域特定部220は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、撮像部200が撮像した動画におけるオブジェクト領域の動画を、低データ量画像生成部210が生成した低表示レート動画に埋め込んで出力する。
具体的には、撮像部200は複数の画像を連続して撮像することによって、複数の画像を含む動画を撮像する。そして、低データ量画像生成部210は、撮像部200が撮像した動画に含まれる複数の画像を間引くことによって、撮像部200が撮像した動画の表示レートを低減して低表示レート動画を生成する。そして、適合判断部240は、予め定められた条件に適合するオブジェクトが、低データ量画像生成部210が間引いた画像に存在するか否かを判断する。そして、オブジェクト領域特定部220は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、低データ量画像生成部210が間引いた画像におけるオブジェクト領域の領域画像を、低データ量画像生成部210が生成した低表示レート動画に含まれる画像に埋め込んで出力する。
なお、周波数成分算出部280は、撮像部200が撮像した画像の複数の領域のそれぞれにおける空間周波数成分を算出する。そして、埋め込み領域特定部285は、周波数成分算出部280が算出した空間周波数成分に基づいて、撮像部200が撮像した画像の複数の領域のうち、予め定められた周波数領域において予め定められた値より低い周波数成分を持つ領域を、埋め込み領域として特定する。具体的には、埋め込み領域特定部285は、周波数成分算出部280が算出した空間周波数成分に基づいて、撮像部200が撮像した画像の複数の領域のうち、予め定められた周波数より高い周波数領域において予め定められた値より低い周波数成分を持つ領域を、埋め込み領域として特定する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を、低データ量画像生成部210が生成した低データ量画像における埋め込み領域に、電子透かしにより埋め込んで出力する。
なお、撮像部200は、出力部270が出力する出力先に単位時間あたりに出力することが許容される許容データ量より大きいデータ量の画像を連続的に撮像してよい。例えば、撮像部200は、伝送経路140が単位時間あたりに伝送することが許容される許容データ量より大きいデータ量の画像を連続的に撮像してよい。他にも、撮像部200は、モニタ180〜モニタ182が単位時間あたりに処理することができるデータ量より大きいデータ量の画像を、単位時間当たりに連続的に撮像してよい。この場合、低データ量画像生成部210は、撮像部200が撮像した画像のデータ量を低減して、許容データ量より小さいデータ量の低データ量画像を生成する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、オブジェクト領域の画像を、低データ量画像生成部210が生成した低データ量画像に埋め込んで出力し、適合判断部240が条件に適合するオブジェクトが存在しない旨を判断した場合に、低データ量画像生成部210が生成した低データ量画像を出力する。
なお、大きさ算出部230は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、当該オブジェクトの大きさを算出する。そして、オブジェクト領域特定部220は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断し、かつ、大きさ算出部230が算出した大きさが予め定められた値より大きい場合に、条件に適合するオブジェクトを含むオブジェクト領域を特定する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、大きさ算出部230が算出した大きさが予め定められた値より大きいことを条件として、撮像部200が撮像した画像におけるオブジェクト領域の画像を、低データ量画像生成部210が生成した低データ量画像に埋め込んで出力する。このため、監視システム110によると、低解像度の画像でも十分に監視することができる大きさでオブジェクトが写っている場合にはそのオブジェクトを埋め込まずに出力するので、必要以上に撮像装置100の処理量が増大してしまうことを未然に防ぐことができる。
なお、撮像部200は、複数の画像を連続して撮像してよい。この場合、低データ量画像生成部210は、撮像部200が撮像した複数の画像のそれぞれのデータ量を低減して複数の低データ量画像を生成する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトが存在する旨が判断された画像から生成された低データ量画像又は当該画像が撮像された後に撮像部200が撮像した画像から生成された低データ量画像に、低データ量画像生成部210が間引いた画像におけるオブジェクト領域の画像を埋め込んで出力する。
なお、埋め込み画像生成部260は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、撮像部200が撮像した画像におけるオブジェクト領域の画像を複数の部分領域に分割して複数の埋め込み画像を生成する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、埋め込み画像生成部260が生成した複数の埋め込み画像を、低データ量画像生成部210が生成した複数の低データ量画像に順に埋め込んで出力する。このとき、埋め込み画像生成部260は、出力部270が出力することが許容される許容データ量より出力部270が出力する画像のデータ量が小さくなるよう、オブジェクト領域の画像を複数の部分領域に分割して複数の埋め込み画像を生成してよい。
なお、条件格納部250は、適合するオブジェクトの抽出条件を予め格納する。そして、適合判断部240は、条件格納部250が格納している抽出条件に適合するオブジェクトが撮像部200が撮像した画像に存在するか否かを判断する。具体的には、条件格納部250は、適合するオブジェクトが有するべき、予め定められたオブジェクトとの間の形状の一致度の下限値を格納している。そして、適合判断部240は、予め定められたオブジェクトとの間に形状の一致度の下限値以上の一致度を有するオブジェクトが、撮像部200が撮像した画像に存在するか否かを判断する。
他にも、条件格納部250は、適合するオブジェクトが有するべき、予め定められた色範囲に含まれる色の面積の下限値を格納してよい。この場合、適合判断部240は、予め定められた色範囲に含まれる色の面積が、条件格納部250が格納している色の面積の下限値以上であるオブジェクトが、撮像部200が撮像した画像に存在するか否かを判断する。また、条件格納部250は、適合するオブジェクトが有するべき動き量の下限値を格納してよい。この場合、適合判断部240は、動き量の下限値以上の動き量を持つオブジェクトが、撮像部200が撮像した画像に存在するか否かを判断する。
なお、適合判断部240は、撮像部200が撮像した画像が予め定められた条件に適合するか否かを判断してよい。そして、出力部270は、撮像部200が撮像した画像が条件に適合しない旨を適合判断部240が判断した場合に、撮像部200が撮像した画像を、撮像部200が撮像した画像が条件に適合する旨を適合判断部240が判断した場合より低画質の画像に変換して出力してもよい。
なお、埋め込み画像取得部290は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトの画像のデータ量より大きいデータ量を有する、条件に適合するオブジェクトが示す被写体の画像を取得する。そして、出力部270は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、埋め込み画像取得部290が取得した画像を、撮像部200が撮像した画像に埋め込んで出力してもよい。
例えば、埋め込み画像取得部290は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトの画像の画質より高い画質を有する、条件に適合するオブジェクトが示す被写体の画像を取得する。
具体的には、埋め込み画像撮像部295は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトの画像のデータ量より大きいデータ量を有する、条件に適合するオブジェクトが示す被写体の画像を撮像する。例えば、埋め込み画像撮像部295は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、条件に適合するオブジェクトの画像の画質より高い画質を有する、条件に適合するオブジェクトが示す被写体を撮像してよい。そして、埋め込み画像取得部290は、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、埋め込み画像撮像部295が撮像した画像を取得する。
より具体的には、埋め込み画像撮像部295は、撮像部200より狭角かつ高解像度で撮像領域を撮像することができる。そして、適合判断部240が条件に適合するオブジェクトが存在する旨を判断した場合に、埋め込み画像撮像部295は、当該オブジェクトが示す被写体に撮像方向を向けて当該被写体をズームアップして撮像することによって、撮像部200が撮像したオブジェクト領域の画像の解像度より高解像度で当該被写体を撮像する。そして、出力部270は、撮像部200が撮像した画像に、埋め込み画像撮像部295が撮像した画像を埋め込んで出力する。なお、撮像部200はパン、チルト、及びズームアップ撮影することができない固定カメラであってよく、埋め込み画像撮像部295は、パン、チルト、及びズームアップ撮影が可能なPTZカメラであってよい。
なお、出力部270が埋め込む具体的な埋め込み処理としては、上記のように、電子透かし技術を利用して埋め込むことができる。また、出力部270は、上記のように埋め込み画像撮像部295が撮像した画像を複数の埋め込み画像に分割して、分割した複数の埋め込み画像を、撮像部200が撮像した複数の画像に順に埋め込んでもよい。また、埋め込み画像撮像部295は、監視領域の動画を、撮像部200より高いフレームレートで撮像してもよい。なお、本実施形態における監視システム110は、この発明における撮像システムとして機能してよい。
以上説明したように、撮像装置100によると、撮像装置100が撮像する高画質の画像を扱うことができない表示装置175又は伝送経路を使用しつつ、高画質の画像を提供することができる。なお、本実施形態におけるオブジェクトとは、画像に含まれる領域を含む。
図3は、撮像装置100の動作フローの一例を示す。撮像部200は、モニタ180〜モニタ182のモニタ解像度より高解像度のフレーム画像を、モニタ180〜モニタ182のモニタ表示レートより高いフレームレートで連続して撮像することによって、監視領域の動画を撮像する(S302)。なお、低データ量画像生成部210は、撮像部200が撮像する度に、初期値が0である間引きカウンタをインクリメントしていく。
そして、適合判断部240は、撮像部200が撮像したフレーム画像内に、人物の顔に適合するオブジェクトが存在するか否かを判断する(S304)。例えば、適合判断部240は、エッジ強調等によって抽出されたオブジェクトの輪郭と、予め定められた人物の顔のパターンとの間の形状の一致度を算出する。例えば、適合判断部240は、オブジェクトの輪郭と、当該オブジェクトの輪郭と同じ面積の人物の顔のパターンとが一致する部分の面積を、オブジェクトの輪郭の面積で除した値を、形状の一致度として算出する。そして、適合判断部240は、算出した形状の一致度が、条件格納部250が格納している形状の一致度の下限値以上である場合に、人物の顔に適合するオブジェクトが存在すると判断する。
S304において、適合判断部240が人物の顔に適合するオブジェクトが存在する旨を判断した場合には、大きさ算出部230は当該オブジェクトの面積を算出する。そして、オブジェクト領域特定部220は、人物の顔に適合するオブジェクトの面積が予め定められた基準値より大きいか否かを判断する(S306)。大きさ算出部230が算出した面積が予め定められた基準値より小さい場合には、オブジェクト領域特定部220は人物の顔に適合するオブジェクトを含む所定の大きさの顔領域を特定する(S308)。なお、顔領域は、この発明におけるオブジェクト領域の一例である。そして、埋め込み画像生成部260は、撮像部200が撮像した画像からS308で特定された顔領域を切り出して、埋め込み画像を生成し、生成した埋め込み画像を埋め込み画像テーブルに記憶する(S310)。
そして、低データ量画像生成部210は、間引きカウンタの値が予め設定された間引き数に達したか否かを判断する(S312)。S312において間引きカウンタが間引き数に達していない場合には、撮像装置100はS302に処理を移行させる。S312において間引きカウンタが間引き数に達している場合には、低データ量画像生成部210は、撮像部200が撮像した画像から画素を間引くことによって、低解像度画像を生成する(S314)。このとき、低データ量画像生成部210は、モニタ解像度以下の解像度を持つ低解像度画像を生成する。
そして、出力部270は、埋め込み画像テーブルに埋め込み画像が存在するか否かを判断する(S316)。具体的には、埋め込み画像が存在すると判断された場合には、出力部270は、S314において低データ量画像生成部210が生成した低解像度画像に、埋め込み画像生成部260が生成して記憶している埋め込み画像を電子透かしとして埋め込む(S318)。このとき、埋め込み画像生成部260は、当該埋め込み画像を、埋め込み画像テーブルから外す。そして、出力部270は、埋め込み画像が埋め込まれた低解像度画像から出力する動画を生成する(S320)。なお、S316において埋め込み画像が存在しないと判断された場合には、出力部270は、S314において生成された低解像度画像から出力する動画を生成する(S320)。
そして、撮像装置100は、撮影終了指示を受け付けたか否かを判断する(S322)。S322において撮影終了指示を受け付けていない場合には、撮像装置100はS302に処理を移行し、S322において撮影終了指示を受け付けた場合には処理を終了する。なお、S304において適合判断部240が人物の顔に適合するオブジェクトが存在しない旨が判断された場合、又はS306においてオブジェクトの面積が予め定められた値より大きい旨が判断された場合には、撮像装置100はS312の判断に処理を移行させる。
以上説明したように、撮像装置100は、撮像部200が撮像した画像をモニタ解像度にまで低減したフレーム画像を含む動画を生成して表示制御装置170に出力する。そして、撮像装置100は、顔が検出されると、検出された顔の画像を、出力する動画に含まれるフレーム画像に電子透かしとして埋め込む。撮像装置100が出力するフレーム画像の解像度はモニタ解像度であるので、モニタ180〜モニタ182は、撮像装置100から送信された動画をそのまま表示することができる。また、出力部270は、人物の顔を監視者に不可視な形で埋め込むので、モニタ180〜モニタ182が撮像装置100から送信された動画をそのまま表示しても、監視者は従来どおり違和感なく監視することができる。
なお、表示制御装置170は、動画から顔画像を抽出して記録装置172に記録してよい。そして、表示制御装置170は、顔画像が存在する旨を示す情報を重畳して表示させてよい。そして、監視者の指示に応じて、記録装置172から顔画像を読み出して、モニタ180〜モニタ182に拡大して表示させてよい。表示制御装置170の動作については、図9以降においてより詳細に説明する。
図4は、出力部270が出力する動画に含まれるフレーム画像の一例を時系列で示す。撮像部200は、時刻t401〜t409において所定の時間間隔で連続してフレーム画像411〜フレーム画像419を撮像する。低データ量画像生成部210は、フレーム画像411〜フレーム画像419のうち、所定数毎に選択されたフレーム画像から低解像度画像を生成する。例えば、低データ量画像生成部210は、時刻t401、t405、t409で撮像したフレーム画像411、フレーム画像415、フレーム画像419の画素を間引いたり、複数の画素を平均化したりすることによって、低解像度画像421、低解像度画像425、及び低解像度画像429を生成する。
そして、人物の顔がフレーム画像414に存在する旨を適合判断部240が判断すると、埋め込み画像生成部260は、人物の顔を含む顔画像430を2分割した埋め込み画像431及び埋め込み画像432を生成する。埋め込み画像生成部260は、低解像度画像に埋め込むことができる大きさに顔画像430を分割する。なお、分割数を決定する方法の一例については後に説明する。そして、出力部270は、埋め込み画像431及び埋め込み画像432を、それぞれ低解像度画像425及び低解像度画像429に電子透かしにより埋め込む。そして、出力部270は、低解像度画像421、低解像度画像425、および低解像度画像429を用いて、動画を生成する。例えば、出力部270は、低解像度画像421、低解像度画像425、および低解像度画像429をMPEG符号化して動画を生成してよい。
なお、差分画像生成部265は、埋め込み画像431と、低解像度画像425において埋め込み画像431に対応する領域である対応領域の画像との間の差分画像を生成する。なお、対応領域は、低解像度画像425において埋め込み画像431の画像領域が相当する領域であってよい。また、対応領域は、埋め込み画像431に含まれるオブジェクトを含む低解像度画像425の領域であってよい。本図の例でいうと、対応領域は、低解像度画像425における人物の顔領域であってよい。例えば、差分画像生成部265は、埋め込み画像431と、対応領域の画像を埋め込み画像431と同じ画素数の画像に変換して得られた拡大画像との間の差分画像を生成してよい。なお、差分画像生成部265は、対応領域の画像の画素値を補間することによって、埋め込み画像431と同じ解像度の拡大画像を生成してよい。
そして、出力部270は、差分画像生成部265が生成した差分画像を低画質画像の一例である低解像度画像425に埋め込んで出力する。なお、上記の説明では埋め込み画像431に関連する差分画像を低解像度画像425に埋め込む場合の各構成要素の動作を説明したが、同様の動作によって、埋め込み画像432に関連する差分画像を低解像度画像429に埋め込むことができる。差分画像は、埋め込み画像432に比べると低周波成分が著しく低減されているので、埋め込み画像432に比べてデータ量を著しく小さい。したがって、差分画像を低解像度画像に埋め込むことで、埋め込み画像432そのものを埋め込む場合に比べて低解像度画像425のデータ量の増加量を著しく小さくすることができる。
なお、出力部270は、差分画像を低解像度画像425に埋め込んだ場合には、対応領域を示す情報を生成して、生成した情報を低解像度画像425に関連づけて出力してよい。なお、出力部270は、埋め込み画像又は差分画像を、低解像度画像425にタグ付け等により関連づけて出力してもよい。
図5は、出力部270が出力する動画に含まれるフレーム画像の他の一例を時系列で示す。なお、本図で説明するフレーム画像は、図4に関連して説明した人物の頭部に加えて、人物の体部も埋め込まれている。本図に例示したフレーム画像を生成する場合における撮像装置100の各構成要素の動作のうち、人物の体部を埋め込む動作以外の動作は図4に関連して説明した動作と略同一であるので、その相違点を除いて説明を省略する。
オブジェクト領域特定部220は、人物の顔の領域の他に、条件格納部250が格納している条件に適合するオブジェクトとして、人物の体部領域440をフレーム画像414から特定する。そして、埋め込み画像生成部260は、人物の体部領域440の画像の画素を間引くことによって、解像度を所定量低下させた低解像度画像450を生成する。なお、画素を間引く数の割合は、オブジェクトの種類に対応づけて予め定められてよい。例えば、人物の頭部を示すオブジェクトの領域に対しては画素を間引かない旨が予め定められ、人物の体部を示すオブジェクトの領域に対しては画素ピッチが約2/3になるよう画素を間引く旨が予め定められてよい。
埋め込み画像生成部260は、生成した人物の体部領域440の画像を分割することによって埋め込み画像451及び埋め込み画像452を生成する。そして出力部270は、埋め込み画像451及び埋め込み画像452を、それぞれ低解像度画像425及び低解像度画像429に埋め込む。なお、埋め込み領域特定部285は、低解像度画像において埋め込み画像同士が重複しないよう、画像を埋め込むべき埋め込み領域を選択することが望ましい。また、埋め込み領域特定部285は、オブジェクト領域特定部220が特定したいずれのオブジェクトの領域とも重ならないよう、画像を埋め込むべき埋め込み領域を選択することが望ましい。
また、図4に関連して説明したように、差分画像生成部265は、埋め込み画像451及び埋め込み画像452についても同様に、低解像度画像における対応領域の画像との間の差分画像を生成してよい。そして、出力部270は、生成した差分画像を低解像度画像に埋め込んで出力してよい。
図6は、出力部270が埋め込み画像を埋め込む方法の一例を示す。出力部270は、第1のピクセルの輝度値より、第1のピクセルに隣接する第2のピクセルの輝度値を大きくすることによって埋め込み画像データが有するビット値1を埋め込み、第1のピクセルの輝度値より第2のピクセルの輝度値を小さくすることによってビット値0を埋め込む。また、出力部270は、複数の色成分のそれぞれの強度を示す複数の色成分の輝度値のそれぞれについて、第1のピクセルの強度値より第2のピクセルの輝度値を大きくすることによって埋め込み画像データが有するビット値1を埋め込み、第1のピクセルの輝度値より第2のピクセルの輝度値を小さくすることによってビット値0を埋め込んでよい。これにより、出力部270は、複数の色成分のそれぞれについて、2ピクセルあたり埋め込み画像の1ビットを埋め込むことができる。
なお、埋め込み領域特定部285は、高周波成分の少ない部分領域を埋め込み領域として特定し、出力部270は埋め込み領域特定部285が特定した埋め込み領域に埋め込み画像を埋め込む。具体的には、周波数成分算出部280は、低解像度画像421、低解像度画像425、429における複数の部分領域毎に空間周波数成分を算出する。そして、埋め込み領域特定部285は、予め定められた周波数以上の空間周波数領域において、空間周波数成分が予め定められた値以下である部分領域を、埋め込み領域として特定する。このように、埋め込み領域特定部285は、低い空間周波数を持つ領域を埋め込み領域として特定するので、例えば隣接するピクセルの輝度値を変えることによる画質の劣化量を低減することができる。
図7は、出力部270が埋め込み画像を埋め込む方法の他の一例を示す。出力部270は、複数のフレーム画像をMPEG符号化により符号化して送信する場合に、埋め込み画像データのビット値を、MPEG符号化の過程で算出されるブロック(輝度ブロック又は色差ブロック)のDCT係数に埋め込む。例えば、出力部270は、低解像度画像の各ブロックのY、Cr、Cb成分についてDCT変換して得られたDCT係数に、埋め込み画像データのビット値を埋め込む。
例えば、出力部270は、算出されたDCT係数に最も近い偶数にDCT係数を変換することによって、埋め込み画像データが有するビット値0を埋め込み、算出されたDCT係数に最も近い奇数にDCT係数を変換することによって埋め込み画像データが有するビット値1を埋め込む。出力部270は、ブロック内の全てのDCT係数に埋め込み画像データを埋め込むことができるが、予め定められた周波数以下の低周波成分を示すDCT係数に埋め込み画像データを埋め込んでもよい。埋め込む周波数領域に応じて、ブロック内に埋め込むことができるビット数が定まる。
このように、出力部270は、出力するフレーム画像の周波数領域に、埋め込み画像データのビット値を埋め込むことができる。その他にも、出力部270は、1ピクセルの輝度値を示すビット列の下位ビットに、埋め込み画像データのビット値を直接埋め込む等、様々な埋め込み方法を用いることができる。また、埋め込み画像生成部260は、埋め込み領域特定部285が特定した埋め込み領域のピクセル数に基づいて、埋め込み領域に埋め込むことができる画像のピクセル数を算出し、算出したピクセル数、出力部270が1ピクセル当たりに埋め込むことができるビット数、及び顔画像430を表すビット数とに基づいて、顔画像430の分割数を決定する。
図8は、条件格納部250が格納している条件の一例を示す。条件格納部250は、人物の面積、オブジェクトの動き速さ、変化領域の面積、特定色の面積、基準オブジェクトとの間の形状の一致度、及び基準方向との間の移動方向の一致度のそれぞれについて、下限値(S1、V1、Sα、Sβ、sγ、md)を格納している。そして、適合判断部240は、撮像装置100が撮像したフレーム画像において、条件格納部250が格納している下限値以上の人物の面積、オブジェクトの動く速さ、変化領域の面積、特定色の面積、基準オブジェクトとの間の形状の一致度、又は基準方向との間の移動方向の一致度を有するオブジェクトが検出された場合に、当該オブジェクト又は当該フレーム画像は条件格納部250が格納している条件に適合すると判断する。
なお、条件格納部250は、撮像部200が撮像した複数のフレーム画像の間で、予め定められた値以上変化した画素値を持つ画素の数の下限値を、変化領域の面積の下限値として格納してよい。また、条件格納部250は、フレーム画像の全画素数に対する、予め定められた値以上変化した画素値を持つ画素数の比の下限値を、変化領域の面積の下限値として格納してもよい。なお、画素値とは輝度値であってよい。
また、条件格納部250は、複数のフレーム画像に含まれる、予め定められた色範囲に含まれる色を有する画素の数の下限値を、特定色の面積の下限値として格納してよい。また、条件格納部250は、フレーム画像の全画素数に対する、予め定められた色範囲に含まれる色を有する画素の数の比の下限値を、特定色の面積の下限値として格納してもよい。
また、条件格納部250は、フレーム画像に含まれるオブジェクトの輪郭が同じ面積を有する予め定められた基準オブジェクトと重なり合う部分の面積の下限値を、基準オブジェクトとの間の形状の一致度の下限値として格納してよい。また、条件格納部250は、フレーム画像に含まれるオブジェクトの輪郭が同じ面積を有する予め定められた基準オブジェクトと重なり合う部分の面積の、オブジェクトの面積に対する比の下限値を、基準オブジェクトとの間の形状の一致度の下限値として格納してもよい。
また、条件格納部250は、フレーム画像に含まれるオブジェクトの動き方向と予め定められた基準方向との間のなす角度に反比例する指標値の下限値を、基準方向と移動方向の一致度の下限値として格納してよい。なお基準方向とは、フレーム画像上において予め定められた方向であってよく、実空間において予め定められた方向であってもよい。なお、条件格納部250は、フレーム画像又は平均化画像に含まれるオブジェクトが示す被写体が動く方向と当該被写体の位置から撮像部200に向かう方向との間のなす角度に反比例する指標値の下限値を、基準方向と移動方向の一致度の下限値として格納してよい。
このように、条件格納部250が、予め定められた特定の色領域に含まれる色を有するオブジェクトであったり、複数のフレーム間において動くオブジェクトであったり、複数のフレーム間において変化があった領域を抽出する抽出条件を格納しているので、撮像装置100は、監視対象として望ましいオブジェクトを抽出することができる。
図9は、表示装置175のブロック構成の一例を示す。表示装置175は、画像取得部700、画質低減部710、画質判断部740、画像保持部750、高画質領域特定部760、表示部770、表示制御部780、及び指示入力部790を備える。なお、モニタ180、181、182・・・は表示部770の一例であり、記録装置172は画像保持部750の一例である。
画像取得部700は画像を取得する。具体的には、出力部270が出力した画像を取得する。そして、画質判断部740は、画像取得部700が取得した画像の画質が予め定められた画質より高いか否かを判断する。そして、画質低減部710は、画像取得部700が取得した画像の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を予め定められた画質以下の画質に低減する。そして、表示部770は、画像取得部700が取得した画像の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、画質低減部710が画質を低減した画像を表示し、画像取得部700が取得した画像の画質が予め定められた画質以下である旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を表示する。
そして、表示制御部780は、画像取得部700が取得した画像の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、画質低減部710が画質を低減した画像を表示部770が表示している状態で、画像取得部700が予め定められた画質より高い画質の画像を取得した旨を示す情報を表示部770に表示させる。具体的には、表示制御部780は、画像取得部700が取得した画像の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、表示部770が表示している画質低減部710が画質を低減した画像に重畳して、画像取得部700が予め定められた画質より高い画質の画像を取得した旨を示す文字を表示部770に表示させる。例えば、表示制御部780は、画像取得部700が取得した画像の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、表示部770が表示している画質低減部710が画質を低減した画像に重畳して、画質の高さを示す用語を含む文字を表示部770に表示させてよい。
他にも、表示制御部780は、画像取得部700が取得した画像の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、表示部770が表示している画質低減部710が画質を低減した画像に重畳して、画像取得部700が予め定められた画質より高い画質の画像を取得した旨を示すマークを表示部770に表示させてよい。
なお、画質判断部740は、画像取得部700が取得した画像の画質が表示部770が表示することができる画質より高いか否かを判断してよい。この場合、画質低減部710は、画像取得部700が取得した画像の画質が表示部770が表示することができる画質より高い旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を表示部770が表示することができる画質以下の画質に低減する。そして、表示部770は、画像取得部700が取得した画像の画質が表示部770が表示することができる画質より高い旨を画質判断部740が判断した場合に、画質低減部710が画質を低減した画像を表示し、画像取得部700が取得した画像の画質が表示部770が表示することができる画質以下である旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を表示する。そして、表示制御部780は、画像取得部700が取得した画像の画質が表示部770が表示することができる画質より高い旨を画質判断部740が判断した場合に、画質低減部710が画質を低減した画像を表示部770が表示している状態で、画像取得部700が表示部770が表示することができる画質より高い画質の画像を取得した旨を示す情報を表示部770に表示させる。
他にも、画質判断部740は、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度より高いか否かを判断する。そして、画質低減部710は、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度より高い旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を表示部770が表示することができる解像度以下の解像度に低減する。そして、表示部770は、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度より高い旨を画質判断部740が判断した場合に、画質低減部710が解像度を低減した画像を表示し、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度以下である旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を表示する。そして、表示制御部780は、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度より高い旨を画質判断部740が判断した場合に、画質低減部710が解像度を低減した画像を表示部770が表示している状態で、画像取得部700が表示部770が表示することができる解像度より高い解像度の画像を取得した旨を示す情報を表示部770に表示させる。
また、画像保持部750は、画像取得部700が取得した画像の解像度が予め定められた解像度より高い旨を画質判断部740が判断した場合に、画像取得部700が取得した画像を保持する。そして、指示入力部790は、画像保持部750が保持する画像を表示する旨の指示をユーザから受け付ける。そして、表示制御部780は、画像保持部750が保持する画像を表示する旨の指示を指示入力部790がユーザから受け付けた場合に、画像保持部750が保持している画像の少なくとも一部の部分領域を拡大して、表示部770が表示することができる解像度で部分領域の画像を表示部770に表示させる。
また、高画質領域特定部760は、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度より高い旨を画質判断部740が判断した場合に、画像取得部700が取得した画像内において、表示部770が表示することができる解像度より高い高画質領域を特定する。そして、表示制御部780は、画像取得部700が取得した画像の解像度が表示部770が表示することができる解像度より高い旨を画質判断部740が判断した場合に、画質低減部710が解像度を低減した画像を表示部770が表示している状態で、高画質領域特定部760が特定した高画質領域を囲む枠を、表示部770に表示させる。
画像取得部700は動画を取得する。具体的には、画質判断部740は、画像取得部700が取得した動画の画質が予め定められた画質より高いか否かを判断する。そして、画質低減部710は、画像取得部700が取得した動画の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、画像取得部700が取得した動画を予め定められた画質以下の画質に低減する。そして、表示部770は、画像取得部700が取得した動画の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、画質低減部710が画質を低減した動画を表示し、画像取得部700が取得した動画の画質が予め定められた画質以下である旨を画質判断部740が判断した場合に、画像取得部700が取得した動画を表示する。そして、表示制御部780は、画像取得部700が取得した動画の画質が予め定められた画質より高い旨を画質判断部740が判断した場合に、画質低減部710が画質を低減した動画を表示部770が表示している状態で、画像取得部700が予め定められた画質より高い画質の動画を取得した旨を示す情報を表示部770に表示させる。
具体的には、画質判断部740は、画像取得部700が取得した動画の表示レートが表示部770が表示することができる表示レートより高いか否かを判断する。そして、画質低減部710は、画像取得部700が取得した動画の表示レートが表示部770が表示することができる表示レートより高い旨を画質判断部740が判断した場合に、画像取得部700が取得した動画の表示レートを表示部770が表示することができる表示レート以下の表示レートに低減する。そして、表示部770は、画像取得部700が取得した動画の表示レートが表示部770が表示することができる表示レートより高い旨を画質判断部740が判断した場合に、画質低減部710が表示レートを低減した動画を表示し、画像取得部700が取得した動画の表示レートが表示部770が表示することができる表示レート以下である旨を画質判断部740が判断した場合に、画像取得部700が取得した動画を表示する。そして、表示制御部780は、画像取得部700が取得した動画の表示レートが表示部770が表示することができる表示レートより高い旨を画質判断部740が判断した場合に、画質低減部710が表示レートを低減した動画を表示部770が表示している状態で、画像取得部700が表示部770が表示することができる表示レートより高い表示レートの画像を取得した旨を示す情報を表示部770に表示させる。
なお、画像保持部750は、画像取得部700が取得した動画の表示レートが表示部770が表示することができる表示レートより高い旨を画質判断部740が判断した場合に、画像取得部700が取得した動画を保持する。そして、指示入力部790は、画像保持部750が保持する動画を表示する旨の指示をユーザから受け付ける。そして、表示制御部780は、画像保持部750が保持する動画を表示する旨の指示を指示入力部790がユーザから受け付けた場合に、画像保持部750が保持している動画に含まれる複数の画像を、表示部770が表示することができる表示レートで表示部770に表示させる。
図10は、表示装置175の動作フローの一例を示す。画像取得部700は、撮像装置100から動画を取得する(S902)。そして、画像取得部700は、S902において取得した動画から一連のフレーム画像を抽出する(S904)。例えば、画像取得部700は、MPEG符号化された動画を出力部270から取得した場合には、Iピクチャから次のIピクチャの直前のピクチャまでの複数のピクチャを、一連のフレーム画像として抽出する。この他にも、画像取得部700は、予め定められた期間の動画を構成する所定数のフレーム画像を取得してもよいし、動画の画像内容の変化に基づいて決定される1シーンの動画を構成する複数のフレーム画像を一連のフレーム画像として取得してもよい。
そして、画質判断部740は、フレーム画像を表示するか否かを判断する(S906)。例えば、画質判断部740は、撮像装置100から取得した動画を、適宜間引くことによって表示部770に動画を表示させる場合に、表示部770が前回フレーム画像を表示した後にフレーム画像を間引いた数が、表示部770が表示することができる表示レートでフレーム画像を表示するために間引くべきフレーム画像の間引き数に達した場合に、フレーム画像を表示すると判断する。S906においてフレーム画像を表示しない旨を判断した場合には、画像保持部750はフレーム画像を記憶して(S932)、S904に処理を移行する。
そして、画質判断部740は、表示部770が表示することができる解像度より高解像度の領域がフレーム画像に存在するか否かを判断する(S908)。なお、出力部270が部分的に高解像度の画像を出力している場合には、出力部270は領域毎の解像度を示す情報とともに動画を出力し、この場合、画質判断部740は当該解像度を示す情報を参照することによって、表示部770が表示することができる解像度より高解像度の領域がフレーム画像に存在するか否かを判断してよい。S908において高解像度の領域がフレーム画像に存在する旨を判断した場合には、画像保持部750は、当該高解像度の領域の画像を記憶する(S910)。そして、画質低減部710は、表示部770が表示することができる解像度にフレーム画像を変換する(S912)。そして、表示制御部780は、画質低減部710が変換した低解像度のフレーム画像に、高画質領域特定部760が特定した高解像度の領域を示す枠を重畳する(S914)。
そして、表示制御部780は、表示していないフレーム画像が存在するか否かを判断する(S916)。具体的には、現在から所定の時間幅だけ前から現在までの期間にS906においてフレーム画像を表示しない旨が判断された場合に、表示していないフレーム画像が存在する旨を判断する。S916において表示していないフレーム画像が存在する旨が判断された場合には、表示制御部780は、画質低減部710が変換した低解像度のフレーム画像にコマ送りボタンを重畳する(S918)。そして、表示部770は、フレーム画像を表示部770に表示する(S920)。
そして、S902において取得した動画を全て処理し終えたか否かを判断して(S922)、動画を全て処理し終えている場合には処理を終了し、動画を全て処理し終えていない場合にはS904に処理を戻す。なお、S916において表示していないフレーム画像が存在しない旨が判断された場合には、S920に処理を移行する。また、S908において高解像度の領域がフレーム画像に存在しない旨を判断した場合には、S916に処理を移行する。
なお、上記の説明では、説明を複雑になることを避けるためにシーケンシャルな処理フローを用いて表示装置175の動作を説明したが、上記の処理の中の一部の処理は、他の処理と並行して行うことができることは言うまでもない。例えば、S902における動画を取得する処理、及びS904における一連のフレーム画像を抽出する処理は、他の処理と並行して行うことができる。以上説明したように、表示装置175は、撮像装置100が撮像した高表示レート及び高解像度の動画を表示部770が表示することができる形に変換して表示させつつ、高表示レート又は高解像度の動画が得られている旨を、枠・コマ送りボタン等によって監視者に示すことができる。
図11は、表示部770が画像を表示するタイミングの一例を示す。画像取得部700は、時刻t1001〜t1010に撮像されたフレーム画像1001〜フレーム画像1020を含む動画を撮像装置100から取得する。そして、画質低減部710は、表示部770が表示するフレーム画像の表示レートが、表示部770が表示することができる表示レート以下になるよう、動画に含まれるフレーム画像1012、フレーム画像1013、フレーム画像1014、フレーム画像1016、フレーム画像1017、フレーム画像1018、フレーム画像1020を間引く。画像保持部750は、間引かれたフレーム画像1012、フレーム画像1013、フレーム画像1014、フレーム画像1016、フレーム画像1017、フレーム画像1018、フレーム画像1020を記憶しておく。
また、画質低減部710は、フレーム画像の解像度が表示部770が表示することができる解像度以上である場合には、表示部770が表示することができる解像度にまでフレーム画像1011、フレーム画像1015、フレーム画像1019の解像度を低減して、表示フレーム画像1021、表示フレーム画像1025、表示フレーム画像1029を生成する。そして、表示部770は、表示フレーム画像1021、表示フレーム画像1025、表示フレーム画像1029を順次表示することによって、解像度及び表示レートが低減された動画を表示する。なお、フレーム画像の解像度は表示部770が表示することができる解像度以上であるので、画像保持部750はフレーム画像1011、フレーム画像1015、フレーム画像1019も記憶しておく。
そして、表示制御部780は、間引かれたフレーム画像が存在する場合には、表示フレーム画像1025及び表示フレーム画像1029にコマ送りマークを重畳して、表示部770に表示させる。また、表示制御部780は、フレーム画像の解像度が表示部770が表示することができる解像度以上である場合には、表示フレーム画像1021、表示フレーム画像1025、表示フレーム画像1029に高解像度が表示可能である旨を示すマークを重畳して、表示部770に表示させる。
なお、高画質領域特定部760は、部分的に高解像度の領域が存在する場合には、当該高解像度の領域を特定する。また、高画質領域特定部760は、撮像装置100によってオブジェクトがフレーム画像内に電子透かし等により埋め込まれている場合には、当該オブジェクトを含む領域を特定する。そして、表示制御部780は、当該高解像度の領域、又は当該オブジェクトを含む領域を囲む枠を、表示する表示フレーム画像1021、表示フレーム画像1025、表示フレーム画像1029に重畳して表示部770に表示させる。
以上説明したように、表示装置175は、マーク又は枠をフレーム画像に重畳表示することによって、表示部770の表示能力より高い表示レート又は解像度の画像が得られていることを監視者に認識させることができる。
図12は、表示部770が表示する画像の一例を示す。表示制御部780は、高画質で表示することができるオブジェクトを囲む枠1102を、低画質画像に重畳して表示部770に表示させる(画面1100)。この枠1102内の画像は、画像保持部750が保持している。枠1102内の領域が監視者の指等によってタッチされたり、枠1102内の領域がマウス等の入力装置によってポイントされたりした場合に、指示入力部790は枠1102内の画像を拡大表示する旨を受け付ける。
指示入力部790によって枠1102内の画像を拡大表示する旨を受け付けると、選択された枠1102によって囲まれるオブジェクトの画像を画像保持部750から取得して、表示部770に表示させる。画像保持部750に保持されているオブジェクトの画像は、表示部770が表示することができる解像度より高解像度であるので、表示部770にはオブジェクトが拡大されて表示される。このように、監視者は、監視対象として重要な人物等のオブジェクトを含む高解像度の画像を、既存のモニタ180〜モニタ182上で確認することができる。
図13は、表示部770が表示する画像の他の一例を示す。表示制御部780は、フレーム画像を間引いて表示した場合に、間引かれたフレーム画像をコマ送で再生可能である旨を示すマーク1212を、表示させるフレーム画像1201に重畳する(画面1200)。マーク1212が表示されている位置が監視者の指等によってタッチされたり、マウス等の入力装置でポイントされたりすると、指示入力部790はコマ送り表示する旨の指示を受け付ける。
指示入力部790がコマ送り表示する旨の指示を受け付けると、間引かれたフレーム画像である表示フレーム画像1202、表示フレーム画像1203を画像保持部750から取得して、指示入力部790がコマ送り表示する旨の指示をさらに受け付ける度に、表示部770に順次表示させる。なお、画像保持部750に保持されているフレーム画像は、表示部770が表示することができる表示レートで再生してもよい。この場合、表示部770には、実際よりゆっくりと再生されることになる。以上の操作によって、監視者は細かい人物の動きを確認することができる。
図14は、撮像装置100及び表示装置175に係るコンピュータ1500のハードウェア構成の一例を示す。コンピュータ1500は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワークを介して撮像装置100及び表示装置175と通信し、撮像装置100及び表示装置175にプログラム、及びデータを提供する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブート・プログラム、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介して通信インターフェイス1530に提供されるプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1520を介して通信インターフェイス1530に提供され、ネットワークを介して撮像装置100及び表示装置175に送信される。撮像装置100及び表示装置175に送信されたプログラムは、撮像装置100及び表示装置175においてインストールされて実行される。
撮像装置100にインストールされて実行されるプログラムは、撮像装置100を、図1から図13に関連して説明した撮像部200、低データ量画像生成部210、オブジェクト領域特定部220、大きさ算出部230、適合判断部240、条件格納部250、埋め込み画像取得部290、埋め込み画像撮像部295、出力部270、周波数成分算出部280、及び埋め込み領域特定部285として機能させる。また、当該プログラムは、埋め込み画像取得部290を、図1から図13に関連して説明した埋め込み画像生成部260として機能させる。表示装置175にインストールされて実行されるプログラムは、表示装置175を、図1から図13に関連して説明した画像取得部700、画質低減部710、画質判断部740、画像保持部750、高画質領域特定部760、表示部770、表示制御部780、及び指示入力部790として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVD、PD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク、インターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。