JP2009077264A - 記録装置、記録システム、記録方法及びコンピュータプログラム - Google Patents

Abstract

【課題】所望の突発的な現象を捉えた画像及び音声をより確実に抽出して記録することにより記録媒体の容量を無駄にせず、更に、実際に所望の現象を捉えているかを確認する作業負荷を軽減させることができる記録装置、記録システム、記録方法及びコンピュータプログラムを提供する。
【解決手段】記録装置１の制御部１０は、撮像装置２によって撮像されて出力された画像データを一時記憶領域１２に一時的に記憶する。制御部１０は、一時記憶領域１２に記憶した画像データについて時系列的に前後の画像データと比較し、所望の突発的現象を捉えている可能性の高低を示す指標値を算出し、算出された指標値が所定値以上である画像データを音声データと共に記録部１１に記録する。
【選択図】図１

Description

本発明は、画像及び音声のデジタルデータを記録する記録装置に関する。特に、突発的に発生する現象の記録を残すために撮像装置により長時間にわたって撮像された画像、及び集音された音声を記録するに際し、記録媒体の容量を節約することができ、更に、実際に所望の現象を捉えたか否かを確認する作業の負荷を軽減させることが可能な記録装置、記録システム、記録方法及びコンピュータプログラムに関する。

いつ発生するかを予測することが困難な突発的現象の記録を試みる場合、その現象が発生することが予測される場所で画像（映像）及び音声を共に長時間にわたり連続して記録しておき、記録された画像及び音声を人手により確認して実際に発生した現象が捉えられている画像及び音声を抽出することによって実現されている。

長時間にわたって画像及び音声を記録する際、例えば１秒に１フレームの割合でコマ撮りを行なうタイムラプスカメラ、又は大容量の記録媒体を有して連続撮影を行ない映像として記録するためのデジタルビデオカメラが用いられる。

特に生物学、生態学の分野では、その生態、現象が観測された画像及び音声自体が記録されていることが重要な意味を成す場合が多い。非特許文献１、２及び３には、このためにタイムラプスカメラ又は大容量のデジタルビデオカメラを用いた長時間にわたる記録、並びに記録された画像及び音声の確認が行なわれることが示されている。
Ishimura M, Nishihira M, 2002. Direct attachment of eggs to the body wall in the externally brooding sea anemone Cnidopus japonicus (Actiniaria; Actinidae), J. Ethnol. 21, 93-99.（体壁上に直接産卵するコモチイソギンチャク） Storbart B et al. 2007, A baited underwater video technique to assess shallow-water Mediterranean fish assemblages: Methodological evaluation,J. Exp. Mar. Biol. Ecol. 345, 158-174.（餌による誘き寄せを利用した水中ビデオ撮影による地中海浅海魚類群集構造アセスメント：その手法評価） Yuasa Y, Yamati S, 1999, Cropping of Sea Anemone Tentacles by a Symbiotic Barnacle, Biol. Bull. 197, 315-318.（宿主イソギンチャクの触手を摂食する共生エボシガイ）

しかしながら、所望の現象によっては何日間も発生しない場合がある。この場合は、記録されている画像及び音声の内、所望の現象が捉えられていない画像及び音声が大半であり、記録媒体が無駄に使用される。

また、いずれの場合も最終的には長時間にわたり撮像、集音されて記録された画像及び音声に基づいて、人間が実際に所望の現象が発生したか否かを確認する作業が必要である。何日間にもわたって撮像、集音しても、現象によっては画像及び音声の内容がほぼ変化しないので、いつ発生するか予期できない突発的現象を捉えているか否かを確認するために内容が変化しない全画像及び音声を視聴する作業は負荷が重く、作業者の緊張を強いる。これにより、見落とし、聞き逃し等のヒューマンエラーが発生する可能性がある。

本発明は斯かる事情に鑑みてなされたものであり、撮像装置から取得した撮像画像に対し、所望の突発的現象を捉えている可能性の高低を示す指標値を算出し、算出された指標値が所定値以上である撮像画像を記録媒体に記録する構成とすることにより、記録媒体の容量を無駄にせず、所望の突発的現象を捉えている可能性が高い撮像画像を確実に記録させ、更に実際に所望の現象が捉えているか否かを後に確認する際の作業負荷を軽減することができる記録装置、記録システム、記録方法及びコンピュータプログラムを提供することを目的とする。

第１発明に係る記録装置は、外部装置から出力される撮像画像を時系列的に取得し、取得した撮像画像を記録媒体に記録する記録装置において、時系列的に取得した撮像画像を一時記憶領域に一時的に記憶する手段と、前記一時記憶領域に記憶されてある撮像画像の内の一の撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値を算出する算出手段と、該算出手段が算出した指標値が所定値以上であるか否かを判定する判定手段とを備え、前記判定手段が所定値以上であると判定した撮像画像を前記記録媒体に記録するようにしてあることを特徴とする。

第２発明に係る記録装置は、外部装置から出力される集音音声を時系列的に取得する手段と、時系列的に取得した集音音声を前記一時記憶領域に撮像画像に対応付けて記憶する手段とを備え、前記算出手段は、前記一時記憶領域に記憶されてある集音音声の内の一部の集音音声についても前記指標値を算出するようにしてあり、前記判定手段が所定値以上であると判定した撮像画像又は集音音声を夫々に対応付けられている集音音声又は撮像画像と共に記録するようにしてあることを特徴とする。

第３発明に係る記録装置は、前記撮像画像は複数の画素からなり、前記算出手段は、一の撮像画像に対し時系列的に前後の撮像画像を取得する手段と、一の撮像画像を構成する画素の内の、前記前後の撮像画像中の同一箇所に位置する画素と比較した場合に画素値の差分が所定値以上である画素を抽出する抽出手段と、抽出された画素が所定面積以上連続する画像領域を判別する判別手段と、判別された画像領域が、前記一の撮像画像に対し時系列的に前後する所定画像数以上の撮像画像との比較に基づき前記抽出手段及び判別手段によって抽出され判別された画像領域と重複するか否かを判断する手段と、重複すると判断した場合、判別された画像領域に含まれる抽出された画素の数を計数する計数手段とを備え、該計数手段が計数した画素数に対応した指標値を算出するようにしてあることを特徴とする。

第４発明に係る記録装置は、前記抽出手段が抽出した画素が水平方向に所定画素数以上連続するか否かを判断する手段と、所定画素数以上連続すると判断した場合、連続する画素群における画素値と他の画素群における画素値との差分が所定値以上であるか否かを判断する手段とを備え、所定値以上であると判断した場合に、前記連続する画素群を抽出された画素とするようにしてあることを特徴とする。

第５発明に係る記録装置は、前記算出手段は、取得した集音音声に含まれる所定値以上の音量の音声が継続する期間の長さを算出する手段を備え、算出した期間の長さに対応した指標値を算出するようにしてあることを特徴とする。

第６発明に係る記録装置は、前記判定手段が所定値以上であると判定した撮像画像又は集音音声と時系列に連続する所定数以上の撮像画像又は集音音声について、前記算出手段により算出した指標値が第２所定値以上である場合に、前記撮像画像又は集音音声を記録するようにしてあることを特徴とする。

第７発明に係る記録装置は、前記所定面積の大きさの設定、前記所定面積に含まれる画素の水平方向への連続数及び垂直方向への連続数の設定、並びに、前記所定数の設定の内の一又は複数を受け付ける手段を備えることを特徴とする。

第８発明に係る記録装置は、計時手段と、撮像画像及び集音音声を取得した場合、前記計時手段から時刻情報を取得する時刻取得手段と、撮像画像及び集音音声を前記記録媒体に記録するに際し、前記時刻取得手段が取得した時刻情報を対応付けて記録する手段と、対応付けて記録してある時刻情報に基づき、記録されている撮像画像及び集音音声を時系列に同期するように連続して出力する手段とを備えることを特徴とする。

第９発明に係る記録装置は、記録媒体に記録された撮像画像及び／又は集音音声から、音声の周波数分布、音声の音量の時間分布、前記判別された領域の一の撮像画像中の数、前記判別された領域に含まれる画素値の周波数分布、前記判別された領域の画像中における重心位置及び該重心位置の複数の撮像画像にわたる移動速度、及び、前記判別された領域に含まれる画素値の色及び輝度分布の内の一又は複数に基づき撮像画像及び集音音声を抽出する手段を更に備えることを特徴とする。

第１０発明に係る記録装置は、所定の信号を受信した場合、受信後に取得した撮像画像及び／又は集音音声を時系列的に記録するようにしてあることを特徴とする。

第１１発明に係る記録システムは、第１の撮像装置と、第１の撮像装置が撮像する範囲と同一範囲を撮像するように設置されている第２の撮像装置と、前記第１の撮像装置から撮像画像を取得する第１発明乃至第１０発明のいずれかに記載の記録装置とを含み、前記第２の撮像装置は、計時手段と、撮像画像を撮像した時刻を示す時刻情報を前記計時手段から取得する手段と、取得した時刻情報と共に撮像した撮像画像を記録媒体に記録する手段とを備え、前記第１の記録装置で記録された撮像画像に対応する撮像画像を前記第２の撮像装置により記録されてある撮像画像から抽出する手段を備えることを特徴とする。

第１２発明に係る記録方法は、撮像装置から撮像画像を時系列的に取得し、取得した撮像画像を記録媒体に記録する記録装置における記録方法において、前記記録装置に一時的に利用される一時記憶領域を備えて用い、時系列に取得した撮像画像を前記一時記憶領域に記憶し、一時記憶領域に記憶されている撮像画像の内の一の撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値を算出し、算出された指標値が所定値以上であるか否かを判定し、所定値以上であると判定された撮像画像を前記記録媒体に記録することを特徴とする。

第１３発明に係るコンピュータプログラムは、撮像装置に接続されるコンピュータを、前記撮像装置から撮像画像を時系列的に取得する手段、取得した撮像画像を一時記憶領域に記憶する手段、及び、一時記憶領域に記憶されている撮像画像を記録媒体に記録する手段として機能させるコンピュータプログラムにおいて、前記コンピュータを一時記憶領域に記憶してある撮像画像の内の一の撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値を算出する算出手段、該算出手段が算出した指標値が所定値以上であるか否かを判定する判定手段、及び、前記指標値が所定値以上であると判定された撮像画像を記録媒体に記録させる手段として機能させることを特徴とする。

第１発明、第１２発明及び第１３発明にあっては、所望の突発的現象を捉えている可能性が低いと判定された撮像画像は除かれ、可能性が高いと判定された撮像画像が記録媒体に記録されるので、記録される撮像画像の量が無駄に増大しない。

第２発明にあっては、集音音声について所望の突発的現象を捉えている可能性が高いと
判定された場合も、集音音声に対応する撮像画像が共に記録される。また、所望の突発的現象を捉えている可能性が高いと判定された撮像画像に対応する集音音声も共に記録される。

第３発明にあっては、複数の画素からなる撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値が算出される際、一の撮像画像に対し時系列的に前後の撮像画像が取得される。撮像画像を構成する各画素は、前後の撮像画像中の同一箇所に位置する画素と比較され、画素値の差分が所定値以上である画素が抽出される。抽出された画素が所定面積以上の面積を占める範囲で連続する領域が撮像画像から判別される。一時記憶領域に記憶されている撮像画像夫々について領域が判別され、一の撮像画像に対し時系列的にに前後の撮像画像間で判別された領域が、所定画像数以上の撮像画像との比較に基づき同様に判別された領域と重複する場合、当該領域に含まれる抽出された画素の数が計数され、その数が指標値に対応する。

第４発明にあっては、撮像画像が突発的現象を捉えているとき、その突発的現象に関する動体を捉えた領域は背景領域と異なる色調、明るさである可能性が高いことから、抽出された画素が所定数以上連続し、且つその連続する画素群と他の画素群との画素値の差分が所定値以上である場合、即ちエッジが検出された場合に連続する画素群が抽出された画素として扱われる。一方で差分が所定値未満である場合、即ちエッジが検出されなかった場合は、連続する画素群があったときでもその画素群は抽出されなかったものとして扱われる。これにより、前後の撮像画像と比較した場合に画像全体の色調、明るさが変化したことによって前後の撮像画像中の画素値との差分から抽出された画素は除去される。

第５発明にあっては、取得された集音音声に含まれる音声の内、所定値以上の音量の音声が継続する期間の長さに基づいて突発的現象を捉えている可能性の高低を示す指標値が算出される。

第６発明にあっては、一の撮像画像又は集音音声について指標値が所定値以上であるか否かのみならず、前記一の撮像画像又は集音音声と時系列的に連続する所定数以上の撮像画像又は集音音声における指標値が第２所定値以上である場合に撮像画像又は集音音声が記録される。

第７発明にあっては、現象によって異なる多様な変化に応じて、判別される領域の空間的な連続性に対応する面積の大きさ、前記面積に含まれるべき水平方向サイズ及び垂直方向サイズ、並びに時系列的な連続性の判断に利用される数の設定が受け付けられる。

第８発明にあっては、撮像画像及び集音音声が記録されるに際し、夫々取得された時刻を示す時刻情報が対応付けられて記録され、記憶された撮像画像及び集音音声は、時系列に同期されて連続的に出力される。

第９発明にあっては、記録されている集音音声の周波数分布、時間分布、記録されている撮像画像中の判別された領域の数、判別された領域に含まれる画素値の周波数分布、判別された領域の移動速度、判別された領域に含まれる画素値の色及び輝度分布の内の一又は複数が利用され、更に撮像画像及び集音音声が抽出される。

第１０発明にあっては、時刻の変化を示す情報、周辺環境の変化を示す情報等をトリガとして取得した撮像画像及び集音音声が記録される。

第１１発明にあっては、２つの撮像装置の内の一の撮像装置で長時間にわたって高画質の画像を撮像して記録しておき、他の撮像装置から取得した撮像画像に基づいて個々の時
点における所望の突発的現象の発生の可能性の高低が判定される。

第１発明、第１２発明及び第１３発明による場合、多様な突発的現象を捉えている可能性が高い撮像画像のみ記録されるので、記録媒体の容量が無駄にされない。また、確認すべき撮像画像のデータ量が減少し、実際に撮像画像が突発的現象を捉えているか否かを事後的に確認する作業の負荷が軽減される。

また、第２発明による場合、集音音声についても取得して撮像画像に対応付け、突発的現象を捉えている可能性が高い集音音声に対応する撮像画像を記録するので、多様な突発的現象を捉えている撮像画像及び集音音声をより確実に抽出して記録することができる。

第３発明による場合、突発的現象を捉えた可能性の高低をより確実に示す指標値が算出されるので、所望の突発的現象が捉えている可能性がより高い撮像画像及び／又は集音音声を記録することができる。野外、屋外等の多様な自然環境における撮像画像及び集音音声を記録するに際し、背景の動きに応じて突発的現象を捉えている可能性が高いと判定されることを防いでこれを除去し、より確実に所望の突発的現象を捉えた撮像画像及び集音音声を記録することができる。

第４発明による場合、エッジ検出を行なって突発的現象に関する動体を捉えた可能性が高い撮像画像を記録することができる。野外、屋外等の多様な自然環境における撮像画像及び集音音声を記録するに際し、撮像画像の色調、明るさが全体的に変化したことによる背景の変化が指標値を高くすることを防いでこれを除去し、より確実に所望の突発的現象を捉えている撮像画像及び集音音声を記録することができる。

第５発明による場合、所望の突発的現象を捉えている可能性が高い集音音声をより確実に抽出し、撮像画像と共に記録することができる。

第６発明による場合、偶発的に所望の突発的現象を捉えている可能性が高いと判断された撮像画像及び／又は集音音声については、時系列的な連続性に基づいて記録から除去されるので、実際に所望の突発的現象を捉えている可能性が高い撮像画像及び／又は集音音声をより確実に記録することができる。

第７発明による場合、突発的現象に関する動体の空間的サイズ、時間的なスケール、音声の変化の時間的なスケールが様々である現象夫々に応じ、所望の現象を捉えた可能性が高い撮像画像及び集音音声を自動的に抽出して記録することができる。

第８発明による場合、作業者は、所望の突発的現象を捉えている可能性が高いとして記録された撮像画像及び集音音声を連続して同期して出力されるものを、映像を視聴するようにして確認することができる。

第９発明による場合、所望の突発的現象に特有の外観及び／又は音声が反映された撮像画像に含まれる画像領域における特徴、集音音声の特徴に基づいて、所望の現象を捉えている可能性がより高い撮像画像及び集音音声を抽出することができる。

第１０発明による場合、所望の突発的現象を捉えている可能性の高低のみならず、時刻、周辺環境等の変化に応じて記録されるべき撮像画像及び集音音声を記録することができる。したがって、より確実に所望の突発的現象を捉えている撮像画像及び集音音声を記録することができる。

第１１発明による場合、２つの撮像装置の内の一の撮像装置で大容量の記録媒体を用い、長時間にわたって高画質の画像を撮像しておき、他の撮像装置から取得した撮像画像から個々の時点における所望の突発的現象を捉えている可能性の高低が判定される。後に高画質の画像から、時刻情報に基づいて対応する画像を自動的に取得することができる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、本実施の形態では、生態学上の観点から生物の突発的な行動を自動的に記録するための装置に本発明に係る記録装置を適用した場合を例に説明する。

（実施の形態１）
図１は、実施の形態１における記録装置１の構成を示すブロック図である。実施の形態１における記録装置１は、持ち運びが容易なノート型ＰＣ（Personal Computer）を利用する。持ち運びを前提としたノート型ＰＣを利用することにより、野外、屋外における記録を容易に行なうことが可能である。記録装置１は、レンズ群及びレンズ群を介して入射される光をデジタルカラー画像データに変換して出力する撮像素子を有するＵＳＢ（Universal Serial Bus）カメラ等を利用した撮像装置２と、周辺の音声を集音し、デジタル音声データに変換して出力するマイクロホンである集音装置３と接続されている。集音装置３は撮像装置２と一体化されている構成でもよい。

撮像装置２からは、例えば水平方向に６４０画素分、垂直方向に４８０画素分の解像度で撮像されたデジタル画像データが出力される。画像データは、各画素におけるＲ（Red：赤）Ｇ（Green：緑）Ｂ（Blue：青）成分夫々の強度を示す画素値が走査線毎に水平方向に並べられ、１フレームとして構成されている。また、各フレームは撮像装置２により例えば毎秒約３０フレーム単位で撮像され、出力される。

集音装置３からは、音声を例えば毎秒４４．１ｋＨｚで１６ビットの量子化レベルにサンプリングしてデジタルデータに変換されたＰＣＭ（Pulse-Code Modulation：パルス符号変調）形式の音声データが出力される。音声データは、サンプリングされたデータ数百個で１フレーム単位となるように構成されている。

撮像装置２がマイクロホンを備えたＵＳＢカメラである場合、撮像装置２及び集音装置３から出力される画像データ及び音声データは、夫々上述のようにフレーム毎に分割され、パケット化されて出力される。なお、撮像装置２をマイクロホンを備えたＵＳＢカメラとすることにより、ＰＣ及びＵＳＢカメラからなるコンパクトな構成で実現し、野外、屋外での動作を容易に実現することが可能である。

記録装置１は、以下に説明する各構成部を制御するＣＰＵ等である制御部１０と、撮像装置２及び集音装置３から取得した画像データ、音声データ、及び各種情報が記録されるＨＤ（Hard Disk）を有する記録部１１と、制御部１０の処理によって発生する各種情報が一時的に記憶されるＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等を利用した一時記憶領域１２と、後述する撮像装置２から出力される画像データを取得する画像取得部１３と、集音装置３から出力される音声データを取得する音声取得部１４と、キーボード、マウス等を含む入力部１５と、液晶パネルを利用したディスプレイを含む表示部１６と、スピーカを含む出力部１７とを備える。

記録部１１には、ＰＣを本発明に係る記録装置１として動作させるための制御プログラム１Ｐが記録されている。制御部１０が制御プログラム１Ｐを一時記憶領域１２に読み出して実行することにより、ＰＣは本発明に係る記録装置１として動作し、後述する各処理を実行する。なお、制御プログラム１Ｐはアプリケーションプログラムとして動作し、ユ
ーザによる入力部１５を介した操作によって起動される。

画像取得部１３は、撮像装置２から出力される画像データをフレーム毎に取得するキャプチャ機能を有している。画像取得部１３は、実施の形態１では設定により、例えば毎秒３０フレーム単位で撮像装置２から出力される画像データの内、毎秒３フレームのレートで画像データを取得する。音声取得部１４は、集音装置３から出力される音声データを取得するキャプチャ機能を有しており、実施の形態１では集音装置３から出力される音声データを全て取得する。

一時記憶領域１２は、前述のように制御部１０の処理によって発生する情報が一時的に記憶されるのみならず、画像データ及び音声データのバッファメモリとして用いられる。制御部１０は、画像取得部１３が取得した画像データ及び音声取得部１４が取得した音声データを一時記憶領域１２に一旦時系列的に記憶する。制御部１０は取得した画像データ及び音声データを取得したフレームのまま一時記憶領域１２に記憶しておくことで、時系列的に対応する画像データ及び音声データを相互に読み出すことが可能である。なお、制御部１０に内蔵されるクロック機能により、制御部１０は画像取得部１３及び音声取得部１４で画像データ及び音声データを取得した時刻情報を取得し、時刻情報を対応付けて記憶してもよい。

制御部１０は、一旦時系列的に一時記憶領域１２に記憶した画像データ及び音声データをフレーム毎に読み出し、後述するように生物の突発的な行動を捉えている可能性が高い画像データ及び音声データを抽出して記録部１１に記録する。

入力部１５は、生物の突発的な行動を捉えた画像データ及び音声データを必要とするユーザがＰＣを操作するためのインタフェースである。ユーザは、制御プログラム１Ｐが読み出されて実行されることにより表示部１６に表示される操作画面に対し、入力部１５に含まれるキーボード、マウスを用いてＰＣの記録装置１としての動作開始、停止、又は記録されている画像データ及び音声データの再生の指示を入力する。入力部１５は、ユーザによる操作を検知した場合、制御部１０に通知する。

表示部１６は操作画面を表示するのみならず、記録部１１に記録されている画像データに基づいて画像を表示するために用いられる。また、出力部１７は、記録部１１に記録されている音声データに基づいて音声を出力するために用いられる。制御部１０は、ユーザの操作により記録されている画像データ及び音声データに基づく再生の指示を入力部１５により検知した場合、記録部１１に記録されている画像データ及び画像データに時系列的に対応する音声データを読み出し、夫々に基づく画像及び音声を表示部１６及び出力部１７に同期させて連続的に出力する。これにより、ＰＣを用いるユーザは所望の突発的現象を捉えた可能性が高い画像及び音声を映像を視聴するように確認することが可能になる。

このように構成される記録装置１を用い、ユーザは所望の生物の突発的な行動を捉えた画像データ及び音声データを記録するため、当該生物を撮像することが可能な場所に本実施の形態における記録装置１を撮像装置２と集音装置３と共に設置する。さらに、ユーザは撮像装置２、集音装置３及び記録装置１を動作させて長時間にわたって生物を撮像、撮像装置２周辺の音声を集音させる。このとき本発明に係る記録装置１は、長時間にわたって撮像及び集音された画像及び音声から、所望の生物の突発的な行動を捉えた可能性が高い画像データ及び音声データ、並びに時間的に近傍の画像データ及び音声データのみを記録部１１に記録する。

以下に、記録装置１が撮像装置２及び集音装置３から取得した画像データ及び音声データに対し、所望の生物の突発的な行動を捉えた可能性が高い画像データ及び音声データ、
並びに時間的に近傍の画像データ及び音声データを抽出して記録する処理について、原理を示す説明図を参照して説明する。

生物を含む動体が画像データに捉えられている場合、その動体が撮像されている領域及びその近傍の画素の画素値（Ｒ，Ｇ，Ｂ）は、時系列に連続する画像データ中で変化することが推測される。図２は、実施の形態１における記録装置１の制御部１０が、一の画像データについて前後の画像データと比較した場合に画素値が大きく変化している画素を抽出する原理を示す説明図である。図２の説明図中の各平行四辺形はフレーム毎の画像データを示しており、図面の右手前に向かうにしたがって時間が経過し、手前のフレームほど最近の画像データである。図２の説明図に示す２枚のフレームの内の手前のフレームＦ２に注目した場合、記録装置１の制御部１０は、Ｘ印で示される画素の画素値（Ｒ，Ｇ，Ｂ）が、奥のフレーム（直前のフレーム）Ｆ１におけるＸ印で示される画素の画素値（Ｒ´，Ｇ´，Ｂ´）に対して大きく変化しているか否かを判断する。制御部１０は、大きく変化していると判断した場合、Ｘ印で示される画素を、動体を捉えた領域の一部である可能性が高いとして抽出する。具体的には、制御部１０は画像データを構成する全画素について、抽出されたか否かを示すフラグ（オン「１」：抽出／オフ「０」：否抽出）の２次元配列データを差分フレームとして一時記憶領域１２に記憶する。

なお、記録装置１の制御部１０は、図２におけるＸ印で示される画素の画素値（Ｒ，Ｇ，Ｂ）が、奥のフレームＦ１におけるＸ印で示される画素の画素値（Ｒ´，Ｇ´，Ｂ´）に対して大きく変化しているか否かを以下に示す式（１）で算出される差分Δが所定値以上であるか否かに基づいて判断する。

なお、実施の形態１における画素値の差分Δは式（１）に示したように、各色成分（ＲＧＢ）毎に画素値の差分を算出し、差分の二乗和の平方根を差分Δとして算出した。しかしながら、本発明ではこれに限らず、各色成分毎の画素値の差分のｎ乗和のｎ乗根を差分Δとして算出してもよい。

図３は、実施の形態１における記録装置１の制御部１０により、動体を捉えた領域の一部である可能性が高いとして抽出された画素の例を模式的に示す説明図である。図３の説明図に示されている図は、抽出されたか否かを示すフラグの２次元配列データ、即ち差分フレームに相当する。図３における横軸は１フレームの画像データの走査線方向（水平方向）を示し、縦軸は垂直方向を示しており、各格子は画素に対応している。Ｘ印が付与されている画素が、図２の説明図に示した原理で抽出された画素である。Ｘ印が、抽出されたか否かを示すフラグにおけるフラグオン「１」に対応し、無印がフラグオフ「０」に対応している。

生物を含む動体が画像データに捉えられている場合、その動体を捉えた領域の占める面積は動体の大きさ（撮像装置２と動体との距離）に対応するはずである。したがって、抽出される画素はその動体の大きさに応じて平面的に連続する。一方で、抽出された画素の内のある画素が動体を捉えた領域の一部でない場合は、当該画素はランダムな画素値の変化を起因として抽出された画素である可能性が高く、水平方向にも垂直方向にも連続しないと推測される。実際に、ランダムな画素値の変化の起因としては、撮像装置２の内部で
発生する電気的ノイズが挙げられ、実用的にも軽視できない。そこで、本発明の記録装置１の記録部１１は、１フレームの画像データ中で抽出された画素が所定面積以上連続するか否かを判断し、所定面積以上連続すると判断した場合、連続する画素からなる領域を所望の生物である動体を捉えた領域として判別する。なぜなら、撮像装置２の内部で発生するノイズによる画素値の変化は偶発的に起こるので、連続する画素でノイズが発生している可能性は低いからである。更に、連続する画素の数の条件を増加させるほど、即ち前記所定面積の大きさを大きくするほど、連続する画素の全てでノイズが発生し、いずれの画素でも画素値の差分Δが所定値以上となる可能性は更に低くなる。したがって、必然的に、動体を捉えたことによって画素値の差分Δが所定値以上である画素と比較した場合、その連続性で大きな違いが生じる。例えば、撮像装置２の内部で発生する偶発的なノイズにより１つの画素が抽出される確率を０．１と仮定した場合、１フレームの画像データ中の１／１０もの面積がノイズにより抽出される画素で占められることになる。しかしながら、ノイズにより抽出される画素が５つ連続する確率は、０．１の５乗＝１／１０万であり非常に低い。したがって、抽出された画素が所定面積以上連続するか否かを判断し、連続する場合にその領域を判別することにより、指数関数的に１フレームの画像データ中におけるノイズの大部分を除去することが可能である。なお、このようなノイズを消去するメカニズムを利用することにより、ランダムに変動する背景に相当する物によって抽出される画素についても、動体を捉えた領域ではないとして除去することが期待できる。これについては後述にて詳細を説明する。

制御部１０は、以下の手順で抽出された画素が所定面積以上連続するか否かを判断する。まず、制御部１０は、所定面積に含まれる水平方向の画素数分、抽出された画素が連続するか否かを判断し、次に、所定面積に含まれる垂直方向の画素数分、抽出された画素が連続するか否かを判断する。

図３の説明図に示した例では、制御部１０は、差分フレームの左上隅から、抽出された画素が走査線方向（水平方向）に例えば５つ以上連続するか否かを判断する。制御部１０は、「１」番目の走査線（ライン）中の「３」番目の画素が抽出されていることを、一時記憶領域１２に記憶されている情報から認識する。抽出された画素を認識した制御部１０は、「４」から「７」までの画素がいずれも抽出されているか否かを判断する。この場合「６」番目の画素が抽出されていないので、制御部１０は「３」番目の画素及び連続する「４」、「５」番目の画素は動体を捉えた領域の一部でないと判断して一時記憶領域１２から削除する。具体的には、制御部１０は抽出されたか否かを示すフラグの２次元配列データを走査線毎に読み出して、フラグがオン「１」である画素が存在した場合、その後フラグオンが５つ以上連続するか否かを判断する。５つ以上連続しない場合、連続が途切れるまでの画素のフラグをオフ「０」にセットする。

次に制御部１０は、抽出された画素が垂直方向に例えば５つ以上連続するか否かを判断する。制御部１０は、「５」番目の走査線上の「３」番目の画素が抽出されていることを、上述のように水平方向の連続性がチェックされた後のフラグの２次元配列データにより認識する。制御部１０は、水平方向が「３」番目の画素について、「６」から「９」番目までの走査線上の画素がいずれも抽出されているか否かを判断する。図３の説明図に示した例では水平方向が「３」番目の画素について、「６」から「９」番目までの走査線上の画素はいずれも抽出されている。したがって、制御部１０は更に連続する「１０」番目の走査線上の画素も含めた各画素を動体を捉えた領域の一部と判断して一時記憶領域１２に記憶されたままに維持する。同様にして、垂直方向に５つ以上連続して抽出されている画素が、抽出された画素として記憶されたままとなる。即ち、制御部１０は抽出されたか否かを示すフラグの２次元配列データ（差分フレーム）を走査線毎に読み出して、フラグがオン「１」である画素が存在した場合、その列の下方にフラグオンが５つ以上連続するか否かを判断する。５つ以上連続しない場合、連続が途切れるまでの画素のフラグをオフ「
０」にセットする。

更に制御部１０は、垂直方向に５つ以上連続して抽出された画素群が、更に水平方向に５つ以上連続するか否かを判断する。具体的には、一時記憶領域１２から削除されずに維持されている各画素について、再度水平方向に５つ以上連続するか否かを判断する。

このような処理を行なうことにより、図３の説明図におけるＡで表わされる領域に含まれる画素についてフラグがオンのまま一時記憶領域１２に記憶されて残る。制御部１０は、残った画素を含む領域Ａを動体を捉えた領域として判別し、左上隅の画素の位置を一時記憶領域１２に記憶する。制御部１０は、左上隅の画素の位置を基準に一時記憶領域１２に抽出されてフラグがオンのままの画素を判別することによって、判別された領域を認識することが可能である。

さらに制御部１０は、図３の説明図における領域Ａを判別した場合、領域Ａに隣接する画素について式（１）に基づく差分Δが所定値以上であるとして抽出された画素であるか否かを判断し、抽出された画素が連続する領域Ｂをより確実に判別するように構成してもよい。この場合、図３の説明図のＸ印で示した最初に抽出された各画素についての２次元配列データ（差分フレーム）を一時記憶領域１２に別途記憶しておく。制御部１０は、上述の処理後に領域Ａに隣接して連続する画素について、別途記憶しておいた２次元配列データフラグがオンであるか否か判断し、オンである画素については判別された領域Ｂに含めるため、フラグを改めてオンにセットするようにしてもよい。

制御部１０は、図３の説明図における領域Ｂを判別することができるように他の手順によって判別してもよい。例えば、制御部１０は図３の説明図に示した抽出された画素群に対し、５×５画素のウィンドウを設定し、ウィンドウに含まれる画素が全て抽出されているか否かによって、抽出された画素が連続するか否かを判断するように処理してもよい。

また、制御部１０は上述のように、抽出された画素が水平方向及び垂直方向夫々に所定数以上連続するか否かの処理を行ない、隣接する画素についても抽出された画素であるか否かを判断して図３の説明図における領域Ｂのようなひとまとまりの領域を判別し、且つ判別されたひとまとまりの領域に含まれる画素数が所定数以上か否かの判断に基づいて動体を捉えた領域を判別してもよい。即ち制御部１０は、領域Ａに隣接する、抽出された画素を含めたひとまとまりの領域Ｂの画素数が、例えば７０画素分以上である場合のみ、動体を捉えた領域として判別する。この場合、水平方向に５画素以上、及び垂直方向に５画素以上連続した場合でも、画素数が７０未満である領域は所望の生物の動体部分としては小さいとして、動体を捉えた領域としては記憶されない。所望の生物に含まれる動体部分が線状である場合など、所定数の連続画素×所定数の連続画素からなる矩形状の基準に基づいて空間的な連続性を判断することが困難な場合があるからである。したがって、抽出された画素が、垂直方向のみに１０以上連続し、且つ全体で３０画素以上の領域を占める場合に、当該領域を動体を捉えた領域として判別するようにしてもよい。したがって、制御部１０が５×５画素のウィンドウを設定して所定面積以上連続するか否かを判別する場合も、所定面積はウィンドウのサイズ５×５＝２５画素よりも大きい７０画素分とするようにしてもよい。

以上では、図３の説明図を参照し、抽出された画素が所定面積以上連続しているか否かを判断し、動体を捉えた領域の一部として領域を判別する方法を提示した。これに対し、上述の種々の方法における細部の違いにはこだわらず、１フレームの画像データ内での画素の連続性を調べる方法を「連続画素チェック」と総称し、以下に、複数フレーム分の画像データに基づき、判別された領域から更に時系列的な連続性を調べ、判別された領域が動体を捉えた領域であると確実に判断するための処理について説明する。

判別された領域から更に時系列的な連続性を調べ、判別された領域が動体を捉えた領域であると確実に判断するための処理として、画像データが生物を含む動体を実際に捉えている場合に、動体を捉えているとして判別された領域が時間の経過に対して一貫した動きで移動することを例で示し、記録装置１の制御部１０が、時系列的に連続する各画像データにおいて、一貫した動きを見せる動体を捉えた領域をどのように判別するのかを図を参照して段階を追って説明する。

図４は、実施の形態１における記録装置１の一時記憶領域１２に記憶される画像データの内容例を示す説明図である。図４の説明図中の各平行四辺形はフレーム毎の画像データを示しており、図面の右前に向かうにつれて時間が経過し、一番手前のフレームＦ３が最近の画像データである。図４の説明図に示す内容例では、画像データ中に飛行している鳥を捉えた領域が含まれている。図４の説明図に示すように、フレームＦ１，Ｆ２，Ｆ３における鳥を捉えた領域は、時間が経過するにしたがって、図面の左から右に向かって一貫して動いている。

また、図４中の下方に示されたフレーム（Ｆ０−Ｆ２），（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）は、フレームＦ２に注目した場合の各画像フレームとの差分フレームに相当する。各差分フレーム中の黒塗りで示された領域は、図３の説明図で示した連続画素チェックによって判別された領域を示している。図４の説明図に示す内容例では、連続画素チェックによって判別された領域は、鳥を捉えている領域が、頭部、胴体及び尾部の３つに分かれた状態で夫々判別された領域として示されている。これは、連続画素チェックにより、連続する画素の数が少ない箇所は除去されるので鳥に相当する領域全体が分断されて判別されることを模式的に象徴している。

制御部１０は、図４の説明図に示す３枚のフレームの内のフレームＦ２に注目した場合、フレームＦ２及びフレームＦ１の差分フレーム（Ｆ１−Ｆ２）において判別された領域と、フレームＦ２及びフレームＦ３の差分フレーム（Ｆ２−Ｆ３）において判別された領域とが空間的に重複するか否かを判断する。なお制御部１０は、重複するか否かの判断を各差分フレームで判別された領域内に、同一位置に存在する画素が含まれているか否かによって判断する。具体的には、制御部１０は判別された領域に相当する画素がオンにセットされている２次元配列データ（差分フレーム）を記憶しているので、これらの２次元配列データの論理積を算出する。論理積を算出した結果の２次元配列データに「１」が存在する場合、制御部１０は判別された領域が重複すると判断する。

図４の説明図に示した例では、フレームＦ１及びフレームＦ２の差分フレーム（Ｆ１−Ｆ２）で判別された領域と、フレームＦ２及びフレームＦ３の差分フレーム（Ｆ２−Ｆ３）で判別された領域とで重複する範囲が破線で囲まれて示されており、フレームＦ２中に含まれる鳥を捉えた領域が、差分フレーム中で判別されていることが示されている。

実施の形態１では上述のように、制御部１０は連続する３枚のフレームから算出される２枚の差分フレーム（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）で判別される領域が重複すると判断された場合、重複すると判断された領域は注目している中央のフレームＦ２中の動体を捉えた領域であると認識した。本発明はこれに限らず、所望の突発的現象によっては、連続する４枚のフレームから算出される３枚以上の差分フレームにおいて判別される領域が重複すると判断された場合に、重複すると判断された領域は、注目しているフレーム中で動体を捉えた領域であると認識する構成でもよい。具体的には、図４の説明図に示される３枚の差分フレーム（Ｆ２−Ｆ０），（Ｆ２−Ｆ１），（Ｆ３−Ｆ２）を用い、３重の論理積を算出しても重複する領域は、図４中の破線で示したようにフレームＦ２に存在する鳥を捉えた領域の一部であるはずである。なお、フレームＦ２に注目している場合に、２フ
レーム前のフレームＦ０で判別された領域との論理積をする処理は、後述するように一旦記録されたフレームＦ２の画像データに対し、事後的に処理を行なう構成としてもよい。

このように、一貫した動きを見せるような動体の場合には、差分を取る相手フレームの選び方にあまり依存せず、差分フレーム同士の（多重）論理積を算出することにより、重複する領域として特定のフレーム中に存在する動体が残るはずである。なお、このような理由により、差分フレーム同士の論理積を算出する処理は画像処理の分野では動体を捉えた領域を判別する手段として多用されている。

上述のように、動体を捉えているとして判別された領域は、時間の経過に対して一貫した動きで移動することを利用して、実際に動体を捉えた領域を判別できることを示した。これに対し、ランダムな変動を見せる背景、例えば風に揺れる草木、降雨、川面での光の乱反射、海の波といった野外撮影で見かける対象に対しては、差分フレームの算出の際に相手フレームの選び方によって結果が敏感に変わる。したがって、差分フレーム同士の（多重）論理積を算出した場合、重複する領域として特定のフレーム中に背景を捉えた領域が残る可能性は低い。即ち、連続画素チェックと差分フレーム同士の論理積とを組み合わせることにより、野外や屋外での背景の変動の影響を最小限に抑え、一貫した動きを見せる動体を捉えた領域がより確実に判別されることが期待できる。

図４の説明図を用いて説明した処理を行なうことにより、一貫した動きを見せる動体を捉えた領域は判別された領域として残る一方で、ランダムな変動を見せる背景の領域については、判別された領域から除去される。これについて、具体例を挙げて図を参照して説明する。

なおここで、記録装置１の制御部１０は、画像データが所望の生物の突発的な行動を捉えた可能性を示す指標値として、動体を捉えた領域であると判別された領域に含まれる画素の数を計数する。一貫した動きを見せる動体を捉えた領域である場合、背景の領域とは色合いが違い、且つ動体が明確な大きさを持つときは、図４の説明図で示したように連続画素チェックによって判別された領域は重複しているので、判別された領域に含まれる画素数は論理積の算出後でも大きくは変化しない。これに対し、ランダムな変動を見せる背景の領域については、連続画素チェック及び論理積の算出の処理を制御部１０が行ない、更に前記指標値に基づく判断処理を行なうことによって除去される。

図５及び図６は、実施の形態１における記録装置１の制御部１０が連続画素チェック、論理積の算出及び指標値に基づく判断処理を行なうことによって、画像データ中の背景の領域が除去される例を示す説明図である。図５及び図６の説明図に示す内容例では、図４の説明図に示した一貫的な動きを見せる鳥とは対照的に、ランダムな変動を見せる背景の領域の典型的な例として、揺れる草木が撮像された画像データが示されている。

図５（ａ）、（ｂ）、（ｃ）は夫々、時系列に連続した３フレームの画像データであり、夫々フレームＦ１，Ｆ２，Ｆ３とする。時間の経過はフレームＦ１からフレームＦ２へ、フレームＦ２からフレームＦ３へと進んでおり、フレームＦ３がより新しい画像データである。フレームＦ１，Ｆ２，Ｆ３はいずれも、パンパスグラス（和名：シロガネヨシ、公園などでよく見かけるススキに似た植物）の花穂（長さ５０から７０ｃｍ）が野外において風を受けて揺れる様子を捉えている。なお、フレームＦ１，Ｆ２，Ｆ３は説明を明瞭とするために拡大され、一個一個の画素を識別可能な程度に示されている。

図５（ｄ）は、フレームＦ１及びフレームＦ２の差分フレーム（Ｆ１−Ｆ２）であり、図５（ｅ）は、フレームＦ２及びフレームＦ３の差分フレーム（Ｆ２−Ｆ３）である。なお、画像データ中における位置関係を明瞭とするために、差分フレーム（Ｆ１−Ｆ２），
（Ｆ２−Ｆ３）はフレームＦ２上に重ねて示されている。差分フレーム（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）において、画素値の差分Δが所定値以上であるとして抽出された画素が白抜きで示されている。

図６（ｆ）は、差分フレーム（Ｆ１−Ｆ２）に対し連続画素チェックが制御部１０によって行なわれ、判別された領域を白抜きで示している。これについても画像データ中における位置関係を明瞭とするために、判別されてた領域はフレームＦ２上に重ねて示されている。同様に図６（ｇ）は、差分フレーム（Ｆ２−Ｆ３）に対し連続画素チェックが制御部１０によって行なわれ、判別された領域を白抜きで示している。なお、図６（ｆ）、（ｇ）に示した内容例では、制御部１０は、連続画素チェックを行なう際に水平方向サイズ５画素×垂直方向サイズ５画素のウィンドウを設定して実行した例が示されている。水平方向サイズ５画素×垂直方向サイズ５画素のウィンドウの大きさは、図５（ｄ）、（ｅ）の間の位置及び、図６（ｆ）、（ｇ）の間の位置に黒い正方形で示している。連続画素チェックを行なう際のウィンドウの大きさは、図５及び図６の説明図に示すように、フレームＦ１，Ｆ２，Ｆ３中の花穂に相当する領域よりも小さい。

図６（ｈ）は、制御部１０により連続画素チェックが行なわれた後、論理積の算出処理が行なわれ、論理積の算出処理によって判別された領域として残る領域に対し、更に連続画素チェックが行なわれることによって判別された領域として残る領域を白抜きに黒点がマークされた略長方形で示している。つまり、図６（ｈ）の白抜きの領域は、図６（ｆ）及び（ｇ）の論理積が算出された後に、連続画素チェックが行なわれた上で判別された領域として認識されている領域である。これについても画像データ中における位置関係を明瞭とするために、判別された領域はフレームＦ２上に重ねて示されている。さらに、図６（ｈ）では、図６（ｆ）及び（ｇ）の排他的論理和（ＸＯＲ）が黒塗りで示されている。

図６（ｉ）は、図６（ｈ）との比較のため、連続画素チェックを行なわずに差分フレーム（Ｆ１−Ｆ２）及び差分フレーム（Ｆ２−Ｆ３）の論理積が算出された場合に抽出された画素として残る画素を示している。つまり、図６（ｉ）は、図６（ｄ）及び図６（ｅ）の論理積に相当する。これについても画像データ中における位置関係を明瞭とするために、判別されてた領域はフレームＦ２上に重ねて示されている。

図５及び図６の説明図を参照し、図３および図４で説明した処理は、一貫した動きを見せる動体を捉えた領域を判別された領域としてより確実に残すことを保証する一方で、草木の揺れのようなランダムな動きを見せる背景の領域に対しては有効に除去するフィルターとして作用することを処理の順を追って説明する。具体的には、図５及び図６における花穂と同程度の大きさの小動物を捉えた画像データを、記録装置１の制御部１０により記録させたい場合、ウィンドウの大きさを図５及び図６の説明図に示すサイズとすることによって、連続画素チェックによって小動物を捉えた領域が残る一方で、論理積の算出、更に連続画素チェックを行なうことにより、背景に相当する花穂を捉えた領域は大きく２つの理由によって除去されることを説明する。

まず第１の理由について説明する。図５（ａ）、（ｂ）、（ｃ）のフレームＦ１，Ｆ２，Ｆ３中における花穂を捉えた領域同士の相対的な位置関係は、時間が経過するにしたがって左右に大きく振れている。これに対し図５（ｄ）、（ｅ）の差分フレーム（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）中において白抜きで示された、差分Δに基づいて抽出された画素の領域は、花穂を捉えた領域のほぼ全体に及んでいる。抽出された画素群が占める領域はかなり広く示されているが実際には、抽出されていない画素が黒塗りで頻繁に出現していることが示されている。図５（ｄ）、（ｅ）に示す内容例における背景となる花穂のように、全体として同じ色合いの物体が動く場合、花穂が動いているにも拘わらず、前後のフレームにおける同一の位置の画素において、同じ色合いの物体が存在する可能性が高い。し
たがって、画素値の差分Δが所定値未満であると判断されて抽出されない画素が少なからず生じる。抽出された画素よりは数が少ないので、図５（ｄ）、（ｅ）に示した例では抽出されない画素が占める面積は小さく見えるが、連続画素チェックによって動体を捉えた領域であると判別する処理を制御部１０が行なう場合その影響は少なくない。なぜなら、抽出されていない画素が少なからず生じているために、抽出された画素が水平方向又は垂直方向に所定数以上連続するか否かを判断する際、大部分で連続性が破壊されているからである。これが第１の理由に相当する。なお、このような理由によって、背景の花穂を捉えた領域が判別された領域から除去されることは、図５（ｄ）、（ｅ）の差分フレーム（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）と、図６（ｆ）、（ｇ）の連続画素チェック後の差分フレーム（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）とを比較した場合に、判別された領域として残される領域が減少していることに示されている。

第２の理由について説明する。図６（ｆ）、（ｇ）の連続画素チェック後の差分フレーム（Ｆ１−Ｆ２），（Ｆ２−Ｆ３）を比較した場合、制御部１０の連続画素チェックにより判別された領域は、空間（位置）的に重複していない。これは、図５及び図６の説明図に示した風に揺れる花穂のようにランダムな動きを見せる背景となる物体の場合、一貫した動きを見せる鳥の例にみた動体と比較して、差分フレームの算出の際の相手フレームの選び方によって、判別される領域が偶発的に変化するからである。このような理由によって、背景の花穂を捉えた領域が判別された領域から除去されることは、図６（ｈ）の図６（ｆ）及び（ｇ）の論理積算出及び連続画素チェック後に判別された領域として残っている白抜きに黒点がマークされた２つの略長方形の領域が、黒塗りの領域と比較して大幅に減少していることに示されている。なお、このように判別された領域として残される領域は、図６（ｈ）に示すように花穂を捉えた領域よりも面積が小さい。したがって、上述のように、制御部１０が更に、判別された領域に含まれる画素数が例えば７０画素以上であるか否かの判断を行なうことによって更に除去することができる。また、制御部１０は、判別された領域に対応するフレームＦ２中の画素値を参照し、背景となる花穂を捉えた場合の特徴である色合いに画素値が相当するか否かを判断することも可能である。これにより、制御部１０は花穂を捉えた場合の色合いに相当する画素値を含む領域は背景の領域と認識し、判別された領域から除去する処理も可能である。

図５及び図６の説明図を参照して説明した処理は、上述のように揺れる草木に対して有効であることを示した。なお、上述の２つの理由に示したように、揺れる草木を捉えた背景となる領域が、判別された領域から除去されるのはその動きのランダム性による。したがって、図５及び図６の説明図を参照して説明した処理は、揺れる草木のみならず、降雨や川面のゆれ、海の波、滝、噴水、旗等の背景となる物体に対しても有効である。これにより、野外・屋外において撮像装置２を設置し、記録装置１で所望の生物の突発的な行動を捉えた可能性の高い画像データをより確実に記録したいと考える場合に有効である。

なお、図６（ｈ）及び図６（ｉ）を比較した場合、図６（ｈ）では上述のように２つの白抜きに黒点がマークされた略長方形の領域のみ、判別された領域として残されている一方で、図６（ｉ）で白抜きで示されている領域は画像データ中の大部分の領域を占めている。この違いは、連続画素チェックの処理の有無にある。論理積を算出することにより、判別された領域として除去されずに残される領域の面積が減少するのみならず、連続画素チェックを行なうことにより、所定面積よりも面積が小さい領域は除去されるからである。図６（ｉ）では、白抜きで示されている領域は、大部分が所定面積よりも小さい面積の断片である。このように、画像処理の分野で動体を捉えた領域を判別する手段として多用されている方法、即ち連続画素チェックをすることなしに差分フレーム同士の論理積を算出する方法よりも、背景となる領域を有効に除去することができる点、優れた効果を奏する。

制御部は、一時記憶領域に記憶されている画像データについて１フレームずつに対し、図２乃至図６の説明図で示した処理を行ない、所望の生物を含む動体を捉えた可能性の高い領域を判別し、更に１フレームの画像データ中で判別された領域に含まれる全画素数を指標値として算出する。制御部は、指標値が所定値以上である画像データを記録する。

次に、上述に示した処理を制御部１０が行ない、指標値に基づいて生物の突発的な行動を捉えた可能性が高い画像データを記録する処理について、フローチャートを参照して説明する。図７は、実施の形態１における記録装置１の制御部１０が、撮像装置２から取得した画像データに基づいて生物の突発的な行動を捉えた可能性が高い画像データ及び音声データを記録する処理手順の一例を示すフローチャートである。

制御部１０は、時系列的に取得して一時記憶領域１２に記憶してある画像データを読み出し（ステップＳ１０１）、共に記憶されている前後の画像データを読み出す（ステップＳ１０２）。制御部１０は、ステップＳ１０２で読み出した前後の画像データに対し、ステップＳ１０１で読み出した画像データにおける各画素について、上述の式（１）に基づき画素値の差分を算出する（ステップ１０３）。

制御部１０は、ステップＳ１０３で算出した差分が所定値以上である画素を抽出して差分フレームとし（ステップＳ１０４）、差分フレームに対して連続画素チェックを行なうことにより、例えば５画素×５画素の所定面積以上連続する抽出された画素の領域を判別する（ステップＳ１０５）。制御部１０は、判別された領域の内の、前後の画像データとの差分フレームにおいて同様に判別される領域の内の重複する領域を、他の差分フレームとの論理積を算出することにより残し（ステップＳ１０６）、判別された領域として残された領域に含まれる画素の数を計数する（ステップＳ１０７）。

制御部１０は、判別された領域全てに対してステップＳ１０７で計数した画素の総数を所望の生物の突発的現象を捉えた可能性の高低を示す指標値として算出する（ステップＳ１０８）。制御部１０は、算出された指標値が所定値以上であるか否かを判定し（ステップＳ１０９）、所定値未満で有ると判定した場合は（Ｓ１０９：ＮＯ）そのまま処理を終了する。

制御部１０は、ステップＳ１０８で算出された指標値が所定値以上であると判定した場合（Ｓ１０９：ＹＥＳ）、ステップＳ１０１で読み出した画像データは所望の突発的現象を捉えている可能性が高いので、時系列的に対応する音声データを読み出し（ステップＳ１１０）、ステップＳ１０１で読み出した画像データとステップＳ１１０で読み出した音声データとを共に記録部１１に記録し（ステップＳ１１１）、処理を終了する。

なお制御部１０は、ステップＳ１１１で画像データ及び音声データを記録部１１に記録するに際し、ステップＳ１０１で読み出した画像データのみならず、時系列的に前後の画像データ及び音声データを記録することが望ましい。また、図６（ｈ）に示したように、ステップＳ１０６の論理積の算出処理と、ステップＳ１０７の画素数の計数処理との間に、連続画素チェックを再度行なう構成としてもよい。これは、論理積を算出するのみではランダムに変動する背景を不適切に判別した領域が残りやすいが、連続画素チェックを行なうことによって細かい断片のような領域が抽出されることを回避可能であるからである。

また、実施の形態１における記録装置１では更に、指標値が所定値以上であると判定した画像データに対し、時系列に連続する所定フレーム数以上の画像データについて算出された指標値がゼロでない場合に画像データを記録する。つまり、動体が撮像装置２の視野を十分な時間をかけて横切ったことによって、所定フレーム数以上の画像データで算出さ
れる指標値がゼロとならない場合に、画像データ及びその間に集音された音声データを記録部１１に記録する。具体的には、制御部１０は、図７のフローチャートに示した処理手順が終了し、次に画像データを読み出すまでの待機時間の間を利用すればよい。制御部１０は、記録部１１に記録された画像データに時系列的に連続する他の画像データ夫々について算出される指標値を参照し、指標値がゼロでない画像データが所定フレーム数以上、時系列に連続するか否かを判断する。そして制御部１０は、所定フレーム数以上連続しないと判断した場合、記録部１１に記録されていた画像データを記録部１１から削除する。これにより、照度の瞬間的な変化等の起因によって偶発的に指標値が所定値以上となる不適切な画像データ、音声データを除去することが可能である。なお、この処理は本発明においては必須ではないが、偶発的に記録される不適切なデータを除去できる点で効果を奏する。

制御部１０は、上述のように画像データに基づき、その画像データが所望の突発的現象を捉えている可能性が高いか否かを判定して可能性が高いデータを記録した。しかしながら、所望の突発的現象に伴なうものは動体の動きのみならず、周辺で集音される音声である場合もある。したがって、制御部１０は音声データを解析して所定値以上の音量の音声が含まれている場合、その音量の音声が継続する期間を算出し、算出した期間を指標値として指標値が所定値以上である場合に対応する画像データを音声と共に記録する。

なお、以下に示す説明では音声データを一時記憶領域１２からフレーム単位で読み出し、そのフレーム単位の音声に、所定値以上の音量の音声が含まれていた場合（期間、即ち指標値がゼロで無い場合）はそのフレームの音声に対応する画像データを記録する構成とする。一時記憶領域１２に記憶する画像データ及び音声データが数秒分以上である場合には、音声データをまとめて解析し、所定値以上の音量の音声が継続する期間が０．５秒以上である場合に画像データと共に記録する構成としてもよい。

図８は、実施の形態１における記録装置１の制御部１０が、集音装置３から取得した音声データに基づいて生物の突発的な行動を捉えた可能性が高い画像データを記録する処理手順の一例を示すフローチャートである。

制御部１０は、一時記憶領域１２から直近に音声取得部１４により取得した音声データをフレーム単位で読み出す（ステップＳ２１）。制御部１０は、読み出した音声を解析し（ステップＳ２２）、音量が所定値以上である音声が継続する期間を指標値として算出する（ステップＳ２３）。次に制御部１０は、ステップＳ２３で算出した指標値がゼロでないか否かを判断する（ステップＳ２４）。制御部１０は、指標値がゼロであると判断した場合（Ｓ２４：ＮＯ）、そのまま処理を終了する。一方、制御部１０は指標値がゼロでないと判断した場合（Ｓ２４：ＹＥＳ）、ステップＳ２１で取得した音声データに時系列的に対応する画像データを一時記憶領域１２から読み出し（ステップＳ２５）、夫々を共に記録部１１に記録し（ステップＳ２６）、処理を終了する。

さらに制御部１０は、制御部１０自身又は外部装置から画像データ及び音声データを記録すべきことを示す制御信号を受信した場合、指標値が所定値以上であるか否かに拘わらず記録する処理を行なってもよい。例えば未明時、日没時、湿度が所定値以上、雨天が予想される場合等の時刻又は周辺環境の変化に応じて、制御部１０自身が制御部１０へ制御信号を送信する機構を備えることにより、野外、屋外における環境変化に応じた記録が可能になる。また、超音波センサ、赤外線センサ等のセンサを用いて所望の生物が撮像装置２の撮像範囲に侵入したか否かを検知し、センサから出力される検知信号を制御信号として記録装置１で受け付ける構成としてもよい。更に遠隔地からの指示に応じて記録装置１へ制御信号が送信される構成でもよい。

図９は、実施の形態１における記録装置１の制御部１０が、制御信号に応じて画像データ及び音声データを記録する処理手順の一例を示すフローチャートである。制御部１０は、自身又は外部装置から記録を指示する制御信号を受信したか否かを判断する（ステップＳ３１）。制御部１０は、制御信号を受信していないと判断した場合（Ｓ３１：ＮＯ）、そのまま処理を終了する。

制御部１０は、制御信号を受信したと判断した場合（Ｓ３１：ＹＥＳ）、一時記憶領域１２に記憶されている画像データ又は音声データに基づいて算出される指標値が所定値以上か否かに拘わらず、取得して記憶してある画像データ及び音声データを記録部１１に記録し（ステップＳ３２）、処理を終了する。

制御信号を受信したか否かの判断は、撮像装置２及び集音装置３から画像データ及び音声データを取得する都度行なってもよい。また、制御部１０は、一連の記録処理中に制御信号を受信した場合はそれ以降に取得した画像データ及び音声データは記録部１１に記録するようにしてもよい。

生態学、生物学上の観測では周辺環境の影響も重要な場合がある。このような場合、図９のフローチャートに示した処理手順を記録装置１の制御部１０が実行することにより、周辺環境の影響が変化した場合にそれに応じて画像データ及び音声データを自動的に記録することが可能となる。

制御部１０は、図５乃至図７のフローチャートに示した処理手順を画像取得部１３及び音声取得部１４によりフレーム単位で画像及び音声を取得する都度行なう。これにより、撮像装置２及び集音装置３で撮像、集音された画像データ及び音声データに対し、記録するか否かがリアルタイムに判断される。なお、図７乃至９のフローチャートに示した処理を制御部１０が実行することによるＰＣへの負荷は、リアルタイムに十分に処理が可能な程度である。このように、複雑な処理を行なうことなく容易な処理構成で実現可能である点、効果を奏する。

図１０は、実施の形態１における記録装置１の制御部１０の処理によって記録される画像データ及び音声データの内容例を示す説明図である。図１０の説明図には、画像データ及び音声データの名前、及び時刻情報を記録している場合の時刻情報が示されている。実施の形態１における記録装置１の制御部１０は、図１０の説明図に示すように、取得した順に画像データ及び音声データに番号を付与している。これによって時刻情報を記録して対応付けない場合でも、相互に対応する画像データ及び音声データを読み出すことができる。

図１０の説明図には、画像データ及び音声データに付与された番号が不連続であること、及び対応付けられている時刻が不連続であることから分かるように、所望の生物の突発的な行動を捉えた可能性が高い画像データ及び音声データのみ記録されている。図１０の説明図から、長時間にわたって撮像、集音された画像データ及び音声データを全て記録する場合では撮像、集音が開始されてから６２６８０フレーム以上の画像データが記録されることが推測される。これに対し、制御部１０が図７乃至９のフローチャートに示した処理手順を繰り返すことにより、１１フレームの画像データが記録されるのみで済む。したがって、ユーザが撮像装置２、集音装置３及び記録装置１を動作させてから長時間が経過しても、突発的な行動を捉えた可能性が高い画像データ及び音声データのみ記録されるので、無駄に記録部１１の記録容量が消費されることはない。また、後にユーザが画像データの内容を確認する場合でも、確認するデータが少ないので作業が簡単になる。

なお、図７のフローチャートに示した処理手順の内のステップＳ１０５で所定面積以上
連続する領域を判別するに際し、生物を捉えた領域の画像中に占める面積及び形状は、その生物の大きさ、形状、撮像装置２との生物と距離に応じて異なる。比較的大きな面積にわたった動きを伴なう突発的現象を捉えようとする場合、判別する領域の大きさを比較的大きめに設定しておくことにより、所望の突発的現象を捉えた画像データ及び音声データのみ記録できることが期待される。

そこで、実施の形態１における記録装置１は更に、制御部１０が制御プログラム１Ｐを読み出して実行することにより、表示部１６に、所定面積の大きさ、所定面積に含まれる水平方向サイズ、垂直方向サイズの設定、及び連続する画像データのフレーム数の設定を受け付ける設定画面を表示する機能を有している。

図１１は、実施の形態１における記録装置１の表示部１６に表示される設定画面の一例を示す説明図である。図１１の説明図に示すように、設定画面には水平方向サイズを画素で表わす数字を入力することが可能な編集エリア１５１、垂直方向サイズを画素で表わす数字を入力することが可能な編集エリア１５２、所定面積のサイズを画素で表わす数字を入力することが可能な編集エリア１５３、指標値がゼロでない画像データの連続フレーム数を入力することが可能な編集エリア１５４、各編集エリアに入力した数字を制御部１０により読み取ることを指示するための「ＯＫ」ボタン１５５、及び、設定をキャンセルすることを指示するための「ＣＡＮＣＥＬ」ボタン１５６が含まれる。

制御プログラム１Ｐが制御部１０によって読み出されて実行されることにより、表示部１６に表示される操作画面中に「設定」ボタンが表示され、ユーザが入力部１５により「設定」ボタンを押下した場合、制御部１０は「設定」ボタンが押下されたことを検知して図１０の説明図に示す設定画面を表示する。制御部１０は、設定画面が表示されている状態で「ＯＫ」ボタン１５５が押下されたことを検知した場合、編集エリア１５１，１５２，１５３，１５４から所定面積に対応する画素数、水平方向サイズの画素数、垂直方向サイズの画素数、連続する画像データのフレーム数夫々に対応して入力された数値を読み出す。制御部１０は、読み出した夫々の数値を上述の図２乃至図６の説明図に示した処理に用いる数値として設定し、次に図７及び図９のフローチャートに示した処理を開始する場合に用いる。

図１１の説明図に示された例の場合、制御部１０は、まず水平方向に５画素以上連続するか否かを判断し、次に垂直方向に５画素以上連続するか否かを判断し、論理積を算出して判別された領域が、７０画素分の面積以上連続する場合に当該領域を判別された領域とするように動作する。更に制御部１０は、７０画素分の面積以上連続する領域が判別されて指標値が例えば７０以上である画像データが記録部１１に記録された場合に、当該画像データに時系列に連続する２フレーム以上の画像データにおける指標値がゼロでないときは、当該画像データを記録部１１から除去せずに保存するように動作する。

次に、図１０の説明図に示したように記録された画像データ及び音声データに対して再解析を行ない、所望の生物の突発的な行動を捉えた可能性のより高い画像データ及び音声データを抽出する処理について説明する。例えば、所望の生物によっては連続スパイク音を発する何らかの行動を稀にすることが既知であり、ユーザがその時の生物の行動を画像で捉えたいと考える場合がある。この場合、記録してある画像データ及び音声データから、連続スパイク音の特徴を有する音声データに対応する画像データを抽出することにより、後に確認するデータが更に減少する。

図１２は、実施の形態１における記録装置１の制御部１０が記録してある画像データ及び音声データを再解析して抽出する処理手順の一例を示すフローチャートである。制御部１０は、記録部１１に記録してある画像データ及び音声データを読み出し（ステップＳ４
０１）、音声データの内容を解析する（ステップＳ４０２）。制御部１０は解析した結果に基づいて、読み出した音声データに含まれる音声の周波数分布が既知である所定の周波数分布（例えば、特定の音程の音）を再現しているか否かを判断する（ステップＳ４０３）。制御部１０は、所定の周波数分布を再現していると判断した場合（Ｓ４０３：ＹＥＳ）、記録部１１に記録してある全データを解析したか否か判断する（ステップＳ４０４）。

制御部１０は、音声が所定の周波数分布を再現していないと判断した場合（Ｓ４０３：ＮＯ）、音声の時間分布が所定の時間分布（例えば、連続スパイク音、特定の長さの音）を再現しているか否かを判断する（ステップＳ４０５）。制御部１０は、音声が所定の時間分布を再現していると判断した場合（Ｓ４０５：ＹＥＳ）、ステップＳ４０４へ処理を進める。制御部１０は、音声が所定の時間分布を再現していないと判断した場合（Ｓ４０５：ＮＯ）、画像データを解析する（ステップＳ４０６）。制御部１０は、解析した結果に基づいて、読み出した画像データに、上述の処理により判別された領域が所定数以上あるか否かを判断する（ステップＳ４０７）。例えば制御部１０は、判別された領域が５つ以上などの条件に基づいて判断する。

制御部１０は、判別された領域が所定数以上あると判断した場合（Ｓ４０７：ＹＥＳ）、ステップＳ４０４へ処理を進める。制御部１０は、判別された領域が所定数未満であると判断した場合（Ｓ４０７：ＮＯ）、判別された領域に含まれる画素の画素値の分布、色分布又は輝度分布が所定の分布を再現しているか否かを判断する（ステップＳ４０８）。所望の生物を撮像した場合に、その生物の模様、表面の凹凸の特徴に応じて生物を捉えた領域に相当する画素の周波数分布、色分布、又は輝度分布に特徴がある場合、それらの特徴的な分布を予め記録しておき、ステップＳ４０８において比較することにより、所望の生物に関する画像データのみ記録することが可能になる。

制御部１０は、画素の周波数分布、色分布又は輝度分布が所定の分布を再現していると判断した場合（Ｓ４０８：ＹＥＳ）、処理をステップＳ４０４へ進める。一方で制御部１０は、画素の周波数分布、色分布又は輝度分布が所定の分布を再現していないと判断した場合（Ｓ４０８：ＮＯ）、判別された領域の重心位置が所定位置であるか否かを判断する（ステップＳ４０９）。例えば、生物の可動範囲が画像データ中で限られている場合、可動範囲外に重心位置がある判別された領域は所望の生物の行動を捉えた領域でないと判断することが可能であるからである。

制御部１０は、判別された領域の重心位置が所定位置であると判断した場合（Ｓ４０９：ＹＥＳ）、処理をステップＳ４０４へ進める。制御部１０は、判別された領域の重心位置が所定位置でないと判断した場合（Ｓ４０９：ＮＯ）、次に判別された領域の重心位置と、先行する画像データ中で判別された領域の重心位置との距離に基づいて算出される移動速度が所定速度未満であるか否かを判断する（ステップＳ４１０）。なお、ステップＳ４１０における判断は、移動速度が所定速度以上であるか否かでもよいのは勿論である。所望の生物の突発的行動に伴なう動きの速度が、ある程度既知である場合にこれを有効に抽出することが可能であるからである。

制御部１０は、移動速度が所定速度未満であると判断した場合（Ｓ４１０：ＹＥＳ）、処理をステップＳ４０４へ進める。制御部１０は、移動速度が所定速度以上であると判断した場合（Ｓ４１０：ＮＯ）、ステップＳ４０１で読み出した画像データ及び音声データは所望の生物の突発的な行動を捉えた可能性が低いので、当該データを記録部１１から削除し（ステップＳ４１１）、処理をステップＳ４０４へ進める。

制御部１０は、記録してある全データを解析していないと判断した場合（Ｓ４０４：Ｎ
Ｏ）、処理をステップＳ４０１へ戻して他の画像データ及び音声データについて以降の処理を行ない、記録してある全データを解析したと判断した場合（Ｓ４０４：ＹＥＳ）、再解析及び抽出処理を終了する。

制御部１０は、図７乃至図９のフローチャートに示した処理手順を画像データ及び音声データを取得する都度、リアルタイムに実行するのに対し、図１２のフローチャートに示す処理手順を一旦記録された画像データ及び音声データに対してバッチ処理的に実行する。これにより、多様な条件に基づいて複雑な判断処理も容易に行なうことが可能である。

なお、図１２のフローチャートに示した処理手順は本発明において必須ではなく、記録された画像データ及び音声データの量が依然として多い場合に、制御部１０によって行なわれる構成でもよい。また、ステップＳ４１１において所望の生物の突発的な行動を捉えた可能性が低いデータについては削除する構成としたが、異なる記憶部１１中の異なる記憶領域に移動させる、即ち保留データとして異なるフォルダに移動させる処理を行なうとしてもよい。さらに、図１２のフローチャートに示した全ての処理手順を行なうことは必須ではなく、捉えたい所望の生物の突発的な行動に応じてステップＳ４０３、Ｓ４０５、及びＳ４０７からＳ４１０までの処理の内の一又は複数、あるいは全てを行なう構成でもよいし、順序もこれに限らない。捉えたい所望の生物の突発的な行動の条件が推測されており条件が限られている場合など、更に画像データ及び音声データを絞り込みたい場合に有用である。

次に、上述の処理によって記録された画像データ及び音声データに対し、実際に所望の生物の突発的な行動を捉えているか否かをユーザが確認するために本発明に係る記録装置１が有する再生機能について説明する。制御部１０の処理により、記録部１１には図１０の説明図に示したように画像データ及び音声データが相互に対応付けられて記録されている。場合によっては画像データ及び音声データが撮像装置２及び集音装置３から取得された時刻が対応付けて記録されている。制御部１０は、対応する画像データ及び音声データを同期させて表示部１６、出力部１７に夫々与えて出力させる。再生処理の開始のきっかけは、制御部１０は表示部１６に表示される操作画面に「再生」ボタンを表示させておき、制御部１０が「再生」ボタンの押下を検知した場合とする。

図１３は、実施の形態１における記録装置１の制御部１０が記録してある画像データ及び音声データを再生する処理手順の一例を示すフローチャートである。制御部１０は、上述のように「再生」ボタンの押下を検知するなどユーザの操作によって再生が指示されたか否かを判断する（ステップＳ５１）。制御部１０は、再生が指示されていないと判断した場合（Ｓ５１：ＮＯ）、処理をステップＳ５１へ戻して再生が指示されたと判断するまで待機する。

制御部１０は、再生が指示されたと判断した場合（Ｓ５１：ＹＥＳ）、記録部１１から時系列的に対応する画像データ及び音声データを読み出し（ステップＳ５２）、読み出した画像データ及び音声データを同期したタイミングで表示部１６、出力部１７に夫々与えて出力させ（ステップＳ５３）、処理を終了する。

制御部１０は、ステップＳ５２で対応する画像データ及び音声データを読み出すに際し、図１０の説明図に示したように名前によって対応付けられた画像データ及び音声データを読み出すようにしてもよい。また、時刻情報を対応付けて記録している場合は、例えば１３：００以降のデータを読み出すという条件が与えられているときに１３：００以降の条件を満たす時刻情報に対応付けられている画像データ及び音声データを夫々読み出すようにしてもよい。

なお、読み出す画像データ及び音声データは、記録する処理に応じて記録部１１における区別可能な領域（フォルダなど）に分けて記録しておき、ユーザが再生を指示する際に領域を指定することも可能である。この場合、制御部１０は指示された領域に記録されている画像データ及び音声データを読み出すようにすることにより、後の画像データ及び音声データの管理が容易になる。

図１３のフローチャートに示した処理手順を制御部１０が実行することにより、記録されている画像データ及び音声データが実際に所望の生物の突発的な行動を捉えているか否かを確認する作業を、ユーザは映像を視聴するように行なうことができ、作業の負荷が軽減される。なお、記録される画像データ及び音声データは、何らかの動き、音声が含まれる場合がほとんどであるので、ユーザが視聴の継続を苦痛と感じないことが期待される。

（実施の形態２）
実施の形態２では、記録装置１を設置して使用する場合、周辺環境によっては明暗が頻繁に変動する状況も想定される。実施の形態１において説明したように、記録装置１では前後の画像データとのフレーム間で画素値の差分を算出し、差分が所定値以上である画素が抽出される。したがって、画像データの面全体にわたり明暗の変動がある場合、同一位置の画素値が異なるフレーム間で大きく変化し、この変化に伴なって所望の生物の突発的な行動を捉えた可能性が高いと判断されて記録される可能性も考えられる。これを周辺環境の変化として記録すべき場合も考えられる。しかしながら、時系列的に前後する画像データにおけるフレーム間の画素値の変化による差分が、面全体にわたる明暗の変動に伴なう場合には画像データ及び音声データが極力記録されないように、オプションとして以下の処理を行なってもよい。

実施の形態２における記録装置１の構成は、制御部１０による画像データから指標値を算出する処理手順以外は、実施の形態１における構成と同様である。したがって、同様の構成については実施の形態１と同一の符号を付して、以下に制御部１０が画像データ及び音声データを記録する処理手順について説明する。

制御部１０は、実施の形態１同様に、注目する画像データについて前後の画像データを読み出して、同一箇所に位置する画素値のフレーム間差分が所定値以上である画素を抽出する（図２、３参照）。実施の形態２における記録装置１の制御部１０は、オプションとして図３の説明図に示したように抽出された画素から、明暗の影響を受けたことによってフレーム間差分が大きくなった画素を削除する。このように抽出された画素から、制御部１０が明暗の影響を受けて差分が大きく算出された画素を削除する原理を図３を参照して説明する。

制御部１０は、実施の形態１における処理と同様に、まず、抽出された画素が水平方向に５つ以上連続する場合にそれらの画素群を抽出された画素とする。実施の形態２における記録装置１の制御部１０は次に、連続する画素群と両隣の画素群とで画素値の差分が所定値以上である場合に、連続する画素群を抽出された画素とする。これは、画像データが背景と異なる物体を含んでいる場合は、抽出された画素群の両端に輪郭に相当するエッジが検出されるはずだからである。

前述のように、明暗の変動の影響を受けた場合は画素値のフレーム間差分が大きく算出される可能性がある。しかしながら、制御部１０が更にエッジ検出を行なうことにより、明暗の変動の影響を軽減できることが期待される。制御部１０が連続画素チェックを行なう場合は異なるフレーム間での画素値の差分を算出するので、異なるフレーム間で明暗に変動があるときには、その明暗の変動が直接的に処理結果に影響を与える。一方、制御部１０がエッジ検出処理を行なう場合は同一フレーム内における近接した画素間の画素値の
差分を算出するので、フレーム内の広い範囲にわたってが明暗が変動したときでもその明暗の変動の影響は相殺される。そこで制御部１０は、連続画素チェックにおいて画素値のフレーム間差分が所定値以上であると判断して抽出された画素も、エッジ検出における同一フレーム内での近接の画素との画素値の差分が所定値未満であるときには、当該画素については抽出しない。これにより、フレーム間差分が所定値以上であるとして連続して抽出された画素が存在しても、輪郭が明確でない領域は動体を捉えた領域ではなく明暗の変動による影響を受けた領域であると認識されて抽出されない。

図１４は、実施の形態２における記録装置１の制御部１０が、エッジ検出を考慮して領域を判別する処理手順の一例を示すフローチャートである。なお、図１４のフローチャートに示す処理手順は、実施の形態１における図７のフローチャートに示した処理手順の内のステップＳ１０５の詳細内容に相当する。実施の形態２の制御部１０は、一時記憶領域１２から画像データ及び音声データを読み出して記録する場合、基本的に図７のフローチャートに示した処理手順を実行する。

制御部１０は、ステップＳ１０４の処理手順で抽出された画素の内、水平方向に所定数以上（例えば５つ以上）連続する画素群を抽出する（ステップＳ６１）。制御部１０は抽出した画素群の画素値の平均値を色成分（ＲＧＢ）毎に算出する（ステップＳ６２）。差分は、式（１）に従い算出する。なお、制御部１０はステップＳ６２において、平均値をステップＳ６１の処理中に算出することも可能である。

制御部１０は、連続する画素群の隣に位置する画素の画素値を読み出し、算出した平均値との差分を色成分毎に算出する（ステップＳ６３）。制御部１０は、ステップＳ６１で抽出した水平方向に連続する画素群の内の、ステップＳ６３で算出した差分が所定値以上である画素群を抽出する（ステップＳ６４）。

制御部１０は、ステップＳ６４によって抽出された画素群に対し、次に垂直方向に所定数以上連続する画素群を抽出する（ステップＳ６５）。これにより水平方向及び垂直方向に夫々所定数以上連続する、即ち所定面積以上抽出された画素が連続する領域を判別することができるので、処理を図７のフローチャートに示したステップＳ１０６に戻す。

図３の説明図に示した例を参照し、図１４のフローチャートに示した処理手順を当てはめた場合、以下のように領域が判別される。制御部１０は、ステップＳ６２の処理によって「５」番目の走査線上の「３」から「７」番目までの画素の画素値の平均値を色成分毎に算出する。制御部１０は、算出した平均値と「５」番目の走査線上の「２」番目の画素の画素値との差分、及び「８」番目の画素の画素値との差分を算出し、いずれかの差分が所定値以上である場合、当該「５」番目の走査線上の「３」から「７」番目までの画素を抽出された画素群として扱う。逆に制御部１０は、いずれの差分も所定値未満である場合、当該「５」番目の走査線上の「３」から「７」番目までの画素は、所望の生物を捉えた画像領域でないことが推測されることから抽出された画素として残さない。

図１４のフローチャートに示したような処理手順を制御部１０が実行することによってエッジ検出を行ない、動体と推測される領域が含まれる画像データを更に抽出する構成とすることにより、野外、屋外等、周辺環境が変化する場所での明暗の影響を小さくして所望の突発的現象をより確実に記録することができる。

なお、図１４のフローチャートに示したような処理手順により行なわれるエッジ検出は、フレーム間の明暗の変動の影響を軽減するために有効であるが、注意点が２点挙げられる。第１の注意点としては以下のような点が挙げられる。制御部１０の処理によりエッジが検出された場合、更に制御部１０が検出されたエッジが動体の輪郭に対応するのか、又
は背景の物体の輪郭に対応するのかを判断することは難しい。撮像装置２を野外・屋外に設置して記録を行なうとする場合、背景が自然環境であるときには背景の物体を捉えた領域で明瞭なエッジが検出される可能性が低い。しかしながら、背景が人工物であるときには背景の文体を捉えた領域で明瞭なエッジが頻繁に検出される可能性が高い。したがって、制御部１０は、検出されたエッジが背景の物体を捉えた領域で検出されたものであるか否かを判断する必要がある。このため容易な方法で判断する処理としては、制御部１０は、図１４のフローチャートに示した処理手順の内のステップＳ６４及びステップＳ６５の間に、所望の突発的現象を捉えた画像データではないと判断された画像データ中の同一位置でエッジが検出されるか否かを判断し、エッジが検出される場合、ステップＳ６４で抽出される画素については除外する処理を行なえばよい。

また第２の注意点としては以下のような点が挙げられる。所望の生物の突発的な行動又は背景によっては、生物が高速で移動する場合、水中で撮像された場合等ではその行動に伴なう動体の輪郭が明瞭でないときがある。

第１及び第２の注意点により、図１４のフローチャートに示した制御部１０による処理手順は、あくまでも場合に応じて動作させるオプションとすることが望ましい。

（実施の形態３）
生物学、生態学上で重要視される画像データ及び音声データは、より高品質であることが望ましい。しかしながら、高品質な画像データ、音声データは扱う情報量が大きくなるので、高速な処理が困難となる。そこで実施の形態３では、高品質なデータの取得と高速処理との相反する２つの要求を満たすために、生物の突発的な行動を捉えた可能性の高低を判定するために用いる画像データを出力する撮像装置２の他に、高品質の画像データを記録する第２撮像装置４を更に１台含む構成とする。つまり、高速処理は撮像装置２で満たし、高品質データは第２撮像装置４で取得する。

図１５は、実施の形態３における記録システムの構成を示すブロック図である。実施の形態３における記録システムは、記録装置１が第２撮像装置と接続するための接続部１８を有している以外は、実施の形態１及び２における記録システムを構成するものと同様の記録装置１、撮像装置２及び集音装置３を含む。以下の説明では、実施の形態１及び２と同様の構成については同一の符号を付して詳細な説明を省略する。

第２撮像装置４は、撮像装置２よりも高解像度の撮像素子を有する撮像部４１と、集音装置３よりも高品質のマイクロホンである集音部４２と、所定の周波数で時刻情報を出力する計時部４３と、ＨＤを有する記録部４４とを備える。

第２撮像装置４の記録部４４は、例えば毎秒３０フレーム毎に撮像部４１の撮像素子から出力される画像データと、集音部４２から出力される音声データとを、計時部４３により出力される時刻情報に対応付けて順次記録する。画像データ、音声データ及び時刻情報は、実施の形態１における図１０の説明図に示したように記録されてもよい。

実施の形態３における記録装置１の制御部１０は、接続部１８を介して第２撮像装置４の記録部４４に記録された画像データ及び音声データを読み出すことが可能である。制御部１０は、実施の形態１及び２に示したように所望の生物の突発的な行動を捉えた可能性が高い画像データ及び音声データのみを記録する処理を行なう。これに対し、ユーザが記録装置１で記録された画像データ及び音声データを確認し、所望の生物の行動を捉えた画像データ及び音声データについて、より高精細、高品質なデータを参照したいと望む場合がある。そこで、実施の形態１における記録装置１の制御部１０は、第２撮像装置４の記録部４４に記録されている画像データ及び／又は音声データを参照する指示を入力部１５
により受け付ける。制御部１０は、入力部１５により上述の指示を受け付けた場合、記録部１１に記録されている画像データに対応付けられている時刻情報を読み出す。制御部１０は、読み出した時刻情報と一致する時刻情報が対応付けられている画像データ及び／又は音声データを接続部１８を介して記録部４４から一時記憶領域１２に読み出す。制御部１０は、読み出した画像データ及び／又は音声データの一覧を表示部１６に表示するか、又は読み出した画像データ及び音声データを夫々表示部１６、出力部１７へ与えて出力させるかいずれかの処理を実行する。

このように、実施の形態３における記録装置１では、簡易な処理によって所望の生物の突発的な行動を捉えた可能性が高い画像データ及び音声データのみを記録することができる。更に、第２撮像装置４でも画像データ及び音声データを記録しておくことにより、対応付けられている時刻情報に基づいて最終的に撮像画像として高品質な画像データ及び音声データを得ることができる。

なお、実施の形態３においては第２撮像装置と記録装置１とが接続されていなくてもよい。したがって、記録装置１は接続部１８を備えていない構成でもよい。この場合、記録装置１の記録部１１に記録されている画像データ及び音声データ、並びに対応付けられている時刻情報に基づいて人手により第２撮像装置で時刻情報と共に記録されている画像データを容易に検索することが可能である。

なお、実施の形態１乃至３において、音声データは画像データと比較した場合占める容量が小さい。したがって、図８及び図１２のフローチャートに示したように音声データに基づいて画像データを記録するか否かを判断するが、音声データについては全データを記録しておく構成としてもよい。

なお、実施の形態１乃至３における記録装置１では、撮像装置３から取得した画像データを時系列に圧縮符号化して映像ファイルへ変換することなしに、静止画としフレーム単位で記録する構成とした。静止画のまま記録する処理は、圧縮符号化して後に復号して解析するよりも処理負荷が少なく、最終的に静止画を用いる場合を考慮すれば、このように簡易な処理の構成で実施することが望ましい。ＰＣを用いた簡便なリアルタイム処理に適している。

また、実施の形態１乃至３における記録装置１の制御部１０は、一の画像データに注目して前後のフレームの画像データと比較して連続画素チェック、論理積の算出を、撮像装置３から画像データを取得する都度リアルタイム処理によって行ない、当該一の画像データを記録するか否かを判定した。しかしながら、本発明はこれに限らず、記録部１１に大容量の記録媒体を用い、一旦全フレームの画像データ及び音声データを記録しておき、上述に説明した処理を行なって所望の生物の突発的な行動を捉えている可能性が低い画像データ及び音声データについては除去する構成としてもよい。この場合に、時系列的に前後の画像データとの連続性のチェックを行なうときに、直前直後以外のフレームの画像データとの比較処理を行なう構成としてもよい。

実施の形態１における記録装置の構成を示すブロック図である。 実施の形態１における記録装置の制御部が、一の画像データについて前後の画像データと比較した場合に画素値が大きく変化している画素を抽出する原理を示す説明図である。 実施の形態１における記録装置の制御部により、動体を捉えた領域の一部である可能性が高いとして抽出された画素の例を模式的に示す説明図である。 実施の形態１における記録装置の一時記憶領域に記憶される画像データの内容例を示す説明図である。 実施の形態１における記録装置の制御部が連続画素チェック、論理積の算出及び指標値に基づく判断処理を行なうことによって、画像データ中の背景の領域が除去される例を示す説明図である。 実施の形態１における記録装置の制御部が連続画素チェック、論理積の算出及び指標値に基づく判断処理を行なうことによって、画像データ中の背景の領域が除去される例を示す説明図である。 実施の形態１における記録装置の制御部が、撮像装置から取得した画像データに基づいて生物の突発的な行動を捉えた可能性が高い画像データ及び音声データを記録する処理手順の一例を示すフローチャートである。 実施の形態１における記録装置の制御部が、集音装置から取得した音声データに基づいて生物の突発的な行動を捉えた可能性が高い画像データを記録する処理手順の一例を示すフローチャートである。 実施の形態１における記録装置の制御部が、制御信号に応じて画像データ及び音声データを記録する処理手順の一例を示すフローチャートである。 実施の形態１における記録装置の制御部の処理によって記録される画像データ及び音声データの内容例を示す説明図である。 実施の形態１における記録装置の表示部に表示される設定画面の一例を示す説明図である。 実施の形態１における記録装置の制御部が記録してある画像データ及び音声データを再解析して抽出する処理手順の一例を示すフローチャートである。 実施の形態１における記録装置の制御部が記録してある画像データ及び音声データを再生する処理手順の一例を示すフローチャートである。 実施の形態２における記録装置の制御部が、エッジ検出を考慮して領域を判別する処理手順の一例を示すフローチャートである。 実施の形態３における記録システムの構成を示すブロック図である。

符号の説明

１ 記録装置
１０ 制御部
１１ 記録部
１Ｐ 制御プログラム
１２ 一時記憶領域
１３ 画像取得部
１４ 音声取得部
２ 撮像装置
３ 集音装置
４ 第２撮像装置

Claims (13)

1. 外部装置から出力される撮像画像を時系列的に取得し、取得した撮像画像を記録媒体に記録する記録装置において、
   時系列的に取得した撮像画像を一時記憶領域に一時的に記憶する手段と、
   前記一時記憶領域に記憶されてある撮像画像の内の一の撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値を算出する算出手段と、
   該算出手段が算出した指標値が所定値以上であるか否かを判定する判定手段と
   を備え、
   前記判定手段が所定値以上であると判定した撮像画像を前記記録媒体に記録するようにしてあること
   を特徴とする記録装置。
2. 外部装置から出力される集音音声を時系列的に取得する手段と、
   時系列的に取得した集音音声を前記一時記憶領域に撮像画像に対応付けて記憶する手段と
   を備え、
   前記算出手段は、前記一時記憶領域に記憶されてある集音音声の内の一部の集音音声についても前記指標値を算出するようにしてあり、
   前記判定手段が所定値以上であると判定した撮像画像又は集音音声を夫々に対応付けられている集音音声又は撮像画像と共に記録するようにしてあること
   を特徴とする請求項１に記載の記録装置。
3. 前記撮像画像は複数の画素からなり、
   前記算出手段は、
   一の撮像画像に対し時系列的に前後の撮像画像を取得する手段と、
   一の撮像画像を構成する画素の内の、前記前後の撮像画像中の同一箇所に位置する画素と比較した場合に画素値の差分が所定値以上である画素を抽出する抽出手段と、
   抽出された画素が所定面積以上連続する画像領域を判別する判別手段と、
   判別された画像領域が、前記一の撮像画像に対し時系列的に前後する所定画像数以上の撮像画像との比較に基づき前記抽出手段及び判別手段によって抽出され判別された画像領域と重複するか否かを判断する手段と、
   重複すると判断した場合、判別された画像領域に含まれる抽出された画素の数を計数する計数手段と
   を備え、
   該計数手段が計数した画素数に対応した指標値を算出するようにしてあること
   を特徴とする請求項１又は２に記載の記録装置。
4. 前記抽出手段が抽出した画素が水平方向に所定画素数以上連続するか否かを判断する手段と、
   所定画素数以上連続すると判断した場合、連続する画素群における画素値と他の画素群における画素値との差分が所定値以上であるか否かを判断する手段と
   を備え、
   所定値以上であると判断した場合に、前記連続する画素群を抽出された画素とするようにしてあること
   を特徴とする請求項３に記載の記録装置。
5. 前記算出手段は、
   取得した集音音声に含まれる所定値以上の音量の音声が継続する期間の長さを算出する手段を備え、
   算出した期間の長さに対応した指標値を算出するようにしてあること
   を特徴とする請求項２乃至４のいずれかに記載の記録装置。
6. 前記判定手段が所定値以上であると判定した撮像画像又は集音音声と時系列に連続する所定数以上の撮像画像又は集音音声について、前記算出手段により算出した指標値が第２所定値以上である場合に、前記撮像画像又は集音音声を記録するようにしてあること
   を特徴とする請求項１乃至５のいずれかに記載の記録装置。
7. 前記所定面積の大きさの設定、前記所定面積に含まれる画素の水平方向への連続数及び垂直方向への連続数の設定、並びに、前記所定数の設定
   の内の一又は複数を受け付ける手段
   を備えることを特徴とする請求項３乃至６のいずれかに記載の記録装置。
8. 計時手段と、
   撮像画像及び集音音声を取得した場合、前記計時手段から時刻情報を取得する時刻取得手段と、
   撮像画像及び集音音声を前記記録媒体に記録するに際し、前記時刻取得手段が取得した時刻情報を対応付けて記録する手段と、
   対応付けて記録してある時刻情報に基づき、記録されている撮像画像及び集音音声を時系列に同期するように連続して出力する手段と
   を備えることを特徴とする請求項２乃至７のいずれかに記載の記録装置。
9. 記録媒体に記録された撮像画像及び／又は集音音声から、
   音声の周波数分布、
   音声の音量の時間分布、
   前記判別された領域の一の撮像画像中の数、
   前記判別された領域に含まれる画素値の周波数分布、
   前記判別された領域の画像中における重心位置及び該重心位置の複数の撮像画像にわたる移動速度、及び、
   前記判別された領域に含まれる画素値の色及び輝度分布
   の内の一又は複数に基づき撮像画像及び集音音声を抽出する手段
   を更に備えることを特徴とする請求項３乃至８のいずれかに記載の記録装置。
10. 所定の信号を受信した場合、受信後に取得した撮像画像及び／又は集音音声を時系列的に記録するようにしてあること
    を特徴とする請求項１乃至９のいずれかに記載の記録装置。
11. 第１の撮像装置と、第１の撮像装置が撮像する範囲と同一範囲を撮像するように設置されている第２の撮像装置と、前記第１の撮像装置から撮像画像を取得する請求項１乃至１０のいずれかに記載の記録装置とを含み、
    前記第２の撮像装置は、
    計時手段と、
    撮像画像を撮像した時刻を示す時刻情報を前記計時手段から取得する手段と、
    取得した時刻情報と共に撮像した撮像画像を記録媒体に記録する手段と
    を備え、
    前記第１の記録装置で記録された撮像画像に対応する撮像画像を前記第２の撮像装置により記録されてある撮像画像から抽出する手段
    を備えることを特徴とする記録システム。
12. 撮像装置から撮像画像を時系列的に取得し、取得した撮像画像を記録媒体に記録する記
    録装置における記録方法において、
    前記記録装置に一時的に利用される一時記憶領域を備えて用い、
    時系列に取得した撮像画像を前記一時記憶領域に記憶し、
    一時記憶領域に記憶されている撮像画像の内の一の撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値を算出し、
    算出された指標値が所定値以上であるか否かを判定し、
    所定値以上であると判定された撮像画像を前記記録媒体に記録する
    ことを特徴とする記録方法。
13. 撮像装置に接続されるコンピュータを、前記撮像装置から撮像画像を時系列的に取得する手段、取得した撮像画像を一時記憶領域に記憶する手段、及び、一時記憶領域に記憶されている撮像画像を記録媒体に記録する手段として機能させるコンピュータプログラムにおいて、
    前記コンピュータを
    一時記憶領域に記憶してある撮像画像の内の一の撮像画像について所望の突発的現象を捉えている可能性の高低を示す指標値を算出する算出手段、
    該算出手段が算出した指標値が所定値以上であるか否かを判定する判定手段、及び、
    前記指標値が所定値以上であると判定された撮像画像を記録媒体に記録させる手段
    として機能させることを特徴とするコンピュータプログラム。