JP2010062962A - 映像情報処理装置 - Google Patents

Abstract

【課題】これまでの映像情報処理装置では、農業従事者の少ない農家や、複数の農場や、広範囲な農場での生産や、更に効率的な農産物の生産をするためには、記録した映像情報や監視カメラの位置情報などを利用して効率的な監視することができていなかった。
【解決手段】本発明によれば、映像情報処理装置において、監視カメラに記録媒体を付加し、記録した映像情報の違いからアラーム信号を通信部から出力して携帯電話に農産物の状況を映像情報で提供する事が可能で、農産物を撮影するときには記録した映像情報に付加した位置情報やパンチルト情報の属性情報を利用して効率的に監視カメラの位置決めを行う事が可能。更に、記録した映像との違いにより人物検知を行いアラーム信号を出力することが可能。また、映像情報に違いがないときは監視カメラ１台だけで広範囲な農場を監視することも可能。このようにする事で農場のオーナーが、現地に出向かなくても、効率的に農産物を監視する事が可能となる。
【選択図】 図１

Description

本発明は映像情報処理装置に関する。

特許文献１には「果実の遠隔収穫システムの提供。」という課題を、「果実を栽培する農家のシステム３０と購入する顧客１０端末とこの仲介システム２０と運送会社の端末４０とがインターネット１００で接続され、農家システム３０は、処理装置と撮像装置を含み果実の成育状況映像を送信する手段を有し、仲介システム２０は、顧客端末１０に収穫可能な果実とその栽培農家情報を表示し、果実の種別と栽培農家の指定情報、顧客の個人情報を取得する手段と、指定された栽培農家のシステム３０に前記果実映像の送信を要求しそれを顧客端末１０に表示し、購入する果実の指定情報を取得する手段と、指定された果実の収穫指示を栽培農家のシステム３０に送信し、収穫された果実の顧客先への配送依頼情報を作成し、運送会社の端末４０に送信する手段とを備える。」という解決手段で解決することが記載されている。

特許文献２には「農産物Ｄの評価情報及び栽培場所を、生産部Ａの生産情報及び流通部Ｂの流通情報、消費部Ｃの消費情報と対応させて情報管理装置１０に記憶する。且つ、情報管理装置１０に記憶された生産情報及び流通情報、消費情報等を閲覧及び取り出す場合、情報端末装置６Ａ，６Ｂ，６Ｃを操作して、生産部Ａ及び流通部Ｂ、消費部Ｃから情報管理装置１０にアクセスするだけで、情報管理装置１０に記憶された情報を何時及び何処からでも閲覧及び検索、取得することができ、生産及び流通、消費における有益及び必要な情報が得られる。」精密農法情報管理システムが記載されている。

特開２００４−２５８９８３ 特開２００４−１３３４９８

農場などの農産物を監視カメラで撮影して、効率よく農産物を監視するには監視中のサポートが必要である。

具体的には、農産物を監視するためには、映像情報に加えて監視カメラの位置情報や農産物の位置情報を利用して監視することも重要である。

さらに、農産物の監視中、人物の侵による東南などの被害を防ぐため、農産物を撮影しながら監視することを可能にする課題があった。

しかし、以上の課題について特許文献１、２は一切記載していなかった。

そこで本発明では、効率的な監視カメラシステムを提供する事を目的とする。

そこで本発明では、監視カメラに記録媒体を付加し、記録した映像情報の違いからアラーム信号を出力する事を可能とする。また、監視カメラの位置情報やパンチルト情報を撮影した記録情報の属性情報として記録し、記録した属性情報を元に監視カメラの位置決めを効率的に行う事を可能とする。例えば撮像部により撮像される映像情報から記録した映像情報との違いを抽出し、違いがあれば、携帯電話にメールを送信して農産物の映像情報を提供する事を可能とする。このようにする事で、効率的な農産物の監視を行う事を可能とする。

本発明によれば、使い勝手の良い映像情報処理装置を提供することができる。

以下、本発明の一実施の形態について図面を参照しながら説明する。

図１は本実施形態による映像情報処理装置１の一例として監視カメラシステムの構成を示す。監視カメラ１の撮影するシチュエーションは果樹園やビニールハウスなどの農場や植物工場を一例とする。図１に映像情報処理装置の一例を示す。１は監視カメラ。１００はカメラ部。１０１はレンズ、１０２はＣＭＯＳセンサ、１０３は記録部、１０４は映像信号処理部、１０５は制御部、１０６は、位置情報取得部、１０７は可動部、１０８は演算部、１０９は通信部、１１０は入力部である。

まず、始めに図１で示す映像信号処理装置の動作を説明する。カメラ部１００は被写体を撮像して映像信号を出力する構成であればどのような構成でも良い。レンズ１０１を介して被写体の画像をＣＭＯＳセンサ１０２で捕らえ、ＣＭＯＳセンサ１０２で捕らえた画像は、電気信号に変換され映像信号処理部１０４で映像信号に変換する。 続いて、上記映像信号は制御部１０５によって制御され、上記位置情報取得部１０６によって取得した位置情報を取得する。続いて、制御部１０５によって出力される制御信号に基づいて上記可動部１０７がカメラの位置や向きを調整する。演算部１０８は、記録部１０３に記録した位置情報を比較し、また、記録部１０３に記録した映像信号を比較し違いがあればアラーム信号を出力する。通信部１０９は、映像信号の入出力や、キーボードやマウスやジョイスティックなどの入力部１１０によって信号を入力する事が可能である。図１では各構成を説明の都合上分けて記載したが、回路設計等に応じて適宜1チップにまとめてもよいものとする。制御の容易性や回路設計のスペース上有利になることもあるからである。

記録部１０３は、少なくとも、撮像した情報を記録したり、日時を記録したり、電子メールアドレス（以下、メールアドレスと称す）などの電子信号を記録する。記録部１０３の記録媒体は、内蔵でも外付けでもよく、半導体記録装置、磁気ディスクドライブ装置（以下、ＨＤＤ）でも光ディスクドライブ装置（以下、ＢＤやＤＶＤ）でも電子信号を記録できる媒体であれば何でも良い。通信部１０９は、少なくとも携帯電話などの携帯端末やパーソナルコンピュータ（以下、ＰＣと称す）など他の端末や携帯電話の基地局などの機器と通信を行う機能を有する。少なくとも図１に示すような構成を有する撮像装置を利用して撮影する。

次に監視カメラ１が自律制御により自在に移動可能な場合において、監視カメラ１の位置情報を取得し映像情報と関連付けをする手順について説明する。まず、位置情報取得部１０６がＧｌｏａｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（以下、ＧＰＳと称す）であって、監視カメラ１は位置情報を位置情報取得部１０６のＧＰＳにより取得することが可能。制御部１０５は、前記位置情報から地図情報を作成し記録部１０３に記録する。監視カメラ１は、レンズ１０１を通して撮像センサ１０２で被写体を撮像する。撮像センサで捕らえた画像は電気信号に変換され映像信号処理部１０４でデジタル映像信号に変換される。デジタル映像信号に変換された信号は制御部１０５によって上記、半導体記録装置やＨＤＤやＢＤ、ＤＶＤといった記録媒体に対して映像情報として記録される。撮影した情景画像から果樹や果実などの農産物を検知するアルゴリズムは、前記デジタル映像信号に変換された一般的な画像の濃度分布を統計的特徴で抽出してもよいし、画像の不連続部分をエッジとして一般的なエッジ抽出によって特徴を抽出して特長パラメータあるいは特徴ベクトルを求める。こうした特徴量の中から標準パターンに整合する物体を被写体の対象とする農産物と認識するなど、物体を検知、あるいは、物体を認識する手法であれば何でも良い。このようにして農産物を検知、あるいは、認識すると同時に監視カメラ１の位置情報を位置情報取得部１０６から位置情報や、記録部１０３に記録した前記地図情報に監視カメラ１の位置を示す情報を付加した位置情報を、制御部１０５が前記映像情報に関連付けて映像情報の属性情報として記録部１０３に記録する事により、監視カメラ１の位置情報を取得し映像情報と関連付ける事を可能とし、位置情報を映像情報の属性情報として記録部１０３に記録する。

また、映像情報と位置情報の関連付けにおいて、監視カメラ１がレールなどの構造物に沿って、監視カメラ１に備えられた可動部１０７で移動する場合の映像情報と位置情報の関連付けについて説明する。まず、レールにはμチップなどの無線タグが備つけられてあり、監視カメラ１は、無線タグの識別情報を前記通信部１０９より受信して識別情報を取得する。制御部１０５は、無線タグの識別情報を取得した所を位置情報として前記記録部１０３に記録する。制御部１０５は、このようにして得られた位置情報を前記農産物の検知、または、認識の手法により農産物を撮影した映像情報と共に位置情報を関連付けて位置情報を映像情報の属性情報として記録部１０３に記録する。

また、映像情報と位置情報の関連付けにおいて、農産物の特定の位置を示す樹木の幹や枝、栽培の棚や台などの構造物や土壌などの場所にＱＲコードが付加された状況での映像情報と位置情報の関連付けをする手順について説明する。まず、ＱＲコードにはあらかじめ農産物の場所を示す位置情報や農産物の名前や種類を示す情報が設定してある。監視カメラ１は、前記農産物を検知するアルゴリズムによって農産物を検知すると共にその付近にあるＱＲコードを撮影する。また、先にＱＲコードを認識してその付近の農産物や情景を撮影することも可能。制御部１０５はこのようにして得られた映像情報と位置情報を関連付けて位置情報を映像情報の属性情報として記録部１０３に記録する。

次に、監視カメラ１は、前記のような位置情報の属性情報が付加された映像情報により監視してアラーム信号を出力する手順について説明する。監視カメラ１は、記録部１０３に記録した位置情報の属性情報が付加された映像情報を元にユーザーが設定した時間になると制御部１０５から記録部１０３に記録された映像情報の属性情報を抽出して位置情報を取得する。位置情報を取得した後、位置情報に従い移動するための制御信号を可動部１０７に伝え移動する。このように移動した後、位置情報と整合した位置に来ると可動部１０７は停止して、農産物を撮影し記録部１０３に記録する。監視カメラ１は、記録された農産物の過去の映像情報と現在の映像情報を演算部１０８にて比較する。演算部１０８にて比較した結果を違いの度合いによって信号を出力する。違いの度合いは、過去の映像情報から検知、または認識した農産物の特徴量と比較してその違いを抽出する。特徴量は色の濃度であっても良いし、物体のエッジ検出による特徴量であっても良い。特徴量の違いの大きさによってアラーム信号の出力可否を判断するための閾値を設定する事が可能。閾値は入力部１１０から入力可能で、また、通信部１０９を通じて外部機器から入力する事が可能である。入力した閾値は、記録部１０３に記録することが可能。更に、記録部１０３にあらかじめ携帯電話のメールアドレスを記録しておく事で、制御部１０５は、演算部１０８で比較した結果、違いが閾値を超えていると判定すると、記録部１０３に記録した電話番号に自動で画像情報やテキスト情報を送信する事が可能である。閾値は果樹の葉の揺れ程度ではアラーム信号を出さないように設定する事が可能である。また、ＱＲコードを撮影できない場合には、ＱＲタグがないと判定し、ＱＲコードのタグの有無によってアラーム信号出力する事が可能。このように、監視カメラ１は、記録部１０３に記録した映像情報と属性情報に基づき農産物を監視することが可能。また、監視カメラ１は、可動部１０７によって移動しながら撮影することが可能であるため、移動しながら過去の映像情報と比較し、人の有無や果樹のような木の有無や車の有無などを過去の映像の特徴量との違いを演算部１０８で比較する事が可能である。人が侵入したような場合においても人物検知によりアラーム信号を出力する事が可能。以上のように、監視カメラ１は、記録した映像情報と属性情報により、目的の農産物の位置を抽出して農産物を撮影し比較する事が可能で、更に、記録した映像との違いから人物などの有無を検知、または、認識する事が可能で農産物の管理及び農産物の盗難防止に利用可能な情報を提供する事ができる。

次に、監視カメラ１の可動部１０７のパンチルト情報を利用した撮影手順について説明する。図２は、監視カメラ１が、記録された映像情報の属性情報から位置情報とパンチルト情報を抽出して農産物を撮影している様子を示す。１は監視カメラ、２はレール、３００は農産物のなる樹木で、３０１は、農産物である。監視カメラ１は、前記農産物の検知または認識により撮影を行う際に制御部１０５から可動部１０７へ農産物が画面の中央などの任意または所定の位置に映されるようにパンチルトするための制御信号としてパンチルト情報を送る。可動部１０７は、制御部１０５から送られた制御信号のパンチルト情報に基づいてパンチルトする。このときのパンチルト情報を映像情報の属性情報として記録部１０３に記録する。更に、このとき農産物周辺の情景や農産物の樹木などが所定の大きさとなるように撮影する場合にズームしたときのズーム情報も映像情報の属性情報として記録部１０３に記録してもよい。次に、制御部１０５は、記録部１０３に記録した映像情報の属性情報から、位置情報を抽出して目的の位置まで移動させる位置情報を可動部１０７に伝える。可動部１０７は制御部１０５から送られた位置情報に基づいて動作して監視カメラ１を目的の位置まで移動させる。監視カメラ１が目的の位置まで移動した後、制御部１０５は、属性情報からパンチルト情報を抽出して可動部１０７にパンチルト情報を送り、監視カメラ１をパンチルトする。更に、制御部１０５は属性情報からズーム情報を抽出してズーム動作を行い、農産物３０１を撮影する。このように、映像情報の属性情報に基づいて、監視カメラ１の位置を移動すると共にパンチルト、ズームする事により前回記録した画像情報との差分をとりやすくする効果がある。

次に、農場に人が侵入した場合や農産物が盗難された状況において監視カメラ１から農場や農産物の状況を知らせる情報が携帯電話にアラームを示すメールが送信されたときの状況について説明する。図３は、農場の三次元地図情報である。３００ａと３００ｂと３００ｃと３００ｄは農産物のなる樹木、３０１ａと３０１ｂと３０１ｃと３０１ｄは、各々農産物である。５ａは三次元で領域を表す線である。５ｂは三次元で領域を表したときの太線である。５００ａは領域Ａ１，５００ｂは領域Ａ２、５００ｃは領域Ｂ１、５００ｄは領域Ｂ２、６００は侵入してきた人物である。図３は、携帯電話に送られた第一のＵＲＬを選択して、表示された画面を示す。図３は、農産物３０１ｄがあったとき、或いは、人物検知により人が侵入してきたときの映像を表示している。５ｂは、領域Ｂ２（５００ｄ）の樹木３００ｄから農産物３０１ｄが撮像できなかった事を示す。次に第二のＵＲＬを選択すると３０１ｄがなくなった状態の映像が表示される（図示せず）。画像は、メールの添付ファイル機能を利用して添付画像として表示しても良い。

次に、領域Ｂ２（５００ｄ）を携帯電話の十字キーで選択すると、図４に示すような拡大画像が表示される。図４の３０１ｄは、農産物。４００は表示画面。４０１は、盗難された農産物を枠で囲んだ様子を示す一例である。次に、様々な他の表示方法について説明する。図５の３０１ｄは、盗難された農産物を画像処理により４０２の農産物を囲む点線と農産物の画像を点滅表示させている様子を示す。図６は、農産物が盗難される前と後の様子を２画面分割表示した様子である。４００ａは、農産物があるときの映像表示で、４００ｂは農産物が盗難されたときの映像表示である。４０３は、盗難された農産物が合った場所を示す印で矢印でも枠かこみでも位置を示せれば何でも良い。次に、図７は、第三のＵＲＬを選択して表示したときの様子である。４００は表示画面で、４０４は、盗難された農産物の情報を一覧表の中で太線で枠囲み表示した様子である。この枠の色や枠内の文字の色や背景の色を変えるなど、盗難された事を示す表示であればなんでも良い。一覧表の列で領域は、地図情報の領域を示す。ＩＤは、農産物を撮影したときの固有の識別情報である。画像は農産物を記録したときの画像をサムネール表示したものである。日時は、農産物を撮影したときの日時情報である。有無は、農産物の画像を取得できたかどうかにより農産物の有無を表している。図８は、監視カメラ１の記録部１０３に記録した映像情報の属性情報を利用したナビゲーション機能を有効にしたときの様子を示す。監視カメラ１には、通信部１０９や入力部１１０からナビゲーション機能を有効にする信号が入力されるとナビゲーション可能な状態になり、属性情報の位置情報とパン、チルト、ズーム情報を利用してカメラの位置と向きを整える。次に監視カメラ1に内蔵したレーザー光源（図示せず）レーザー４０５で盗難された農産物があった付近をレーザー光で照射して農産物のあった場所を示す。また、侵入してきた人物を追尾してどのような経路で侵入してきてどのような経路で逃亡したかをレーザーで表示する事も可能。

以上、このような映像情報と位置情報やパンチルト情報などの属性情報を利用した監視カメラ１を使用する事により農産物の監視と人物の侵入を検知してアラーム信号を出力して携帯電話に農場の様子や農産物の様子を画像情報によって知らせる事が出来る。また、監視カメラ１は、自律制御により歩行、飛行などどのような手段で移動しても良い。更に、このような監視カメラ１を利用する事により記録した映像情報に違いがなければ１台の監視カメラで監視して、記録した映像情報に違いがあれば複数台数の監視カメラで監視するよう制御部１０５から他の監視カメラを制御するための制御信号を出力して通信部を通じて他の監視カメラを稼動して監視することも可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

映像情報処理装置の構成図 撮影状況の図 三次元地図情報の図 撮影した映像情報を表示した画面の図 撮影した映像情報を表示した画面の図 撮影した映像情報を表示した画面の図 農産物の情報を一覧表示した画面の図 ナビゲーション機能の様子を示す図

符号の説明

１ 映像情報処理装置
２ レール
１０ 監視カメラ
１００ カメラ部
１０１ レンズ
１０２ 撮像センサ
１０３ 記録部
１０４ 映像信号処理部
１０５ 制御部
１０６ 位置情報取得部
１０７ 可動部
１０８ 演算部
１０９ 通信部
１１０ 入力部
３００ 樹木
３０１ 農産物
３００ａ 樹木
３００ｂ 樹木
３００ｃ 樹木
３００ｄ 樹木
３０１ａ 農産物
３０１ｂ 農産物
３０１ｃ 農産物
３０１ｄ 農産物
５ａ 領域の範囲を示す枠
５ｂ 領域の範囲を示す太枠
５００ａ 領域Ａ１
５００ｂ 領域Ａ２
５００ｃ 領域Ｂ１
５００ｄ 領域Ｂ２
４００ 表示画面
４０１ 対象の農産物を囲む枠
４０２ 対象の農産物の点滅表示とその点線枠
４０３ 対象の農産物があった場所を示す印
４０４ 対象の農産物がなくなった情報を示す太枠
４０５ 対象の農産物がなくなった情報を示すレーザー光線
４００ａ 農産物を記録した映像の表示画面
４００ｂ 農産物を記録した映像と違いが生じた状態の表示画面
６００ 人物

Claims (8)

1. 被写体を撮像し、撮像した情報を記録媒体へ記録する映像情報処理装置であって、
   被写体を撮像する撮像部と、
   前記撮像部により撮像した映像情報を記録する記録部と、
   前記映像情報処理装置の位置情報を取得する位置情報取得部と、
   前記映像情報処理装置を動作させるための可動部と、
   前記映像情報に位置情報を関連付けて属性情報として前記記録部に記録する制御部と、
   前記制御部は前記記録部に記録した前記属性情報の位置情報により映像情報処理装置の位置を整える信号を出力することを特徴とし、
   前記撮像部から撮像した情報と前記記録部に記録した情報の出力と、前記映像情報処理装置外部からの信号を受信する通信部を有することを特徴とする映像情報処理装置。
2. 請求項１に記載の映像情報処理装置であって、
   前記制御部は、撮影したときの映像情報処理装置の位置情報に加え更に、パンチルト情報を前記記録部に映像情報の属性情報として記録することを特徴とした映像情報処理装置。
3. 請求項２に記載の映像情報処理装置であって、
   前記制御部は、前記記録部に記録した映像と同じ向きで撮影を可能とするため撮像部の向きを整えることを特徴とした映像情報処理装置。
4. 請求項３に記載の映像情報処理装置であって、
   前記位置情報取得部は、特定の位置に設置された無線タグから出力される識別情報を前記通信部より取得し、前記制御部により前記記録部に前記識別情報を記録すると共に、前記識別情報を取得した位置を位置情報として記録することを特徴とした映像情報処理装置。
5. 請求項４に記載の映像情報処理装置であって、
   前記撮像部でバーコードを撮像した後、前記制御部によりバーコード情報を取得して前記記録部に撮像情報と共に記録すると共に、前記バーコード情報を取得した位置を位置情報として前記記録部に記録することを特徴とした映像情報処理装置。
6. 請求項５に記載の映像情報処理装置であって、
   前記記録部に記録した位置情報を比較する演算部と、
   前記演算部により位置情報を比較した結果、位置情報を取得出来ていないと判断した場合に、位置情報を取得できていないことを示す信号を前記演算部より出力することを特徴とする映像情報処理装置。
7. 請求項６に記載の映像情報処理装置であって、
   前記演算部は、前記記録部に記録した撮像情報を比較した後、違いがあれば違いを示すアラーム信号を出力することを特徴とする映像情報処理装置。
8. 請求項７に記載の映像情報処理装置であって、
   前記演算部で前記記録部に記録した撮像情報を比較して違いを判断するための閾値となる値を入力する入力部を備えたことを特徴とする映像情報処理装置。

Images