JP2022153507A - 画像処理装置、画像処理方法、プログラム、および画像処理システム - Google Patents

Abstract

【課題】現場の監理業務を画像処理技術を用いて支援する装置において、その画像処理の演算量を削減する技術を提供する。【解決手段】画像処理装置１０は、土木工事現場または建設現場を撮影した動画から、当該動画における動きの有無を判断するための指標となる指標情報を取得する指標情報取得部１１０と、指標情報に基づいて動画の中で複数の部分区間を設定する区間設定部１２０と、部分区間毎に、当該部分区間に対応する指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成するタイムラプス動画生成部１３０と、複数の部分区間のうち指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行する画像解析部１４０と、タイムラプス動画および解析処理の結果を出力する出力部１５０と、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。

現場に設置されたカメラ等により生成される映像を利活用する、所謂映像ソリューション技術が提供されている。例えば、下記特許文献１には、監視カメラにより撮影された動画内の動きの有無を検知し、動きが検知されなかった区間の撮像映像の再生速度を、動きが検知された区間の撮像映像の再生速度よりも速くする監視カメラシステムが開示されている。

また、画像処理に係る技術の一例として、下記特許文献２には、動画内の動きに基づいて間引き対象のフレームを選択し、当該選択したフレームを間引いた動画を生成する技術が開示されている。

特開２０１８－３８０８２号公報 特開２００９－４４６１１号公報

現場の監理業務に携わる監理者は、現場の状況や現場で行われている作業の成果（進捗度合い）などを、確認する必要がある。このような監理業務をコンピュータ等の装置を使って支援する場合、当該装置で実行される画像処理の演算量は少ない方が好ましい。画像処理が入力映像に対して一定に行われる場合、画像処理に向かない映像フレームも処理対象としてしまい、装置のリソースを十分に発揮できない課題がある。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、現場の監理業務を画像処理技術を用いて支援する装置において、その画像処理の演算量を削減する技術を提供することである。

本発明の画像処理装置は、
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得する指標情報取得手段と、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定する区間設定手段と、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成するタイムラプス動画生成手段と、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行する画像解析手段と、
前記タイムラプス動画および前記解析処理の結果を出力する出力手段と、
を備える。

本発明の画像処理方法は、
コンピュータが、
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定し、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成し、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
ことを含む。

本発明のプログラムは、コンピュータに、上述の画像処理方法を実行させる。

本発明の画像処理システムは、
撮像装置と、
前記撮像装置と通信可能に接続された画像処理装置と、を備える画像処理システムであって、
前記撮像装置は、
土木工事現場または建設現場を撮影して動画を生成し、
前記動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に応じて決まるレートで、前記動画を構成する複数のフレーム画像の中から、前記画像処理装置に送信する複数の送信用フレーム画像を選択し、
選択した前記複数の送信用フレーム画像を前記画像処理装置に送信し、
前記画像処理装置は、
前記撮像装置から送信された前記複数の送信用フレーム画像を用いてタイムラプス動画を構築し、
前記複数の送信用フレーム画像の中から、前記レートが基準を満たす送信用フレーム画像を用いて解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する。

本発明によれば、現場の監理業務を画像処理技術を用いて支援する装置において、その画像処理の演算量を削減することができる。

第１実施形態における画像処理システムの構成を概念的に示すブロック図である。 「動きの多い区間」におけるフレーム画像の一例を示す図である。 「動きの少ない区間」におけるフレーム画像の一例を示す図である。 画像解析部により「解析対象のフレーム画像」として選択されたフレーム画像を例示する図である。 画像処理装置１０のハードウエア構成を例示するブロック図である。 第１実施形態の画像処理装置１０により実行される処理の流れを例示するフローチャートである。 タイムラプス動画生成部によるタイムラプス動画生成処理の具体的な流れを例示するフローチャートである。 画像解析部による解析処理の具体的な流れを例示するフローチャートである。 第２実施形態の画像解析部により実行される処理の流れを例示するフローチャートである。 画像解析部が変位検出処理の対象から除外するフレーム画像の一例を示す図である。 第３実施形態の画像解析部により実行される処理の流れを例示するフローチャートである。 第３実施形態の変形例で実行される処理の流れを例示するフローチャートである。 フレームの間引き処理を概略的に説明する図である。 第５実施形態における画像処理システムのシステム構成を例示的に示す図である。 撮像装置により実行される処理の流れを例示するフローチャートである。 画像処理装置１０により実行される処理の流れを例示するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［第１実施形態］
〔処理構成〕
図１は、第１実施形態における画像処理システム１の構成を概念的に示すブロック図である。図１に示されるように、画像処理システム１は、画像処理装置１０、撮像装置２０、出力装置３０を含んで構成される。画像処理装置１０は、撮像装置２０および出力装置３０と通信可能に接続されている。画像処理装置１０は、現場（例えば、土木工事現場や建設現場など）に設けられた撮像装置２０から動画を取得し、その動画を基に生成したタイムラプス動画および映像の解析結果を、監理者用の出力装置３０に出力する。以下、画像処理装置１０についてより詳細に説明する。

図１に示されるように、本実施形態の画像処理装置１０は、指標情報取得部１１０、区間設定部１２０、タイムラプス動画生成部１３０、画像解析部１４０、および、出力部１５０を有する。

指標情報取得部１１０は、撮像装置２０により生成された現場（土木工事現場や建設現場など）の動画から、指標情報を取得する。指標情報は、当該動画における動きを判断するための指標となる情報である。

例えば、指標情報取得部１１０は、動画を構成する複数のフレーム画像（映像データ）を基に、動画における動きを示す指標情報を取得することができる。具体的には、指標情報取得部１１０は、フレーム画像間の差分情報を、動画における動きを示す指標情報として取得することができる。例えば、動画の中で何らかの動きがあった場合、異なるフレーム画像間でその動きの大きさに応じた差分が生じる。このように、異なるフレーム画像間の差分は、動画の中での動きを判断する指標として利用可能である。指標情報取得部１１０は、例えば、互いに隣接する２つのフレーム画像間で差分情報を取得してもよいし、予め決められた枚数の連続フレーム画像を１つのグループとして、グループ単位で差分情報を取得してもよい。

また例えば、指標情報取得部１１０は、動画に音声データが含まれている場合、当該音データを基に、動画の中での動きを示す指標情報を取得することができる。具体的には、指標情報取得部１１０は、音データの音量を示す情報を、動画の中での動きを示す指標情報として取得することができる。例えば、動画の中で何らかの動きがあった場合、その動きの主体（例えば、作業員や建機などの動体）が音源となって音が生じることがある。また、物体の動きによって生じた音の大きさ（音量）は、その動きの大きさを示し得る。このように、動画に含まれる音データは、動画の中での動きを判断する指標情報として利用可能である。

区間設定部１２０は、指標情報に基づいて、動画の中で複数の部分区間を設定する。

例えば、区間設定部１２０は、次のように動作する。まず、区間設定部１２０は、指標情報に基づいて、その指標情報に対応するフレーム画像の区間が「動きの多い区間」および「動きの少ない区間」のいずれに該当するかを判別する。具体的な例として土木工事現場を撮影した動画のケースを考える。

この場合、「動きの多い区間」では、指標情報取得部１１０は、例えば、予め定められた基準を超える動きを示す指標情報を得ることができる。例えば、動画中の「動きの多い区間」は、主に、物体（工事用の建機や車両、または、作業員など）が写るフレーム画像（例：図２）を含む。図２は、「動きの多い区間」におけるフレーム画像の一例を示す図である。図２には、複数の工事用車両が走行している瞬間を切り取ったフレーム画像が例示されている。指標情報取得部１１０は、図２に例示されるようなフレーム画像を主に含む区間については、予め定められた基準を超える動きを示す指標情報（フレーム画像間の差分や音データの音量）を得ることができる。そして、区間設定部１２０は、指標情報取得部１１０により取得された指標情報に基づいて、図２に例示されるようなフレーム画像を「動きの多い区間」の画像と判断することができる。

また、「動きの少ない区間」では、指標情報取得部１１０は、例えば、予め定められた基準以下の動きを示す指標情報を得ることができる。例えば、動画中の「動きの少ない区間」は、主に、物体（工事用の建機や車両、または、作業員など）が写っていないフレーム画像（例：図３）を含む。図３は、「動きの少ない区間」におけるフレーム画像の一例を示す図である。指標情報取得部１１０は、図３に例示されるようなフレーム画像を主に含む区間については、予め定められた基準以下の動きを示す指標情報（フレーム画像間の差分や音データの音量）を得ることができる。そして、区間設定部１２０は、指標情報取得部１１０により取得された指標情報に基づいて、そのフレーム画像を「動きの少ない区間」の画像と判断することができる。

そして、区間設定部１２０は、「動きの多い区間」または「動きの少ない区間」として連続するフレーム画像群（部分区間）をそれぞれ特定する。そして、区間設定部１２０は、特定された部分区間それぞれの始端および終端のフレーム画像の位置を示す情報を図示しないメモリなどに保持する。これにより、動画の中に複数の部分区間が設定される。

なお、区間設定部１２０は、「動きの多い区間」を、指標情報が示す動きの大きさに応じて段階的に判別するように構成されていてもよい。その場合、「動きの多い区間」として連続するフレーム画像群（部分区間）は段階別に設定される。同様に、区間設定部１２０は、「動きの少ない区間」を、指標情報が示す動きの大きさに応じて段階的に判別するように構成されていてもよい。その場合、「動きの少ない区間」として連続するフレーム画像群（部分区間）は段階別に設定される。

タイムラプス動画生成部１３０は、撮像装置２０が生成した動画を基に、タイムラプス動画を生成する。タイムラプス動画生成部１３０は、区間設定部１２０により設定された部分区間毎に、その部分区間に対応する指標情報に応じて決まるレート（再生速度）でタイムラプス処理を施すことによって、タイムラプス動画を生成する。具体的には、タイムラプス動画生成部１３０は、部分区間に対応する指標情報が示す動きが大きいほど、その部分区間のレートが小さく（再生速度が遅く）なるように、その部分区間に対してタイムラプス処理を実行する。言いかえると、タイムラプス動画生成部１３０は、「動きの多い区間」として設定された部分区間のレートが、「動きの少ない区間」として設定された部分区間のレートよりも小さくなるように、各部分区間に対してタイムラプス処理を実行する。一例として、タイムラプス動画生成部１３０は、「動きの多い区間」として設定された部分区間のレートおよび「動きの少ない区間」として設定された部分区間のレートが、それぞれ、「２倍」および「１０倍」となるようにタイムラプス処理を実行する。ここで、ある部分区間の再生速度をＮ倍にする場合、タイムラプス動画生成部１３０は、単純にその部分区間のフレームレートをＮ倍にしてもよいし、当該部分区間においてＮ－１枚飛ばしで再生用のフレーム画像を選択（間引き）してもよい。前者の処理では、生成されるタイムラプス動画においてデータの欠落はない。つまり、前者の処理で生成したタイムラプス動画に対しては、監理者が、タイムラプス動画の再生速度を下げれば、各フレーム画像を詳細に確認することが可能である。そのため、監理者が各フレーム画像をより詳細に見る可能性がある部分区間（具体的には、動きの多い区間）に対するタイムラプス処理としては、前者の処理が好ましい。また、後者の処理では、間引いた部分のフレーム画像については監理者が確認できなくなるが、生成されるタイムラプス動画のデータ量が削減される。そのため、監理者が再生速度を変更して見る可能性が低い部分区間（具体的には、動きの少ない区間）に対するタイムラプス処理としては、後者の処理が好ましい。なお、区間設定部１２０によって「動きの多い区間」および「動きの少ない区間」が複数の段階で設定される場合、タイムラプス動画生成部１３０は、各段階に対応するレートを使って、上述したようなタイムラプス処理を実行する。

画像解析部１４０は、複数の部分区間のうち、特定部分区間を選択する。ここで、「特定部分区間」は、区間設定部１２０によって設定された複数の部分区間の中で、指標情報が示す動きが基準を満たす部分区間である。具体的には「特定部分区間」は、指標情報が示す動きが基準以下である（すなわち、動きの少ない）部分区間である。画像解析部１４０は、各部分区間に対応する指標情報によって示される、各部分区間の動きの大きさに基づいて、その動きが基準（例えば、予め設定された閾値）以下である部分区間を特定部分区間として選択することができる。

例えば、指標情報取得部１１０が、フレーム画像間の差分を示す情報を指標情報として取得したとする。この場合、画像解析部１４０は、各部分区間に対応する指標情報に基づいて、その指標情報が示す差分が基準（例えば、予め設定されたフレーム画像間の差分に関する閾値）以下である部分区間を、特定部分区間として選択することができる。また例えば、指標情報取得部１１０が、動画に含まれる音データの音量を示す情報を指標情報として取得したとする。この場合、画像解析部１４０は、各部分区間に対応する指標情報に基づいて、その指標情報が示す音量が基準（例えば、予め設定された音量に関する閾値）以下である部分区間を、特定部分区間として選択することができる。なお、指標情報が示す音量が基準以下である部分区間の映像では、例えば、建機、車両、作業員といった、監視対象の物体が活動していない可能性が高い。すなわち、指標情報が示す音量が基準以下の部分区間は、監理者が注視する必要性の低い映像区間とも言える。一方、指標情報が示す音量が基準を超える部分区間の映像では、上記で例示したような監視対象の物体が活動している可能性が高い。すなわち、指標情報が示す音量が基準を超える部分区間は、監理者が注視すべき映像区間とも言える。

そして、画像解析部１４０は、特定部分区間として選択された部分区間のフレーム画像を用いて、解析処理を実行する。具体的には、画像解析部１４０は、特定部分区間のフレーム画像に写る解析対象物の変位を検出する処理を、上述の解析処理として実行する。

ここで、「解析対象物」とは、現場において形状または色が時間の経過と共に少しずつ変化する物体（形状または色の経時変化が小さい物体）である。解析対象物の具体的な例としては、盛土、ダム堤体、コンクリートブロック、コンクリート舗装、法面に吹き付けられるコンクリートやモルタル、路面に散布された水分、プラントの資材置き場に置かれた資材、船舶等の積荷、埋め立て地のゴミなどが挙げられる。但し、解析対象物は、ここで挙げた例に限定されない。例えば、解析対象物が「盛土」である場合、その高さ、法長、幅などが時間の経過とともに少しずつ変化していく。また、解析対象物が「ダム堤体」である場合、その高さ、ジョイントの間隔、厚さなどが時間の経過と共に少しずつ変化していく。また、解析対象物が「コンクリートブロック」である場合、その高さ、法長、幅などが時間の経過と共に少しずつ変化していく。また、解析対象物が「コンクリート舗装」である場合、その長さや面積などが時間の経過と共に少しずつ変化していく。また、解析対象物が「路面に散布された水分」である場合、路面の水分量などが時間の経過と共に少しずつ変化していく。なお、画像解析部１４０は、路面の色に基づいて路面の水分量を推測することができる。また、解析対象物が「プラントの資材置き場に置かれた資材」である場合、その量などが時間の経過と共に少しずつ変化していく。また、解析対象物が「船舶等の積荷」である場合、その量などが時間の経過と共に少しずつ変化していく。また、解析対象物が「埋め立て地のゴミ」である場合、その量などが時間の経過と共に少しずつ変化していく。画像解析部１４０は、時間の経過と共に少しずつ変化するこれらの解析対象物について、特定部分区間（動きの少ない部分区間）のフレーム画像を解析することで、その変位を検出する。

また、画像解析部１４０は、活火山や河川の変位を検出する処理を、解析処理として行ってもよい。例えば、画像解析部１４０は、活火山から噴煙等が上がる前の（すなわち、動きの多いフレーム画像よりも前の）、動きの少ないフレーム画像を解析することによって、活火山の噴火の兆候を検出できる可能性がある。同様に、画像解析部１４０は、河川の水量が急激に増加する前の、動きの少ないフレーム画像を解析することによって、河川の氾濫の兆候を検出できる可能性がある。

特に限定されないが、画像解析部１４０は、例えば次のようにして、特定部分区間のフレーム画像に写る解析対象物の変位を検出することができる。まず、画像解析部１４０は、特定部分区間のフレーム画像内の解析対象物を検出する。画像解析部１４０は、例えば、ＣＮＮ（Convolutional Neural Network）などを用いて、特定部分区間のフレーム画像に写る物体それぞれの領域を識別（セグメンテーション）する。そして、画像解析部１４０は、セグメンテーションの結果（識別された物体毎に付与されたラベル）に基づいて、解析対象物の領域を認識する。ここで、解析対象物として扱う物体を示す情報は、例えば、予め画像処理装置１０のメモリやストレージデバイスといった記憶領域に予め定義されている。画像解析部１４０は、記憶領域に予め定義された情報を用いて、解析対象物の領域と、解析対象物以外の物体の領域とを切り分けて認識することができる。この場合、記憶領域において予め定義されていない物体は、例えば形状などが時間の経過と共にゆっくりと変化する物体であっても解析対象物として画像解析部１４０に認識されない。これにより、例えば、野外の土木工事現場や建設現場で撮影された動画に写る雲など、その変位を検出する必要のない物体について、画像解析部１４０が余計な演算を実行しないように制御することができる。そして、画像解析部１４０は、異なるフレーム画像間で解析対象物の領域を比較することによって、当該解析対象物の変位（例えば、高さ、幅、奥行きといった形状の変位など）を算出することができる。

画像解析部１４０の動作例について、図４を用いて説明する。図４は、画像解析部１４０により「解析対象のフレーム画像」として選択されたフレーム画像を例示する図である。図中の３つの画像は、上から下に時系列で並んでいる。なお、図４の例において、解析対象物は「盛土」である。また、画像解析部１４０は、図中の点線部の領域を解析対象物ＯＢＪ（盛土）が存在する領域と認識しているものとする。この場合、図中１枚目のフレーム画像において「盛土」が存在する領域が認識されていないため、画像解析部１４０は、盛土の高さの変位量として「０」を取得することができる。また、画像解析部１４０は、２枚目のフレーム画像における解析対象物（盛土）の認識結果に基づいて、盛土の高さの変位量として「ｈ１」を取得することができる。また、画像解析部１４０は、２枚目のフレーム画像における解析対象物（盛土）の認識結果に基づいて、盛土の高さの変位量として「ｈ２」と取得することができる。また、画像解析部１４０は、同様に、解析対象物の幅や奥行といった形状に関する情報を取得することができる。なお、画像解析部１４０は、動画に付与された撮像装置２０のカメラパラメータを用いることにより、フレーム画像における解析対象物のスケールを、実際のスケールに変換することができる。このように特定部分区間毎に解析対象物の変位を検出することによって、画像解析部１４０は、当該解析対象物の時間的な変位を示す情報を得ることができる。

ここで、画像解析部１４０は、特定部分区間毎に、所定の枚数のフレーム画像を解析処理の対象のフレーム画像として選択する。一例として、区間設定部１２０によって５つの部分区間が設定され、画像解析部１４０が、当該５つの部分区間の中の第２および第４の部分区間を特定部分区間として選択したとする。この場合、画像解析部１４０は、第２の部分区間における複数のフレーム画像および第４の部分区間における複数のフレーム画像それぞれから、所定の枚数（例：１枚）のフレーム画像を解析処理の対象のフレーム画像として選択する。ここで、特定部分区間は、動画の動きが少ない部分区間であるが、その区間の時間が長い場合、結果として大きな変化が生じている場合もある。そこで、画像解析部１４０は、特定部分区間の時間の長さに応じて、選択するフレーム画像の枚数を変化させる（増やす）ように構成されていてもよい。

出力部１５０は、タイムラプス動画生成部１３０により生成されたタイムラプス動画と、画像解析部１４０による解析処理の結果とを、監理者用の出力装置３０に出力する。例えば、出力部１５０は、解析処理の結果（解析対象物の変位量など）をメタデータとしてタイムラプス動画に付与することができる。この場合、解析処理の結果（解析対象物の変位量など）が、タイムラプス動画の再生位置と同期させて出力装置３０に出力される。また、出力部１５０は、解析処理の結果（解析対象物の変位量など）をグラフ化して、タイムラプス動画に重畳表示させてもよい。監理者は、出力装置３０に出力されるタイムラプス動画および解析処理の結果を用いて、監理業務を効率的に進めることができる。

〔ハードウエア構成例〕
画像処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図５は、画像処理装置１０のハードウエア構成を例示するブロック図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（指標情報取得部１１０、区間設定部１２０、タイムラプス動画生成部１３０、画像解析部１４０、出力部１５０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。

入出力インタフェース１０５０は、画像処理装置１０と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、例えば、キーボードやマウスなどの入力装置（図示せず）や、ディスプレイなどの出力装置（図示せず）が接続され得る。

ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。画像処理装置１０は、ネットワークインタフェース１０６０を介して、現場に設置された撮像装置２０や、監理者用の出力装置３０と通信することができる。

なお、画像処理装置１０のハードウエア構成は図５に例示される構成に限定されない。例えば、画像処理装置１０の処理部の一部または全部は、画像処理システム１を構成する複数の装置に分散して或いは重複して設けられていてもよい。

〔処理の流れ〕
本実施形態における画像処理装置１０により実行される処理の流れについて説明する。図６は、第１実施形態の画像処理装置１０により実行される処理の流れを例示するフローチャートである。

まず、画像処理装置１０は、撮像装置２０により生成された動画を取得する（Ｓ１０２）。画像処理装置１０は、例えば、撮像装置２０から動画を直接受信してもよいし、撮像装置２０により生成された動画を蓄積する他の外部装置（図示せず）と通信し、当該外部装置を経由して動画を取得してもよい。

指標情報取得部１１０は、取得された動画から、指標情報を取得する（Ｓ１０４）。例えば、指標情報取得部１１０は、動画を構成する複数のフレーム画像のうち、互いに隣接するフレーム画像間の差分を、動画の動きを示す指標情報として取得する。また、指標情報取得部１１０は、動画に音声データが含まれている場合、音声データの音量の変化（動画内での音量の変化など）を、動画の動きを示す指標情報として取得してもよい。

区間設定部１２０は、Ｓ１０４の処理で取得された指標情報に基づいて、動画の中で複数の部分区間を設定する（Ｓ１０６）。区間設定部１２０は、例えば、Ｓ１０４で取得された指標情報を基に、各指標情報に対応するフレーム画像の区間が「動きの多い区間」および「動きの少ない区間」のいずれに該当するかを判別する。そして、区間設定部１２０は、「動きの多い区間」または「動きの少ない区間」として連続するフレーム画像群を、それぞれ部分区間として設定する。

そして、タイムラプス動画生成部１３０は、タイムラプス動画生成処理（例：図７）を実行する（Ｓ１０８）。図７は、タイムラプス動画生成部１３０によるタイムラプス動画生成処理の具体的な流れを例示するフローチャートである。まず、タイムラプス動画生成部１３０は、区間設定部１２０により設定された複数の部分区間の１つを選択する（Ｓ２０２）。そして、タイムラプス動画生成部１３０は、選択した部分区間に対応する指標情報が示す動きの大きさが基準（動きの大きさに関する所定の閾値）以下か否かを判定する（Ｓ２０４）。すなわち、タイムラプス動画生成部１３０は、選択した部分区間の動きが多いか少ないかを判定する。選択した部分区間に対応する指標情報が示す動きの大きさが基準以下である（すなわち、動きが少ない）場合（Ｓ２０４：ＹＥＳ）、タイムラプス動画生成部１３０は、第１のレートでタイムラプス処理を実行する（Ｓ２０６）。一方、タイムラプス動画生成部１３０は、選択した部分区間に対応する指標情報が示す動きの大きさが基準を超える（すなわち、動きが多い）場合（Ｓ２０４：ＮＯ）、タイムラプス動画生成部１３０は、第２のレートでタイムラプス処理を実行する（Ｓ２０８）。ここで、第２のレートは、第１のレートよりも小さい値に設定されている。

その後、タイムラプス動画生成部１３０は、全ての部分区間が選択されたか否かを判定する（Ｓ２１０）。未選択の部分区間が残っている場合（Ｓ２１０：ＮＯ）、タイムラプス動画生成部１３０は、新たな部分区間を選択して、上述の処理を繰り返す。一方、全ての部分区間が選択された場合（Ｓ２１０：ＹＥＳ）、タイムラプス動画生成部１３０は、各部分区間の処理結果を結合して、１つのタイムラプス動画を生成する（Ｓ２１２）。

図６に戻り、画像解析部１４０は、動画を用いた解析処理（例：図８）を行う（Ｓ１１０）。図８は、画像解析部１４０による解析処理の具体的な流れを例示するフローチャートである。まず、画像解析部１４０は、区間設定部１２０により設定された複数の部分区間の１つを選択する（Ｓ３０２）。そして、画像解析部１４０は、選択した部分区間に対応する指標情報が示す動きの大きさが基準（動きの大きさに関する所定の閾値）以下か否かを判定する（Ｓ３０４）。すなわち、画像解析部１４０は、選択した部分区間の動きが多いか少ないかを判定する。選択した部分区間に対応する指標情報が示す動きの大きさが基準以下である（すなわち、動きが少ない）場合（Ｓ３０４：ＹＥＳ）、画像解析部１４０は、その部分区間を特定部分区間として特定する。そして、画像解析部１４０は、特定部分区間のフレーム画像を使って、解析対象物の変位を検出する解析処理（変位検出処理）を実行する（Ｓ３０６）。一方、選択した部分区間に対応する指標情報が示す動きの大きさが基準を超える（すなわち、動きが多い）場合（Ｓ３０４：ＮＯ）、画像解析部１４０は、その部分区間を特定部分区間以外の区間として特定し、その区間については変位検出処理を実行しない。ここで、画像解析部１４０は、指標情報が示す動きの大きさが基準を超える（すなわち、動きが多い）部分区間に対して、変位検出処理とは別の解析処理を実行するように構成されていてもよい。例えば、画像解析部１４０は、指標情報が示す動きの大きさが基準を超える（すなわち、動きが多い）部分区間のフレーム画像を使って、動体（例えば、建機、車両、作業員など）を検出する処理（動体検出処理）などを実行してもよい（Ｓ３０８）。

その後、画像解析部１４０は、全ての部分区間が選択されたか否かを判定する（Ｓ３１０）。未選択の部分区間が残っている場合（Ｓ３１０：ＮＯ）、画像解析部１４０は、新たな部分区間を選択して、上述の処理を繰り返す。一方、全ての部分区間が選択された場合（Ｓ３１０：ＹＥＳ）、画像解析部１４０は、各部分区間の処理結果を、タイムラプス動画と対応付ける（Ｓ３１２）。

図６に戻り、出力部１５０は、Ｓ１０８の処理およびＳ１１０の処理で得られる、タイムラプス動画および解析処理の結果を、監理者用の出力装置３０に出力する（Ｓ１１２）。監理者は、出力装置３０に出力されたタイムラプス動画および解析処理の結果を見て、監理作業を効率的に進めることができる。ここで、画像処理装置１０は、監理者用の端末（図示せず）を介して、部分区間の再生速度を指定する入力や、解析処理の結果の表示態様を変える（例えば、グラフ化して映像に重畳させる）ための入力を受け付け、受け付けた入力に応じて出力の仕方を変更するように構成されていてもよい。

以上、本実施形態では、動きの少ない部分区間（特定部分区間）のフレーム画像を使って、解析処理（具体的には、解析対象物の変位を検出する処理）が実行される。ここで、特定部分区間のフレーム画像は、動きの少ない、言いかえれば、画像解析処理で解析対象物以外のノイズとなる物体が少ない画像と言える。よって、特定部分区間のフレーム画像を解析に用いることで、画像解析処理の精度が低下することを防止することができる。また、画像解析処理の対象とする部分区間（フレーム画像数）を絞り込むことによって、その画像解析処理の演算量を削減する効果も得られる。

また、本実施形態では、動きの多い部分区間の再生速度が、動きの少ない部分区間の再生速度よりも小さくなるようなタイムラプス動画が生成される。これにより、動画の確認作業にかかる時間を短縮しつつ、動きの多い部分区間において監理者の見落としが発生することを抑制する、という効果が得られる。また、動体（例えば、建機、車両、作業員など）を検出する別の画像解析処理を併せて実行する場合には、当該処理の対象を動きの多い部分区間に絞り込むことにより、全体の演算量を削減できる。

［第２実施形態］
上述の第１実施形態で述べたように、動く物体（例えば、土木作業現場や建築作業現場などでは建機や人物など）が解析対象物の変位等を解析する際のノイズとなり得る。そこで、上述の第１実施形態では、動きの少ない部分区間（すなわち、ノイズが少ないと考えられる部分区間）である、特定部分区間のフレーム画像を用いて、解析対象物の変位を検出する解析処理を実行する流れを説明した。しかしながら、上述したような物体が時間的に連続して静止しているといった場合、第１実施形態の構成では、ノイズを含む部分区間が「特定部分区間」として選択されてしまう可能性がある。本実施形態の画像処理装置１０は、この問題を解消する構成をさらに有する。

〔機能構成〕
本実施形態の画像処理装置１０は、第１実施形態と同様に、指標情報取得部１１０、区間設定部１２０、タイムラプス動画生成部１３０、画像解析部１４０、および出力部１５０を有する（例：図１）。本実施形態の画像解析部１４０は、特定部分区間の複数のフレーム画像のうち、予め定められた物体を含まないフレーム画像を、解析処理の対象のフレーム画像として選択する。ここで、動画が、土木作業現場や建築作業現場などを撮影した動画である場合、「予め定められた物体」は、例えば、作業に用いる建機や車両、および、作業を行う人物などである。

〔処理の流れ〕
図を用いて、本実施形態の画像処理装置１０により実行される処理について説明する。図９は、第２実施形態の画像解析部１４０により実行される処理の流れを例示するフローチャートである。本図のフローチャートに例示される処理は、図８のＳ３０４の処理において、判定結果が「ＹＥＳ」である場合に実行される。

本実施形態において、Ｓ３０４の判定処理の結果が「ＹＥＳ」である場合、画像解析部１４０は、特定部分区間のフレーム画像の中に、特定物体（例えば、静止していて動体として認識されなかった建機、車両、人物など）が含まれているか否かを更に判定する（Ｓ４０２）。画像解析部１４０は、例えば、対象のフレーム画像をセグメンテーションした結果から、そのフレーム画像に建機、車両、人物などの特定物体が含まれているか否かを判定することができる。ここで、特定物体を示す情報は、例えば、予め画像処理装置１０のメモリやストレージデバイスといった記憶領域に予め定義されている。特定部分区間のフレーム画像の中に特定物体が含まれている場合（Ｓ４０２：ＹＥＳ）、画像解析部１４０は、そのフレーム画像を変位検出処理で用いる画像から除外する。図１０を用いて本実施形態の画像解析部１４０の動作の一例を具体的に説明する。図１０は、画像解析部１４０が変位検出処理の対象から除外するフレーム画像の一例を示す図である。なお、図１０において、工事用車両Ｖは停車中であり、静止している状態を時間的に連続して保っているものとする。画像解析部１４０は、ＣＮＮなどを用いたセグメンテーションの結果から、予め定義された特定物体がフレーム画像中に存在するか否かを判定することができる。図１０の例において、トラック等の工事用車両が特定物体として予め定義されている場合、画像解析部１４０は、図１０のフレーム画像を変位検出処理の対象外の画像として判断することができる。この場合、処理は図８のＳ３１０に進む。一方、特定部分区間のフレーム画像の中に特定物体が含まれていない場合（Ｓ４０２：ＮＯ）、画像解析部１４０は、そのフレーム画像を用いて変位検出処理を実行する（図８のＳ３０６）。

以上、本実施形態では、特定部分区間として選択された部分区間におけるフレーム画像であっても、そのフレーム画像の中に特定物体（ノイズとなり得る物体）が含まれている場合、そのフレーム画像は変位検出処理の対象から除外される。これにより、解析対象物の変位の検出精度が、ノイズの影響によって低下することを防止できる。

［第３実施形態］
撮像装置２０の設置場所によっては、監理業務の対象となる現場とは関係ない別の場所が写り込んでしまうこともある。その場合、監理業務の対象となる現場とは関係ない別の場所での動きの有無が、上述の各実施形態での処理に影響を与え得る。本実施形態の画像処理装置１０は、この問題を解決する構成をさらに有する。

本実施形態の画像処理装置１０は、第１実施形態と同様に、指標情報取得部１１０、区間設定部１２０、タイムラプス動画生成部１３０、画像解析部１４０、および出力部１５０を有する（例：図１）。本実施形態の画像解析部１４０は、フレーム画像において指定された領域にのみ、解析処理（変位検出処理および／または動体検出処理）を実行する。例えば、本実施形態の画像解析部１４０は、監理者側の端末（図示せず）を介して、解析処理の対象とする領域を指定する入力を受け付け、当該入力で指定された領域にのみ解析処理を実行する。また、初期設定ファイルなどを用いて、フレーム画像内のある領域の位置座標が、解析処理の実行対象とする領域の位置座標として予め定義されていてもよい。この場合、画像解析部１４０は、初期設定ファイル上で定義された位置座標に基づいて、解析処理の対象とする領域を認識することができる。

〔処理の流れ〕
図を用いて、本実施形態の画像処理装置１０により実行される処理について説明する。図１１は、第３実施形態の画像解析部１４０により実行される処理の流れを例示するフローチャートである。本図のフローチャートは、Ｓ５０２の処理を新たに有する点を除き、図６のフローチャートと同様である。以下では、Ｓ５０２の処理を主に説明する。

本実施形態の画像解析部１４０は、撮像装置２０により生成された動画の中で、監理業務の対象とする領域を指定する情報（対象領域指定情報）を取得する（Ｓ５０２）。対象領域指定情報は、例えば、監理者が監理業務を行う際に、図示しない監理者用端末を用いて監理者によって入力される。例えば、画像解析部１４０は、撮像装置２０により生成された動画の任意の１フレームを出力装置３０上に表示し、そのフレーム画像上で監理者に対象領域を指定する入力を実行させる。この場合、画像解析部１４０は、監理者用端末に入力された情報を、例えばネットワーク経由で取得することができる。そして、画像解析部１４０は、Ｓ５０２で取得された対象領域指定情報を、指標情報取得部１１０に通知する。指標情報取得部１１０は、対象領域指定情報によって指定される領域について、指標情報を取得する（Ｓ１０４）。以降の処理の流れは、上述したとおりである。

以上、本実施形態では、フレーム画像の中で画像解析処理の対象とする領域が指定される。これにより、監理業務で監理者が確認する領域とは関係ないその他の領域を、画像解析処理の範囲から除外することができる。これにより、解析処理の結果に誤りが生じる可能性を低減させることができる。また、解析処理の範囲を更に限定することによって、演算量のより多く削減することができる。

＜変形例＞
図１２は、第３実施形態の変形例で実行される処理の流れを例示するフローチャートである。本図のフローチャートは、Ｓ６０２の処理およびＳ６０４の処理を新たに備える点を除き、図８のフローチャートと同様である。以下では、Ｓ６０２およびＳ６０４の処理を主に説明する。本変形例のフローチャートでは、図１１のフローチャートと異なり、解析処理の対象とする領域は、動画における動きが判断された後に指定される。

本変形例において、画像解析部１４０は、Ｓ３０６の変位検出処理およびＳ３０８の動体検出処理の実行前に、フレーム画像の中で処理の対象となる領域を指定する情報（対象領域指定情報）を取得する（Ｓ６０２、Ｓ６０４）。対象領域指定情報は、例えば、監理者が監理業務を行う際に、図示しない監理者用端末を用いて入力される。例えば、画像解析部１４０は、撮像装置２０により生成された動画の任意のフレーム画像を出力装置３０上に表示し、そのフレーム画像上で監理者に対象領域を指定する入力を実行させる。この場合、画像解析部１４０は、監理者用端末に入力された情報を、例えばネットワーク経由で取得することができる。そして、画像解析部１４０は、Ｓ３０２の処理で選択された部分区間のフレーム画像を用いてＳ３０６の変位検出処理を実行する際、Ｓ６０２で取得した情報に基づいて、変位検出処理を行う画像領域を絞りこむ。同様に、画像解析部１４０は、Ｓ３０２の処理で選択された部分区間のフレーム画像を用いてＳ３０６の動体検出処理を実行する際、Ｓ６０４で取得した情報に基づいて、動体検出処理を行う画像領域を絞りこむ。

本変形例によっても、上述の第３実施形態の効果と同様の効果が期待できる。

［第４実施形態］
本実施形態の画像処理装置１０は、生成されるタイムラプス画像の容量を削減する構成を更に備える点で、上述の各実施形態と異なる。

〔機能構成〕
本実施形態の画像処理装置１０は、第１実施形態と同様に、指標情報取得部１１０、区間設定部１２０、タイムラプス動画生成部１３０、画像解析部１４０、および出力部１５０を有する（例：図１）。本実施形態のタイムラプス動画生成部１３０は、タイムラプス画像の生成時に、指標情報が示す動きが基準以下である（すなわち、動きの少ない）部分区間について、フレーム画像の間引き処理を行う。例えば、タイムラプス動画生成部１３０は、指標情報が示す動きが基準以下である部分区間にタイムラプス処理を施す際、その指標情報に応じて決まるレート（再生速度）に応じて選択されるフレーム画像以外のフレーム画像を除去する（例：図１３）。図１３は、フレームの間引き処理を概略的に説明する図である。図１３では、指標情報が示す動きが基準以下である対象区間の再生速度が５倍となるようにタイムラプス処理を施した場合におけるフレームの間引き処理が例示されている。図１３の例では、タイムラプス動画生成部１３０は、対象区間に含まれる複数のフレーム画像の中から、５フレーム間隔でタイムラプス処理での再生用フレーム画像を選択している。更に、タイムラプス動画生成部１３０は、再生用フレーム画像として選択されたフレーム画像以外のフレーム画像を間引いている。

本実施形態では、タイムラプス動画を生成する際、指標情報が示す動きが基準以下である（すなわち、動きの少ない）部分区間に対してフレームの間引き処理が実行される。これにより、タイムラプス動画のデータ容量を削減し、そのタイムラプス動画を再生する環境のリソースを節約することができる。なお、動きの少ない部分区間において、隣接する或いは時間的に近いフレーム画像間での動きはそれほど大きくない。そのため、ある短い期間における複数のフレーム画像の中から、代表的なフレーム画像を選定し、残りを廃棄したとしても、映像に含まれる情報に与える影響は少ないと言える。また、本実施形態では、指標情報が示す動きが基準を超える（すなわち、動きの多い）部分区間に対しては、フレームの間引き処理は実行されない。これにより、動きの多い部分区間については、撮像装置２０が撮影した動画に含まれる情報をそのまま保持するタイムラプス動画を生成することができる。

［第５実施形態］
画像処理装置１０の処理の少なくとも一部は、現場に設けられる装置（撮像装置２０など）に備えられていてもよい。

〔システム構成〕
図１４は、第５実施形態における画像処理システム１のシステム構成を例示的に示す図である。図１４に示されるように、本実施形態の画像処理システム１において、撮像装置２０は、動画生成部２１０、指標情報取得部２２０、画像選択部２３０、および、画像送信部２４０を備える。また、本実施形態の画像処理システム１において、画像処理装置１０は、タイムラプス動画構築部１６０、画像解析部１４０、および出力部１５０を備える。

動画生成部２１０は、撮像装置２０が設置された現場（土木工事現場や建設現場等）を撮影し、動画を生成する。動画生成部２１０は、動画生成部２１０により生成された動画における動きを判断するための指標情報を取得する。動画生成部２１０は、上述の各実施形態の指標情報取得部１１０と同様である。画像選択部２３０は、動画を構成する複数のフレーム画像の中の一部を、画像処理装置１０に送信するフレーム画像（以下、「送信用フレーム画像」とも表記）として選択する。このとき、画像選択部２３０は、指標情報取得部２２０により取得された指標情報に応じて決まるレートで、動画を構成する複数のフレーム画像の中から複数の送信用フレーム画像を選択する。画像送信部２４０は、画像選択部２３０により選択されたフレーム画像を画像処理装置１０に送信する。なお、撮像装置２０は、一般的な動画撮影機能（動画生成部２１０）のみを有しており、指標情報取得部２２０、画像選択部２３０、および画像送信部２４０は、現場に設置される情報処理装置（図示せず）が有していてもよい。その場合、撮像装置２０は当該情報処理装置を介して画像処理装置１０と通信可能に接続される。

タイムラプス動画構築部１６０は、撮像装置２０から送信された複数のフレーム画像を取得し、それらの複数のフレーム画像を繋ぎ合わせてタイムラプス動画を構築する。画像解析部１４０は、撮像装置２０から取得した複数のフレーム画像（タイムラプス動画）の中から、レートが基準を満たすフレーム画像を用いて解析処理を実行する。出力部１５０は、タイムラプス動画構築部１６０により構築されたタイムラプス動画と、画像解析部１４０による解析処理の結果とを、監理者用の出力装置３０に出力する。画像解析部１４０および出力部１５０の動作は、上述の各実施形態と同様である。

〔処理の流れ〕
図１５および図１６を用いて、本実施形態の画像処理システム１により実行される処理の流れについて説明する。図１５は、撮像装置２０により実行される処理の流れを例示するフローチャートである。また、図１６は、画像処理装置１０により実行される処理の流れを例示するフローチャートである。

＜撮像装置２０の処理の流れ＞
まず、動画生成部２１０は、現場を撮影することによって動画を生成する（Ｓ７０２）。そして、指標情報取得部２２０は、Ｓ７０２で生成された動画から、その動画の中での動きを判断するための指標情報を取得する（Ｓ７０４）。指標情報取得部２２０は、上述の指標情報取得部１１０と同様にして、指標情報を取得することができる。

そして、画像選択部２３０は、指標情報取得部２２０が取得した指標情報に基づいて、画像処理装置１０に送信するフレーム画像（送信用フレーム画像）を選択する（Ｓ７０６）。画像選択部２３０は、例えば次のように動作する。まず、画像選択部２３０は、指標情報に応じて、送信用フレーム画像を選択するレートを決定する。ここで、画像選択部２３０は、動画のある部分区間に対応する指標情報が示す動きが大きいほど、その部分区間のレートを小さくする。特に限定されないが、一例として、画像選択部２３０は、指標情報が示す動きが基準を超える（すなわち、動きの多い）区間については５フレーム毎に１枚の送信用フレーム画像を選択し、指標情報が示す動きが基準以下（すなわち、動きの少ない）区間については６０フレーム毎に１枚の送信用フレームを選択する。この場合、指標情報が示す動きが基準を超える（すなわち、動きの多い）区間および指標情報が示す動きが基準以下（すなわち、動きの少ない）区間のレートは、それぞれ、「５倍」および「６０倍」となる。そして、画像送信部２４０は、Ｓ７０６の処理で選択された送信用フレーム画像を画像処理装置１０に送信する（Ｓ７０８）。このとき、画像送信部２４０は、送信用フレーム画像にレートを識別可能な情報（例えば、指標情報取得部２２０で取得された指標情報、動きが多い／少ないことを示す情報など）を付与する。

＜画像処理装置１０の処理の流れ＞
タイムラプス動画構築部１６０は、撮像装置２０から送信された、複数のフレーム画像を取得する（Ｓ８０２）。そして、タイムラプス動画構築部１６０は、取得した複数のフレーム画像を用いてタイムラプス動画を構築する（Ｓ８０４）。撮像装置２０から取得するフレーム画像は、指標情報に応じた間隔で選択された上で、画像処理装置１０に送信されている。そのため、タイムラプス動画構築部１６０は、これらのフレーム画像を繋ぎ合わせるだけで、タイムラプス動画を構築することができる。

また、画像解析部１４０は、撮像装置２０から取得した各フレーム画像に付与された、各フレーム画像のレートを識別可能な情報に基づいて、複数の部分区間を特定する（Ｓ８０６）。具体的には、画像解析部１４０は、レートが基準以下であるフレーム画像が連続する区間を、「動きが少ない区間」として特定する。また、画像解析部１４０は、レートが基準を超えるフレーム画像が連続する区間を、「動きが多い区間」として特定する。そして、画像解析部１４０は、Ｓ８０６の処理結果に応じて、フレーム画像を用いた解析処理を実行する（Ｓ８０８）。具体的には、「動きが少ない区間」として特定された部分区間については、画像解析部１４０は、その部分区間のフレーム画像を用いて変位解析処理を実行する。また、「動きが少ない区間」として特定された部分区間については、画像解析部１４０は、その部分区間のフレーム画像を用いて動体検出処理を実行する。そして、画像解析部１４０は、各部分区間の処理結果を、タイムラプス動画と対応付ける（Ｓ８１０）。

出力部１５０は、上述の処理で得られる、タイムラプス動画および解析処理の結果を、監理者用の出力装置３０に出力する（Ｓ８１２）。監理者は、出力装置３０に出力されたタイムラプス動画および解析処理の結果を見て、監理作業を効率的に進めることができる。ここで、画像処理装置１０は、監理者用の端末（図示せず）を介して、部分区間の再生速度を指定する入力や、解析処理の結果の表示態様を変える（例えば、グラフ化して映像に重畳させる）ための入力を受け付け、受け付けた入力に応じて出力の仕方を変更するように構成されていてもよい。

以上、本実施形態によっても、第１実施形態と同様の効果が得られる。また、本実施形態では、撮像装置２０が画像処理装置１０に送信するフレーム画像を、指標情報に応じたレートで選択することで、撮像装置２０と画像処理装置１０との間の通信データ量を削減する効果が得られる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得する指標情報取得手段と、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定する区間設定手段と、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成するタイムラプス動画生成手段と、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行する画像解析手段と、
前記タイムラプス動画および前記解析処理の結果を出力する出力手段と、
を備える画像処理装置。
２．
前記画像解析手段は、前記特定部分区間のフレーム画像に写る解析対象物の変位を検出する、
１．に記載の画像処理装置。
３．
前記画像解析手段は、
前記指標情報に基づく前記動きが基準以下である部分区間を前記特定部分区間として選択し、
当該選択した特定部分区間のフレーム画像を用いて前記解析対象物の変位を検出する、
２．に記載の画像処理装置。
４．
前記画像解析手段は、前記特定部分区間毎に、所定の枚数のフレーム画像を前記解析処理の対象のフレーム画像として選択する、
２．または３．に記載の画像処理装置。
５．
前記画像解析手段は、前記特定部分区間の複数のフレーム画像のうち、予め定められた物体を含まないフレーム画像を、前記解析処理の対象のフレーム画像として選択する、
２．から４．のいずれか１つに記載の画像処理装置。
６．
前記物体は、建機、車両、または人物の少なくともいずれか１つである、
５．に記載の画像処理装置。
７．
前記画像解析手段は、前記フレーム画像において指定された領域にのみ、前記解析処理を実行する、
１．から６．のいずれか１つに記載の画像処理装置。
８．
前記タイムラプス動画生成手段は、前記指標情報に基づく前記動きが基準以下である部分区間についてフレーム画像の間引き処理を実行する、
１．から７．のいずれか１つに記載の画像処理装置。
９．
前記指標情報取得手段は、前記動画を構成するフレーム画像を基に前記指標情報を取得する、
１．から８．のいずれか１つに記載の画像処理装置。
１０．
前記指標情報取得手段は、前記動画を構成するフレーム画像間の差分を前記指標情報として取得し、
前記画像解析手段は、前記複数の部分区間の中から、前記差分が基準以下である前記部分区間を、前記特定部分区間として選択する、
９．に記載の画像処理装置。
１１．
前記指標情報取得手段は、前記動画に音データが含まれている場合、当該音データを基に前記指標情報を取得する、
１．から８．のいずれか１つに記載の画像処理装置。
１２．
前記指標情報取得手段は、前記音データの音量を前記指標情報として取得し、
前記画像解析手段は、前記複数の部分区間の中から、前記音量が基準以下である前記部分区間を、前記特定部分区間として選択する、
１１．に記載の画像処理装置。
１３．
コンピュータが、
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定し、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成し、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
ことを含む画像処理方法。
１４．
前記コンピュータが、前記特定部分区間のフレーム画像に写る解析対象物の変位を検出する、
ことを含む１３．に記載の画像処理方法。
１５．
前記コンピュータが、
前記指標情報に基づく前記動きが基準以下である部分区間を前記特定部分区間として選択し、
当該選択した特定部分区間のフレーム画像を用いて前記解析対象物の変位を検出する、
ことを含む１４．に記載の画像処理方法。
１６．
前記コンピュータが、前記特定部分区間毎に、所定の枚数のフレーム画像を前記解析処理の対象のフレーム画像として選択する、
ことを含む１４．または１５．に記載の画像処理方法。
１７．
前記コンピュータが、前記特定部分区間の複数のフレーム画像のうち、予め定められた物体を含まないフレーム画像を、前記解析処理の対象のフレーム画像として選択する、
ことを含む１４．から１６．のいずれか１つに記載の画像処理方法。
１８．
前記物体は、建機、車両、または人物の少なくともいずれか１つである、
１７．に記載の画像処理方法。
１９．
前記コンピュータが、前記フレーム画像において指定された領域にのみ、前記解析処理を実行する、
ことを含む１３．から１８．のいずれか１つに記載の画像処理方法。
２０．
前記コンピュータが、前記指標情報に基づく前記動きが基準以下である部分区間についてフレーム画像の間引き処理を実行する、
ことを含む１３．から１９．のいずれか１つに記載の画像処理方法。
２１．
前記コンピュータが、前記動画を構成するフレーム画像を基に前記指標情報を取得する、
ことを含む１３．から２０．のいずれか１つに記載の画像処理方法。
２２．
前記コンピュータが、
前記動画を構成するフレーム画像間の差分を前記指標情報として取得し、
前記複数の部分区間の中から、前記差分が基準以下である前記部分区間を、前記特定部分区間として選択する、
ことを含む２１．に記載の画像処理方法。
２３．
前記コンピュータが、前記動画に音データが含まれている場合、当該音データを基に前記指標情報を取得する、
ことを含む１３．から２０．のいずれか１つに記載の画像処理方法。
２４．
前記コンピュータが、
前記音データの音量を前記指標情報として取得し、
前記複数の部分区間の中から、前記音量が基準以下である前記部分区間を、前記特定部分区間として選択する、
ことを含む２３．に記載の画像処理方法。
２５．
コンピュータに、１３．から２４．のいずれか１つに記載の画像処理方法を実行させるプログラム。
２６．
撮像装置と、
前記撮像装置と通信可能に接続された画像処理装置と、を備える画像処理システムであって、
前記撮像装置は、
土木工事現場または建設現場を撮影して動画を生成し、
前記動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に応じて決まるレートで、前記動画を構成する複数のフレーム画像の中から、前記画像処理装置に送信する複数の送信用フレーム画像を選択し、
選択した前記複数の送信用フレーム画像を前記画像処理装置に送信し、
前記画像処理装置は、
前記撮像装置から送信された前記複数の送信用フレーム画像を用いてタイムラプス動画を構築し、
前記複数の送信用フレーム画像の中から、前記レートが基準を満たす送信用フレーム画像を用いて解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
画像処理システム。

１ 画像処理システム
１０ 画像処理装置
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース
１１０ 指標情報取得部
１２０ 区間設定部
１３０ タイムラプス動画生成部
１４０ 画像解析部
１５０ 出力部
１６０ タイムラプス動画構築部
２１０ 動画生成部
２２０ 指標情報取得部
２３０ 画像選択部
２４０ 画像送信部
２０ 撮像装置
３０ 出力装置

Claims (10)

1. 撮像装置から第１の動画を取得する動画取得処理と、
   前記第１の動画に基づいて、前記第１の動画よりもデータ量の少ない第２の動画を生成する動画生成処理と、
   前記第１の動画に基づいて、解析対象物の変位量を求める変位量算出処理と、
   前記第２の動画と前記解析対象物の変位量とを出力装置に表示させる表示出力処理とを、
   コンピュータに実行させるプログラム。
2. 前記表示出力処理は、
   前記解析対象物の変位量を前記第２の動画に重畳して前記出力装置に表示させることを含む、
   請求項１に記載のプログラム。
3. 前記表示出力処理は、
   前記解析対象物を検出する領域の指定を受け付けることと、
   前記領域内における前記解析対象物の変位量を出力装置に表示させることと、を含む、
   請求項１または２に記載のプログラム。
4. 前記第２の動画は、前記第１の動画よりも少ない枚数のフレーム画像にて構成される、
   請求項１から３のいずれか１項に記載のプログラム。
5. 前記解析対象物は、盛土、ダム堤体、コンクリートブロック、コンクリート舗装、法面に吹き付けられるコンクリートやモルタル、路面に散布された水分、プラントの資材置き場に置かれた資材、船舶等の積荷、及び、埋め立て地のゴミの少なくともいずれか１つを含む、
   請求項１から４のいずれか１項に記載のプログラム。
6. 前記第２の動画は、前記第１の動画に含まれる指標情報に応じて決まるレートでタイムラプス処理を施すことによって生成される、
   請求項１から５のいずれか１項に記載のプログラム。
7. 前記指標情報は、工事用の建機、車両、及び、作業員の少なくともいずれか１つに関する情報を含む、
   請求項６に記載のプログラム。
8. 前記第１の動画は音声データを含み、
   前記動画生成処理は、前記音声データの音量に応じて前記レートを決定することを含む、
   請求項６または７に記載のプログラム。
9. 撮像装置から第１の動画を取得する動画取得手段と、
   前記第１の動画に基づいて、前記第１の動画よりもデータ量の少ない第２の動画を生成する動画生成手段と、
   前記第１の動画に基づいて、解析対象物の変位量を求める変位量算出手段と、
   前記第２の動画と前記解析対象物の変位量とを出力装置に表示させる表示出力手段と、
   を備える画像処理装置。
10. コンピュータが、
    撮像装置から第１の動画を取得し、
    前記第１の動画に基づいて、前記第１の動画よりもデータ量の少ない第２の動画を生成し、
    前記第１の動画に基づいて、解析対象物の変位量を求め、
    前記第２の動画と前記解析対象物の変位量とを出力装置に表示させる、
    ことを含む画像処理方法。

Images