JP2022170154A - 写真管理支援システム及びプログラム - Google Patents

Abstract

【課題】操作及び構成が簡単な撮影装置で撮影した工事写真を用いて効率的に工事写真データを生成する写真管理支援システム及びプログラムを提供する。【解決手段】支援システム４１のマーカ記憶部４６は黒板２１の二次元マーカと黒板記入領域とを関連付けて記憶する。補正部４８は、撮影画像中の二次元マーカに対応するマーカ画像部を特定し、マーカ画像部に基づいて撮影画像に写し込まれている二次元マーカに関連付けられた黒板２１をマーカ記憶部４６から特定し、黒板領域を黒板２１の形状に補正する。補正記入領域特定部５１は、補正マーカ領域に示される二次元マーカに関連付けられた黒板記入領域を特定し、さらに、補正画像中の補正記入領域を特定する。内容特定部５２は、補正記入領域の文字列を、黒板面の記入欄に記入される工事内容の複数の候補から工事内容として特定する。写真データ生成部５３は工事写真データを生成する。【選択図】図３

Description

本発明は、写真管理支援システム及びプログラムに関する。

土木や建築などの工事において工事発注者等に提出するための工事写真では、工事内容が記入された黒板とともに、工事の現場が撮影されている。撮影された工事写真は、その工事写真に対応する工事内容とともに工事写真帳として整理される。工事写真は、デジタルカメラで撮影されることが多い。

デジタルカメラで撮影された工事写真においては、黒板が奥行方向に傾いた状態で撮影されることもある。そこで、特許文献１には、このように黒板が傾いて撮影された撮影画像の文字を認識する画像処理装置が記載されている。この画像処理装置は、撮影画像から、黒板の傾きを特定する傾き情報を利用して、黒板の奥行方向の傾きを特定する傾き特定部と、黒板の奥行き方向の傾きを補正する補正部とを備える。

また、工事写真帳を作成する負担を軽減するために、近年では、工事写真と工事内容とを関連付けて工事写真データとし、生成した複数の工事写真データをまとめる電子黒板システムや、こうした電子黒板システムに用いる撮影装置が開示されている（例えば、特許文献２，３参照）。

特開２００３－５１００５号公報 特開２００４－０９６４３８号公報 特開２０１４－１５７５９６号公報

特許文献２，３に開示されるような電子黒板システムは、工事写真の撮影に従前より広く利用されているデジタルカメラのような操作及び構成が簡単な撮影装置を用いるものではなく、採用に躊躇する企業及び現場作業者は多い。これに対して、特許文献１に開示される画像処理装置は、上記のデジタルカメラなどのような一般に流通している撮影装置で撮影された画像を用いるものの、黒板の奥行方向の傾きを補正した後に工事写真データを生成する手法については開示していない。

そこで、本発明は、デジタルカメラのような操作及び構成が簡単な撮影装置で撮影された工事写真を用いて効率的に工事写真データを生成する写真管理支援システム及び写真管理支援プログラムを提供することを目的とする。

本発明の写真管理支援システムは、黒板と、マーカ記憶部と、補正部と、補正記入領域特定部と、内容特定部と、写真データ生成部と、画像生成部とを備え、工事内容が記入された黒板とともに工事の現場が撮影された撮影画像と、工事内容とを関連付けた工事写真データを生成する。黒板は、工事内容が記入される複数の記入欄と、複数の記入欄のうち予め設定された一の記入欄の黒板記入領域に関連付けられ、二次元形状を有する二次元マーカとが黒板面に設けられている。マーカ記憶部は、二次元マーカに対して黒板及び黒板記入領域を関連付けて記憶する。補正部は、取得した撮影画像中の二次元マーカに対応するマーカ画像部を特定し、マーカ画像部に基づいて、撮影画像に写し込まれている二次元マーカに関連付けられた黒板をマーカ記憶部から特定し、特定した黒板の形状に、撮影画像中の黒板に対応する黒板領域の形状を補正する。補正記入領域特定部は、補正により生成した補正画像の取得に応答して、補正画像中の二次元マーカに対応する補正マーカを二次元マーカとしてこの二次元マーカに関連付けられた黒板記入領域をマーカ記憶部から特定し、特定した黒板記入領域に対応する補正画像中の補正記入領域を特定する。内容特定部は、補正記入領域の文字列を、上記の一の記入欄に記入される工事内容の複数の候補の中から工事内容として特定する。写真データ生成部は、特定された工事内容を撮影画像と関連付けて工事写真データを生成する。画像生成部は、工事写真データに基づいて、特定された工事内容を示す内容画像部と撮影画像を示す撮影画像部とを有し、表示装置に表示する写真データ画像を生成する。

マーカはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカであることが好ましい。

上記の一の記入欄は、工事の種類を示す工種が記入されることが好ましい。

撮影画像を取得する画像取得部をさらに備えることが好ましく、この場合には、補正部は、画像取得部からの撮影画像の入力に応答してマーカ画像部を特定する。

画像取得部は、撮影画像の取得を指示する取得指示の入力に応答して、撮影画像が生成された生成日時を示す生成時情報とともに撮影画像を取得し、複数の撮影画像の取得指示が入力された場合には、複数の撮影画像の各生成時情報に基づいて、先行した生成日時を示す生成時情報に関連付けられた撮影画像から順に複数の撮影画像を補正部に出力することが好ましい。

内容特定部が特定した工事内容を記憶する内容記憶部をさらに備えることが好ましく、この場合の内容特定部は、複数の候補の中から工事内容を特定しなかった場合に、内容記憶部から、直近に記憶された工事内容を写真データ生成部に出力する。

本発明の写真管理支援プログラムは、マーカ記憶ステップと、補正ステップと、補正記入領域特定ステップと、内容特定ステップと、写真データ生成ステップと、画像生成ステップとを有する。マーカ記憶ステップは、工事内容が記入される複数の記入欄と二次元形状を有する二次元マーカとが黒板面に設けられた黒板と、複数の記入欄のうち予め設定された一の記入欄の黒板記入領域とを、二次元マーカに関連付けてマーカ記憶部に記憶する。

補正ステップは、工事内容が記入された黒板とともに工事の現場が撮影された撮影画像を取得した場合に、取得した前記撮影画像中の前記二次元マーカに対応するマーカ画像部を特定し、前記マーカ画像部に基づいて、前記撮影画像に写し込まれている前記二次元マーカに関連付けられた前記黒板を前記マーカ記憶部から特定し、特定した前記黒板の形状に、前記撮影画像中の前記黒板に対応する黒板領域の形状を補正する。補正記入領域特定ステップは、補正により生成した補正画像の取得に応答して、補正画像中の二次元マーカに対応する補正マーカを二次元マーカとしてこの二次元マーカに関連付けられた黒板記入領域をマーカ記憶部から特定し、特定した黒板記入領域に対応する補正画像中の補正記入領域を特定する。

内容特定ステップは、補正記入領域の文字列を特定し、上記の一の記入欄に記入される工事内容の複数の候補の中から上記文字列を工事内容として特定する。写真データ生成ステップは、特定された工事内容を撮影画像と関連付けて工事写真データを生成する。画像生成ステップは、工事写真データに基づいて、特定された工事内容を示す内容画像部と撮影画像を示す撮影画像部とを有し、表示装置に表示する写真データ画像を生成する。

本発明によれば、操作及び構成が簡単な撮影装置で撮影した工事写真を用いて効率的に工事写真データを生成することができる。

実施形態である工事写真データに基づいて生成した画像の概略図である。 実施形態である黒板の黒板面の概略図である。 写真管理支援システムの構成を示すブロック図である。 マーカ記憶部の記憶態様の説明図である。 候補記憶部の記憶態様の説明図である。 内容記憶部の記憶態様の説明図である。 工事写真データの説明図である。 内容特定部の構成を示すブロック図である。 黒板領域の形状を補正する補正方法の説明図である。

図１に示す工事写真データ画像（以下、単に「写真データ画像」と称する）１１は、工事写真データに基づいて生成される画像の一例である。写真データ画像１１は、表示装置１２（図３参照）の画面に表示される。表示装置１２としては、例えば、パーソナルコンピュータ（図示無し、以下「ＰＣ」と称する）に備えられるディスプレイや、スマートフォンに備えられるディスプレイなどである。工事写真データは、工事の現場を撮影装置であるデジタルカメラで撮影した撮影画像と、撮影された工事の現場における工事内容とが関連付けられたデータである。工事内容は、工事の対象または進捗を示すためのものであり、例えば、工事名、工種、位置、設計寸法、実測寸法等である。

写真データ画像１１は、撮影画像を示す撮影画像部１４と、工事内容を示す内容画像部１５とを備える。図１の内容画像部１５は、工事内容として工種が示されている例であるが、工種の代わりに、または加えて、他の工事内容が示されていてもよく、工事名と工種とのそれぞれを示す複数の内容画像部１５が写真データ画像１１に備えられてもよい。内容画像部１５は、撮影画像の情報を示す撮影画像ファイル名や、撮影画像を工種のリスト（後述の「候補」に対応する）に基づいて分類した分類名などの撮影画像に関連した関連事項を示す関連事項画像部１６とともに記録画像領域１７を構成してもよい。なお、工種のリストは、本例では後述の工種の「候補」である。本例の記録画像領域１７は、図１に示すように、「シリアル番号」、撮影画像のデータファイル名としての「写真ファイル名」及び「写真ファイル日本語名」、分類名としての「写真・大分類」及び「写真区分」等、撮影日時を示す「撮影年月日」、「代表写真」、「提出頻度写真」等で構成されている。

撮影画像に工事の現場とともに写っている黒板２１は、図２に示すように、黒板面２１Ｓに、複数の記入欄２２ａ，２２ｂ，２２ｃ，・・・と、二次元マーカ２３とが設けられており、さらに、項目欄２６ａ，２６ｂ，２６ｃ，・・・が設けられていてもよい。記入欄２２ａ，２２ｂ，２２ｃ，・・・と、項目欄２６ａ，２６ｂ，２６ｃ，・・・とは、黒板面２１Ｓに例えば枠線Ｌを設けることによって形成されている。以降の説明において、記入欄２２ａ，２２ｂ，２２ｃ，・・・のそれぞれを区別しない場合には記入欄２２と、項目欄２６ａ，２６ｂ，２６ｃ，・・・のそれぞれを区別しない場合には項目欄２６と記載する。

各記入欄２２は、隣接する項目欄２６に対応する工事内容がチョークなどの記入具によって記入される欄である。例えば項目欄２６ｂに隣接する記入欄２２ｂには、項目欄２６ｂに示される項目名が「工種」である場合には、工種が工事内容として記入される。また、図２に示す項目名である「工事名」及び記入欄２２ａのように、記入欄２２と項目欄２６とは枠線Ｌによって互いに独立せずに、ひとつの枠内に形成されていてよい。この場合には、項目名の右側に形成された空白領域を記入欄とみなしたり、あるいは、項目名の下側に空白領域が形成されている場合の空白領域を記入欄とみなす。

工事用の黒板には、この例以外の黒板がある。例えば、黒板同士の違いとしては、黒板のサイズ（黒板面２１Ｓの大きさ、形）、枠線Ｌにより形成される記入欄２２の数、大きさ、形状がある。二次元マーカは黒板毎に異なり、黒板２１と二次元マーカ２３とは関連付けられる。二次元マーカ２３は、複数の記入欄２２のうち予め設定された一の記入欄２２の領域（以下、黒板記入領域と称する）に関連付けられる。二次元マーカ２３は、少なくとも一の黒板記入領域と関連付けられればよく、複数の黒板記入領域の各々に関連付けられてもよい。以上のように、二次元マーカ２３に対して、黒板２１及び黒板記入領域は関連付けられる。

二次元マーカ２３に対する上記の少なくとも一の黒板記入領域に対する関連付けは直接的な関連付けでなくてもよく、黒板と黒板記入領域との関連付けがなされる場合には、黒板を介した間接的な関連付けであってもよい。二次元マーカ２３はさらに、黒板の製造メーカや販売元などと関連付けられてもよい。

二次元マーカ２３は、面積をもつ、すなわち二次元形状をもったマーカであり、本例では図２に示すように外郭の形状が正方形の二次元マーカであるが、外郭形状は長方形や円形（真円形、楕円形を含む）などでもよい。二次元マーカ２３としては、例えば、ＱＲコード（登録商標）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカなどの二次元コード（二次元バーコード）、バーコードなどのいずれでもよい。二次元マーカ２３を黒板の態様や製造メーカ、販売元などと関連付ける場合には、２方向に情報をもたせることができる点で、バーコードよりも二次元コードの方が好ましい。記入具であるチョークの粉や、屋外が想定される工事の現場での異物が二次元マーカ２３に付着することがあるから、ドット（点）で構成されたＱＲコードよりも、ＡＲマーカの方がより確実な情報の読み取りができるために好ましい。

図３において、写真管理支援システム（以下、単に「支援システム」と称する）４１は、黒板２１と、写真管理支援装置（以下、単に「支援装置」と称する）４２とを備え、市販されている一般的なデジタルカメラなどの撮影装置４３で撮影された撮影画像を用いて工事写真データを生成し、さらに、写真データ画像１１（図１参照）を生成するためのものである。支援装置４２は、マーカ記憶部４６と、候補記憶部４７と、補正部４８と、補正記入領域特定部５１と、内容特定部５２と、写真データ生成部５３と、画像生成部５６とを備える。支援装置４２は、さらに、画像取得部５７と、内容記憶部５８と、入力部６１と、制御部６２とを備えることが好ましく、本例でも備える。

画像取得部５７は、撮影装置４３で撮影された撮影画像を取得する。画像取得部５７は、撮影装置４３に通信部（図示無し）が備えられている場合には、ネットワークなどを介して撮影画像を取得してもよいし、撮影装置４３に例えばメモリカードなどの記録媒体が装填されている場合には、その記録媒体を介して取得してもよい。また、撮影装置４３の撮影画像が予め支援装置４２または支援装置４２と異なる他の装置（図示無し）に設けられた記憶部（図示無し）に記憶されている場合には、その記憶部から撮影画像を取得してもよい。

画像取得部５７は、キーボードやタッチパネルディスプレイなどの入力部６１において、撮影画像の取得を指示する取得指示のための入力がなされた場合に、制御部６２を介して取得指示が入力され撮影画像を取得する。このように、制御部６２は、入力部６１においてなされた入力の入力情報を制御して支援装置４２の各部に送る。入力部６１は複数の撮影画像の取得をまとめて指示するための入力が可能であることが好ましく、本例では、そのように複数の撮影画像をまとめて取得する入力が入力部６１になされた場合には、複数の撮影画像の取得指示が画像取得部５７に入力され、それら複数の撮影画像を画像取得部５７は取得する。画像取得部５７は、取得した撮影画像を補正部４８に出力する。補正部４８への出力は、本例では、入力部６１において補正部４８へ出力するための出力指示が入力された場合に、画像取得部５７がその出力指示の入力に応答して行う。ただし、補正部４８への出力は、撮影画像の取得に応答して行ってもよい。

画像取得部５７は、撮影画像の取得指示の入力に応答して、撮影画像が生成された日時を示す生成時情報（以下、単に「生成時」と称する）とともに撮影画像を取得することが好ましく、本例でもそのようにしている。複数の撮影画像の取得指示が入力された場合には、画像取得部５７は、複数の撮影画像の各生成時に基づいて、先行した生成時に関連付けられた撮影画像から順に複数の撮影画像を補正部４８に出力する。例えば、時間の経過順に生成された撮影画像Ｐ１，Ｐ２，Ｐ３，・・・，Ｐｉ（ｉは２以上の自然数）が画像取得部５７に入力されたものとし、撮影画像Ｐ１，Ｐ２，Ｐ３，・・・，Ｐｉの生成時をそれぞれｔ１，ｔ２，ｔ３，・・・，ｔｉとする。この場合には、画像取得部５７は補正部４８に、最も過去の生成時ｔ１と関連付けられた撮影画像Ｐ１を最初に出力し、次に生成時ｔ２に関連付けられた撮影画像Ｐ２を出力し、撮影画像Ｐ３、撮影画像Ｐ４の順で、撮影画像Ｐｉを最終に出力する。

マーカ記憶部４６は、二次元マーカ２３（図２参照）に対して黒板２１及び黒板記入領域を関連付けて記憶する。マーカ記憶部４６は、面積が概念される二次元形状の二次元マーカ２３を、二次元マーカ２３の外郭の形状を含めて記憶してもよい。

マーカ記憶部４６は、黒板記入領域を、黒板面２１Ｓ（図２参照）における上記の一の記入欄の位置、すなわち座標として記憶する。黒板記入領域は面積をもっているから、互いに交差する２つの座標軸を黒板面２１Ｓ上に予め設定し、一方の座標軸での範囲と他方の座標軸での範囲とにより特定することができる。例えば鉛直方向に起立させた立位姿勢の黒板２１において、矩形の黒板面２１Ｓの横方向（水平方向）に沿った第１軸と縦方向（鉛直方向）に沿った第２軸とを採ることで、直交した２つの座標軸が設定される。ただし、２つの座標軸の交差角度は９０°に限定されない。また、矩形の黒板面２１Ｓ上に、交差する２方向のそれぞれにおいて区画して形成した複数の細分化領域を設定し、黒板記入領域に対応する細分化領域を特定することにより黒板記入領域を座標として記憶してもよい。このように、黒板記入領域は、黒板面２１Ｓにおける位置が特定されれば、記憶の態様は特に限定されない。マーカ記憶部４６における記憶態様は、別の図面を用いて後述する。

補正部４８は、取得した撮影画像において、この撮影画像中の二次元マーカ２３に対応するマーカ画像部を特定する。なお、マーカ画像部を特定する前に、取得した撮影画像の明暗や色の補正を行ってもよい。マーカ画像部の特定は、公知の画像認識、例えば、色や形状などの特定の特徴的部分に基づいた画像認識により行えばよい。補正部４８は、マーカ画像部に基づいて、撮影画像に写し込まれている二次元マーカ２３に関連付けられた黒板２１をマーカ記憶部４６から特定し、特定した黒板２１の形状に、撮影画像中の黒板２１に対応する黒板領域の形状を補正して補正画像を生成する。黒板領域の特定もマーカ領域の特定と同様に、公知の画像認識により行えばよい。なお、補正部４８は、マーカ画像部の形状に基づいて、撮影画像に含まれている黒板２１に対応する黒板領域を、黒板２１の形状に補正してもよく、この場合には二次元マーカ２３として特定の二次元形状を有するものを用いる。補正部４８は補正画像と撮影画像とを補正記入領域特定部５１に出力する。なお、補正部４８は、マーカ画像部を特定しなかった場合には、取得した撮影画像を写真データ生成部５３に送る。

補正記入領域特定部５１は、補正部４８により生成された補正画像が入力された場合に、撮影画像中のマーカ画像部に対応する補正画像中の補正マーカ画像部を特定する。マーカ画像部に示される補正マーカは二次元マーカ２３に対応しているから、補正マーカは二次元マーカ２３にも対応する。補正記入領域特定部５１は、補正マーカ画像部を特定した場合に、補正マーカ画像部に示される補正マーカを二次元マーカ２３として記憶しているマーカ記憶部４６から、その二次元マーカ２３と関連付けられている黒板記入領域を特定する。補正記入領域特定部５１は、特定した黒板記入領域に対応する補正画像中の補正記入領域を特定し、撮影画像と関連付けて内容特定部５２に出力する。

候補記憶部４７は、上記の一の記入欄２２に記入される工事内容の候補を記憶する。工事内容の候補が複数ある場合には、それら複数の候補を記憶する。また、内容記憶部５８は、内容特定部５２が特定した工事内容を記憶する。候補記憶部４７及び内容記憶部５８の記憶態様については、別の図面を用いて後述する。

内容特定部５２は、補正記入領域が入力された場合に、補正記入領域内の画像から、黒板２１の記入欄２２に書き込まれている工事内容を、候補記憶部４７に予め記憶されている工事内容の複数の候補から特定し、特定した工事内容を、生成時とともに内容記憶部５８にも出力して記憶させる。なお、内容記憶部５８には工事内容と生成時とに加えて、例えば撮影画像を関連付けて記憶させてもよく、本例でもそのようにしている。

内容特定部５２は、上記工事内容を特定する場合に、例えば、一般的なＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ，光学文字認識）を用いて、補正記入領域内の画像の各文字をそれぞれ認識し、これら文字からなる文字列と最も一致する候補を工事内容として特定してもよい。また、黒板２１に実際に記入された工事内容の画像と教師としてのデータとを用いて学習させた人工知能（ニューラルネットワーク）に、補正記入領域内の画像を入力することで工事内容を取得し、この取得した工事内容と最も一致する候補を工事内容として特定してもよい。なお、人工知能を用いた場合には、補正記入領域内の画像を入力することで得られるものを工事内容として特定してもよく、その場合には候補記憶部４７は省略してよい。

内容特定部５２は、複数の候補の中から工事内容を特定しなかった場合に、内容記憶部５８から、直近に記憶された工事内容を写真データ生成部５３に出力する。直近に記憶された工事内容は、内容記憶部５８に記憶されている生成時を直近のものから読み込み、工事内容が関連付けられて記憶されている生成時を特定し、特定した生成時に関連付けられている工事内容である。なお、内容特定部５２は、複数の候補の中から工事内容を特定しなかった場合には、特定しなかったことを示す非特定情報を生成して内容記憶部５８に記憶してもよく、本例でもそのようにしている。なお、内容特定部５２が複数の候補の中から工事内容を特定しなかった場合とは、補正記入領域にある文字列を、内容記憶部５８を読み込んで特定できなかった場合である。

写真データ生成部５３は、内容特定部５２により特定された工事内容を撮影画像と関連付けて工事写真データを生成し、生成した工事写真データを画像生成部５６に出力する。生成した工事写真データについては、別の図面を用いて後述する。なお、写真データ生成部５３は、補正部４８から撮影画像が入力された場合には、工事内容との関連付けを行わない。そのため、この場合には、工事内容を含まずに、撮影画像を含む工事写真データを生成して画像生成部５６に出力する。

画像生成部５６は、入力された工事写真データに基づいて、特定された工事内容を示す前述の内容画像部１５（図１参照）と撮影画像を示す撮影画像部１４（図１参照）とを有する写真データ画像１１を生成する。画像生成部５６は、例えば入力部６１によって、表示装置１２に表示させるための表示指示が入力された場合に、生成した写真データ画像１１（図１参照）を表示装置１２に出力して表示させる。

図４において、マーカ記憶部４６（図３参照）は、二次元マーカ２３と、黒板２１と、黒板記入領域とを関連付けて記憶しており、黒板を特定する情報はメーカ及び型式であり、また、記憶している黒板記入領域は複数であってもよい。例えば、図４に示す例では、「Ｍ１」で示される二次元マーカ２３は、黒板のメーカ「ＢＭ１」及び型式「ＢＢ１」、黒板記入領域「ＲＡ」としての「ＲＡ１」、「ＲＢ」としての「ＲＢ１」、「ＲＣ」としての「ＲＣ１」のそれぞれと関連付けられて記憶されている。「Ｍ２」及び「Ｍ３」で示される各二次元マーカ２３についても同様である。すなわち、「Ｍ２」で示される二次元マーカ２３は、黒板のメーカ「ＢＭ２」及び型式「ＢＢ２」と、黒板記入領域「ＲＡ」としての「ＲＡ２」、「ＲＢ」としての「ＲＢ２」、「ＲＣ」としての「ＲＣ２」、「ＲＤ」としての「ＲＤ２」のそれぞれと関連付けられて記憶されている。また、「Ｍ３」で示される二次元マーカ２３は、黒板のメーカ「ＢＭ３」及び型式「ＢＢ３」と、黒板記入領域「ＲＡ」としての「ＲＡ３」、「ＲＢ」としての「ＲＢ３」、「ＲＤ」としての「ＲＤ３」のそれぞれと関連付けられて記憶されている。なお、マーカ記憶部４６は、二次元マーカ２３に対して、黒板面２１Ｓのフォーマット（様式）が関連付けられてもよく、その場合には個々の黒板記入領域は黒板面２１Ｓのフォーマットの一部として記憶される。

図４において黒板記入領域は、例えば「ＲＡ」が工事名を記入する記入欄２２ａ（図２参照）の黒板記入領域、「ＲＢ」が工種を記入する記入欄２２ｂ（図２参照）の黒板記入領域、「ＲＣ」が撮影日時を記入する記入欄（例えば図２における記入欄２２ｃ）の黒板記入領域である。マーカ記憶部４６は、二次元マーカ２３を、黒板２１のメーカ並びに型式、及び黒板面２１Ｓのフォーマットという黒板の態様に関連付けて記憶しており、これらを介して黒板記入領域は二次元マーカ２３に関連付けて記憶されている。

図５において、候補記憶部４７（図３参照）は、黒板記入領域と、当該黒板記入領域を有する記入欄２２（図２参照）に記入される工事内容の候補とを関連付けて記憶している。例えば、図５に示す例では、「ＲＡ」は工事内容の候補「ａ１」と、「ＲＢ」は工事内容の候補「ｂ１」～「ｂ３」のそれぞれと、「ＲＣ」は工事内容の候補「ｃ１」，「ｃ２」，・・・のそれぞれと関連付けられている。「ａ１」は、例えば「国道○○号線舗装工事」といった文字列（数字を含む）である。「ｂ１」は例えば「舗装工」、「ｂ２」は例えば「鉄筋工」、「ｂ３」は例えば「掘削工」といった文字列である。「ｃ１」は例えば「〇〇月○○日○○時○○分」、「ｃ２」は例えば「○○．○○ ○○：○○」といった文字列であり、「○○」は例えばプログラム等により０～９から選ばれる任意の数字とされてもよい。

図６において、内容記憶部５８（図３参照）は、撮影画像と生成時と工事内容とを関連付けて記憶している。例えば、図６に示す例では、撮影画像「Ｐ１」は、生成時「ｔ１」と、工事内容の候補「ａ１」及び候補「ｂ１」とに関連付けられている。撮影画像「Ｐ２」は、生成時「ｔ２」と、工事内容の候補「ａ１」及び候補「ｂ１」とに関連付けられている。また、撮影画像「Ｐ５」は、生成時「ｔ５」と、工事内容の候補「ａ１」とに関連付けられているが、撮影画像「Ｐ１」～「Ｐ４」に関連付けられた候補「ｂ１」，「ｂ２」のように黒板記入領域ＲＢ（図５参照）に対応する候補は記憶されていない。

図７において、写真データ生成部５３が生成する工事写真データは、撮影画像と生成時と工事内容とが関連付けられている。例えば、新たに取得した撮影画像を「Ｐ６」とするときに、撮影画像「Ｐ６」は、生成時「ｔ６」と、工事内容「ａ１」及び「ｂ２」とに関連付けられて記憶されている。

本例の内容特定部５２は、図８に示すように、学習演算モジュール５２ａと対照モジュール５２ｂとを備える。学習演算モジュール５２ａは、記入欄２２に記入された工事内容の画像と教師としてのデータとが入力されて学習した人工知能（ニューラルネットワーク）を有する。学習演算モジュール５２ａは、補正記入領域が入力された場合に、この人工知能に補正記入領域内の画像を入力することで工事内容を取得する。対照モジュール５２ｂは、学習演算モジュール５２ａが取得した工事内容と候補記憶部４７に記憶されている工事内容の候補とを対照させ、最も一致する候補を工事内容として特定して、写真データ生成部５３に出力する。なお、対照モジュール５２ｂは、特定した工事内容を内容記憶部５８に記憶させる。対照モジュール５２ｂは、候補記憶部４７から工事内容を特定しなかった場合には、内容記憶部５８を読み込み、直近に記憶された工事内容を写真データ生成部５３に出力する。

なお、支援装置４２は、写真データ生成部５３が生成した工事写真データを、支援装置４２の操作者によって書き換える構成を備えてもよい。例えば、工事内容が、実際に黒板２１に記入された工事内容と異なっている場合などには、写真データ画像１１の表示中に、書き換えを指示する書き換え指示の入力を入力部６１により行うことにより、写真データ生成部５３に、工事写真データの書き換えをさせるようにするとよい。書き換え指示の入力は、例えば写真データ画像１１に書き換え指示用のボタンの画像部（図示無し）を形成し、このボタン画像部を選択することで行ってよい。書き換えた場合には、新たに生成した工事写真データを学習演算モジュール５２ａの人工知能に学習させてもよい。書き換え指示は、表示されている写真データ画像１１において行うように構成してもよいし、写真データ画像１１から書き換え用の画像（図示無し）を切り替えて表示させ、その書き換え用の画像の表示中に行うよう構成してもよい。

支援装置４２は、コンピュータに所定のプログラムを実行させることにより、コンピュータを支援装置４２の各部として機能させることができる。プログラムは、マーカ記憶ステップと、補正ステップと、補正記入領域特定ステップと、内容特定ステップと、写真データ生成ステップと、画像生成ステップとを有する。マーカ記憶ステップは、工事内容が記入される複数の記入欄と二次元形状を有する二次元マーカとが黒板面に設けられた黒板と、前記複数の記入欄のうち予め設定された一の記入欄の黒板記入領域とを、前記二次元マーカに関連付けてマーカ記憶部に記憶する。なお、候補記憶ステップをさらに有していてもよく、本例でもそのようにしている。候補記憶ステップは、上記の一の記入欄に記入される工事内容の複数の候補を記憶する。

補正ステップは、工事内容が記入された黒板とともに工事の現場が撮影された撮影画像を取得した場合に、取得した撮影画像中の二次元マーカに対応するマーカ画像部を特定し、マーカ画像部に基づいて、撮影画像に写し込まれている二次元マーカに関連付けられた黒板をマーカ記憶部から特定し、特定した黒板の形状に、撮影画像中の黒板に対応する黒板領域の形状を補正する。補正記入領域特定ステップは、補正により生成した補正画像の取得に応答して、補正画像中の二次元マーカに対応する補正マーカを二次元マーカとしてこの二次元マーカに関連付けられた黒板記入領域をマーカ記憶部から特定し、特定した黒板記入領域に対応する補正画像中の補正記入領域を特定する。

内容特定ステップは、補正記入領域の文字列を特定し、文字列を上記の複数の候補の中から工事内容として特定する。写真データ生成ステップは、特定された工事内容を撮影画像と関連付けて工事写真データを生成する。画像生成ステップは、工事写真データに基づいて、特定された工事内容を示す内容画像部と撮影画像を示す撮影画像部とを有し、表示装置に表示する写真データ画像を生成する。

上記構成の作用を説明する。マーカ記憶部４６には、予め、二次元マーカ２３と黒板記入領域とが関連付けて記憶されている。また、候補記憶部４７には、記入欄２２に記入される工事内容の候補が予め記憶されており、工事内容の候補が複数ある場合には、それら複数の候補が記憶されている。

画像取得部５７は、撮影画像の取得指示が入力されると、この入力に応答して、撮影画像を、撮影日時を示す撮影画像の生成時とともに取得し、補正部４８に出力する。複数の撮影画像の取得を指示する複数の取得指示が入力された場合には、複数の撮影画像とそれらの各々の生成時とを関連付けた状態で取得し、先行した生成日時を示す生成時と関連付けられた撮影画像から順に補正部４８に出力する。複数の撮影画像をまとめて取得するから、撮影画像に対する処理が効率よく行われる。

補正部４８は、画像取得部５７から撮影画像が入力されると、図９の（Ａ）に示すように撮影画像Ｇ１中のマーカ画像部Ｇｂｍと黒板領域Ｇｂとを特定し、マーカ画像部Ｇｂｍに基づいて、撮影画像Ｇ１に写し込まれている二次元マーカ２３に関連付けられた黒板２１をマーカ記憶部４６から特定する。そして図９の（Ｂ）に示すように、撮影画像Ｇ１中の黒板２１に対応する黒板領域の形状Ｓ１を、マーカ記憶部４６から特定した黒板２１の形状Ｓ２に補正し、形状Ｓ２を有する補正画像Ｇ２を生成する。図９の（Ａ）においては黒板領域Ｇｂはハッチングで示す領域である。補正は、黒板２１と同じ縦横比をもつ矩形となるように行えばよい。黒板２１の縦横比は、本例ではマーカ記憶部４６に黒板２１の型式として記憶されているので、マーカ記憶部４６から黒板２１の型式を読み出して、その型式に基づいて補正を行っている。補正の手法は、前述のように、撮影画像Ｇ１中のマーカ画像部Ｇｂｍを特定し、マーカ画像部Ｇｂｍの外郭形状に基づいて、撮影画像Ｇ１中の黒板領域Ｇｂを黒板２１の形状Ｓ２に補正してもよい。例えば、補正部４８は、撮影画像Ｇ１が入力されると、マーカ画像部Ｇｂｍと黒板領域Ｇｂとを特定する。そして、補正部４８は、マーカ記憶部４６を読み込み、入力された撮影画像Ｇ１に関連付けられた二次元マーカ２３を特定して、特定された二次元マーカ２３の形状と、マーカ画像部の形状とを比較する。そして、二次元マーカ２３が正方形であり、マーカ画像部Ｇｂｍが正方形以外の四角形である場合には、例えば、マーカ画像部Ｇｂｍの４つの角が９０°となるように、黒板領域Ｇｂを補正する。このようにして、黒板領域Ｇｂが黒板２１の形状に補正され、補正画像Ｇ２が生成される。なお、黒板領域Ｇｂの補正は、マーカ画像部Ｇｂｍの外郭をなす４辺の方向が水平及び鉛直方向になるように行ってもよい。また、補正部４８は、撮影画像Ｇ１に黒板２１が写し込まれていない場合などにはマーカ画像部Ｇｂｍを特定しないから、この場合には、撮影画像Ｇ１を写真データ生成部５３に送る。

複数の撮影画像Ｇ１を画像取得部５７が取得した場合には、先行して生成された撮影画像Ｇ１から順に補正部４８に入力され、補正部４８は撮影画像Ｇ１の入力に応答して黒板領域Ｇｂの補正を行う。そのため、補正部４８は、先行して生成された、すなわち撮影日時が古い撮影画像Ｇ１から順に黒板領域Ｇｂの補正と補正記入領域特定部５１への出力とを行う。

補正記入領域特定部５１は、補正画像Ｇ２が入力されると、補正画像Ｇ２中の補正マーカ領域を特定し、この補正マーカ領域に示される補正マーカＭｃを二次元マーカ２３としてこの二次元マーカ２３に関連付けられた黒板記入領域をマーカ記憶部４６において特定する。そして、補正記入領域特定部５１は、特定した黒板記入領域を補正画像Ｇ２中において対応する補正記入領域として特定する。補正記入領域は、黒板記入領域と同様に例えば座標として特定するとよい。補正記入領域特定部５１は、補正画像Ｇ２が入力されると補正マーカ領域の特定と黒板記入領域の特定とを行うから、複数の撮影画像Ｇ１を画像取得部５７が取得した場合には、補正部４８から順次送られてくる補正画像Ｇ２の順に、補正記入領域を内容特定部５２に出力する。

内容特定部５２は補正記入領域が入力されると、学習演算モジュール５２ａの学習済みの人工知能に補正記入領域内の画像を入力して工事内容を取得し、対照モジュール５２ｂにより工事内容として特定して、写真データ生成部５３と内容記憶部５８とのそれぞれに出力する。内容特定部５２は、候補記憶部４７から工事内容を特定しなかった場合には、内容記憶部５８を読み込み、直近に記憶された工事内容を写真データ生成部５３に出力する。

撮影画像Ｇ１における黒板領域Ｇｂが撮影画像Ｇ１の奥行方向と画像面内とのいずれで傾斜していても、黒板領域Ｇｂは黒板２１の形状Ｓ２に補正されるから、補正画像Ｇ２の補正記入領域は黒板２１の黒板記入領域と形状と同じとなっている。そのため、補正記入領域内の画像に含まれる文字は、黒板２１に実際に記入された文字と同じ形状で認識され、内容特定部５２は工事内容を的確に特定する。また、本例では、学習演算モジュール５２ａの学習済みの人工知能を用いて工事内容を特定しているから、黒板２１に実際に記入された文字通りに、補正記入領域内の画像に含まれる文字を認識し、工事内容が特定される。

写真データ生成部５３は、内容特定部５２により特定された工事内容を撮影画像Ｇ１と関連付けて工事写真データを生成し、画像生成部５６は、工事写真データが入力されると、この工事写真データに基づいて写真データ画像１１を生成する。このように、デジタルカメラのような従前より広く使用されている撮影装置４３で撮影された工事の撮影画像Ｇ１を用いて、効率よく工事写真データが生成される。また、写真データ生成部５３は、補正部４８から撮影画像Ｇ１が入力されると、工事内容と関連付けを行うことなくこの撮影画像Ｇ１を含む工事写真データを生成して画像生成部に送り、画像生成部５６は工事内容を例えば空欄とした写真データ画像１１を生成する。

また、内容特定部５２は補正記入領域が入力されると工事内容を特定し、写真データ生成部５３は特定された工事内容が入力されると工事写真データを生成する。そのため、複数の撮影画像を画像取得部５７が取得した場合には、確実に撮影日時が古い順に工事写真データが生成される。したがって、効率よく、撮影日時が時系列に沿った工事写真データが生成される。

さらに、本例の支援装置４２は、一旦生成された工事写真データを、上述のように支援装置４２の操作者によって書き換えることができ、書き換えによって新たに生成した工事写真データを学習演算モジュール５２ａの人工知能に学習させている。これにより、補正記入領域内の画像に含まれる文字は、より確実に、黒板２１に実際に記入された文字通りに認識され、学習を重ねるたびに工事内容がより的確に特定され、工事写真データがより効率よくつくられる。なお、上記のように工事内容を空欄として写真データ画像１１が生成された場合も同様に、操作者によって入力部６１を用いて入力してもよい。

１１ 工事写真データ画像
１２ 表示装置
１４ 撮影画像部
１５ 内容画像部
２１ 黒板
２１Ｓ 黒板面
２２ａ，２２ｂ，２２ｃ，・・・ 記入欄
２３ 二次元マーカ
２６ａ，２６ｂ，２６ｃ，・・・ 項目欄
４１ 写真管理支援システム
４２ 写真管理支援装置
４３ 撮影装置
４６ マーカ記憶部
４７ 候補記憶部
４８ 補正部
５１ 補正記入領域特定部
５２ 内容特定部
５３ 写真データ生成部
５６ 画像生成部
５７ 画像取得部
５８ 内容記憶部

Claims (7)

1. 工事内容が記入された黒板とともに工事の現場が撮影された撮影画像と、前記工事内容とを関連付けた工事写真データを生成する写真管理支援システムにおいて、
   工事内容が記入される複数の記入欄と、前記複数の記入欄のうち予め設定された一の記入欄の黒板記入領域に関連付けられ、二次元形状を有する二次元マーカとが黒板面に設けられた黒板と、
   前記二次元マーカに対して前記黒板及び前記黒板記入領域を関連付けて記憶するマーカ記憶部と、
   取得した前記撮影画像中の前記二次元マーカに対応するマーカ画像部を特定し、前記マーカ画像部に基づいて、前記撮影画像に写し込まれている前記二次元マーカに関連付けられた前記黒板を前記マーカ記憶部から特定し、特定した前記黒板の形状に、前記撮影画像中の前記黒板に対応する黒板領域の形状を補正する補正部と、
   補正により生成した補正画像の取得に応答して、前記補正画像中の前記二次元マーカに対応する補正マーカを前記二次元マーカとしてこの二次元マーカに関連付けられた前記黒板記入領域を前記マーカ記憶部から特定し、特定した前記黒板記入領域に対応する前記補正画像中の補正記入領域を特定する補正記入領域特定部と、
   前記補正記入領域の文字列を、前記一の記入欄に記入される前記工事内容の複数の候補の中から前記工事内容として特定する内容特定部と、
   特定された前記工事内容を前記撮影画像と関連付けて前記工事写真データを生成する写真データ生成部と、
   前記工事写真データに基づいて、特定された前記工事内容を示す内容画像部と前記撮影画像を示す撮影画像部とを有し、表示装置に表示する写真データ画像を生成する画像生成部と、
   を備える写真管理支援システム。
2. 前記二次元マーカはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカである請求項１に記載の写真管理支援システム。
3. 前記一の記入欄は、工事の種類を示す工種が記入される請求項１または２に記載の写真管理支援システム。
4. 前記撮影画像を取得する画像取得部をさらに備え、
   前記補正部は、前記画像取得部からの前記撮影画像の入力に応答して前記マーカ画像部を特定する請求項１ないし３のいずれか１項に記載の写真管理支援システム。
5. 前記画像取得部は、
   前記撮影画像の取得を指示する取得指示の入力に応答して、前記撮影画像が生成された日時を示す生成時情報とともに前記撮影画像を取得し、
   複数の前記撮影画像の前記取得指示が入力された場合には、前記複数の撮影画像の各生成時情報に基づいて、先行した生成日時を示す前記生成時情報に関連付けられた前記撮影画像から順に複数の前記撮影画像を前記補正部に出力する請求項４に記載の写真管理支援システム。
6. 前記内容特定部が特定した前記工事内容を記憶する内容記憶部をさらに備え、
   前記内容特定部は、前記複数の候補の中から前記工事内容を特定しなかった場合に、前記内容記憶部から、直近に記憶された前記工事内容を前記写真データ生成部に出力する請求項５に記載の写真管理支援システム。
7. 工事内容が記入される複数の記入欄と二次元形状を有する二次元マーカとが黒板面に設けられた黒板と、前記複数の記入欄のうち予め設定された一の記入欄の黒板記入領域とを、前記二次元マーカに関連付けてマーカ記憶部に記憶するマーカ記憶ステップと、
   工事内容が記入された黒板とともに工事の現場が撮影された撮影画像を取得した場合に、取得した前記撮影画像中の前記二次元マーカに対応するマーカ画像部を特定し、前記マーカ画像部に基づいて、前記撮影画像に写し込まれている前記二次元マーカに関連付けられた前記黒板を前記マーカ記憶部から特定し、特定した前記黒板の形状に、前記撮影画像中の前記黒板に対応する黒板領域の形状を補正する補正ステップと、
   補正により生成した補正画像の取得に応答して、前記補正画像中の前記二次元マーカに対応する補正マーカを前記二次元マーカとしてこの二次元マーカに関連付けられた前記黒板記入領域を前記マーカ記憶部から特定し、特定した前記黒板記入領域に対応する前記補正画像中の補正記入領域を特定する補正記入領域特定ステップと、
   前記補正記入領域の文字列を特定し、前記一の記入欄に記入される前記工事内容の複数の候補の中から前記文字列を前記工事内容として特定する内容特定ステップと、
   特定された前記工事内容を前記撮影画像と関連付けて工事写真データを生成する写真データ生成ステップと、
   前記工事写真データに基づいて、特定された前記工事内容を示す内容画像部と前記撮影画像を示す撮影画像部とを有し、表示装置に表示する写真データ画像を生成する画像生成ステップと、
   をコンピュータに実行させる写真管理支援プログラム。

Images