JP2018022395A - 計数方法および計数装置 - Google Patents

Abstract

【課題】様々な状況で計数対象物の数を簡単に計数することができる。【解決手段】計数対象物Ｅの集合体を撮影した撮影画像から計数対象物Ｅの数を計数する計数方法であって、撮影部を用いた前記撮影画像の撮影を支援する画像撮影支援工程と、前記撮影画像に写し出された計数対象物Ｅの数を計数する計数処理工程と、を有し、前記画像撮影支援工程は、ユーザの操作によりサイズを変更することができる撮影ガイドＧを撮影画像に重ねて入出力部２１に表示させ、前記計数処理工程は、撮影時の撮影ガイドＧのサイズおよび位置に基づいて前記撮影画像から第一の形状モデルを生成し、生成した前記第一の形状モデルを用いて前記撮影画像に対して第一のマッチング処理を行う。【選択図】図６

Description

本発明は、計数方法および計数装置に関する。

鉄鋼業などでは、製造された鋼材（例えば、棒鋼）の本数を計数することが行われている。例えば、鋼材は運搬や貯蔵に際して、同一サイズのものを予定本数分だけ束ねて、ベルトや針金で結束されるのが一般的である。しかし、一束中の鋼材本数が多い場合、鋼材本数を予定通りの本数にすることは容易でなく、多少の増減がある場合が少なくない。また、そもそも予定本数を定めずに鋼材を束ねる場合、一束中の鋼材本数は不明である。
その為、生産や出荷の工程管理という観点から、一束中の鋼材の本数を正確に計数することが必要になる。

そこで、従来より、鋼材の端面を撮影した画像を画像解析することによって、鋼材の本数を計数する技術が開発されている（例えば、特許文献１参照）。
特許文献１に記載の技術は、鋼材束断面の正面中央付近の所定位置に設置された二次元撮像手段により照明された該断面全体の画像を撮影し、鋼材単体の断面形状の面積を含む特性値を解析することで鋼材の本数を計数するものである。

特開２０１２−１７３９０１号公報

しかしながら、特許文献１に記載の技術は、特性値が予め設定した標準値に概ね合致するか否かを判定しているので、鋼材が貯蔵される環境によっては鋼材の本数を計数することが難しい場合があった。
つまり、鋼材と撮影手段との距離や鋼材自体のサイズ（例えば、外径）によって鋼材単体の断面形状の面積は変化するので、撮影時に厳密な設定が必要になり、ユーザにとって利便性がよいものとは言えない場合があった。なお、このような課題は、鋼材に限った話ではなく、色々な物の数を計数する場合に広く問題になる。

このような観点から、本発明は、様々な状況で計数対象物の数を簡単に計数することができる計数方法および計数装置を提供する。

前記課題を解決するため、本発明に係る計数方法は、計数対象物の集合体を撮影した撮影画像から当該計数対象物の数を計数する計数方法であって、撮影部を用いた前記撮影画像の撮影を支援する画像撮影支援工程と、前記撮影画像に写し出された前記計数対象物の数を計数する計数処理工程と、を有する。前記画像撮影支援工程は、ユーザの操作によりサイズを変更することができる撮影ガイドを撮影画像に重ねて表示部に表示させ、前記計数処理工程は、撮影時の前記撮影ガイドのサイズおよび位置に基づいて前記撮影画像から第一の形状モデルを生成し、生成した前記第一の形状モデルを用いて前記撮影画像に対して第一のマッチング処理を行う。

本発明に係る計数方法においては、撮影時に撮影ガイドのサイズを計数対象物に合わせることで、計数対象物の撮影画像における大きさを特定することが可能である。そして、撮影時の撮影ガイドのサイズに基づいて形状モデルを生成することにより、この形状モデルは計数対象物までの距離や計数対象物自体の大きさを考慮したものとなる。その為、撮影画像に対して生成した形状モデルを用いてマッチング処理を行うことで、計数対象物までの距離や計数対象物自体の大きさに関わらず、計数対象物の数を計数することができる。

また、本発明に係る計数方法は、前記撮影画像から前記第一のマッチング処理を行う範囲を特定する撮影画像編集工程をさらに有するのがよい。
これにより、マッチング処理を行う範囲が限定されるので、マッチング処理の処理量を削減できる。

また、本発明に係る計数方法は、前記計数処理工程で、前記撮影時の撮影ガイドのサイズに基づく第二の形状モデルを用いて前記撮影画像の一部の範囲に対して第二のマッチング処理を行い、前記第二のマッチング処理の結果に基づき前記第一の形状モデルを生成する位置を特定するのがよい。
これにより、撮影時に撮影ガイドの位置を計数対象物に正確に合わせなくても、撮影画像に対してマッチング処理を行うための最適な形状モデルを生成することが可能になる。

また、本発明に係る計数方法は、前記計数処理工程で、前記撮影時の撮影ガイドのサイズとは異なる大きさの第三の形状モデルを用いて前記撮影画像の一部の範囲に対して第三のマッチング処理を行い、前記第三のマッチング処理の結果に基づき前記第一の形状モデルを生成するサイズを特定するのがよい。
これにより、撮影時に撮影ガイドのサイズを計数対象物に正確に合わせなくても、撮影画像に対してマッチング処理を行うための最適な形状モデルを生成することが可能になる。

また、本発明に係る計数方法は、前記第一のマッチング処理の結果を前記撮影画像に重ねて前記表示部に表示させ、ユーザの操作により当該第一のマッチング処理の結果を編集するマッチング結果編集工程をさらに有するのがよい。
これにより、マッチング処理に間違いがあった場合でも、マッチング処理の結果を簡単に修正することができる。

また、本発明に係る計数装置は、前述した計数方法を制御部に実行させることを特徴とする計数装置である。
本発明に係る計数装置においては、撮影時に撮影ガイドのサイズを計数対象物に合わせることで、計数対象物の撮影画像における大きさを特定することが可能である。そして、撮影時の撮影ガイドのサイズに基づいて形状モデルを生成することにより、この形状モデルは計数対象物までの距離や計数対象物自体の大きさを考慮したものとなる。その為、撮影画像に対して生成した形状モデルを用いてマッチング処理を行うことで、計数対象物までの距離や計数対象物自体の大きさに関わらず、計数対象物の数を計数することができる。

本発明によれば、様々な状況で計数対象物の数を簡単に計数することができる。

本発明の実施形態に係る計数システムの概略構成図である。 ユーザ端末のブロック図である。 計数装置のブロック図である。 本発明の実施形態に係る計数方法の全体処理を示すフローチャートの例示である。 本発明の実施形態に係る計数方法の全体処理を示すフローチャートの例示である。 ユーザ端末の表示画面の例示であり、（ａ）は外径の大きな計数対象物を撮影した撮影画面を示し、（ｂ）は外径の小さな計数対象物を撮影した撮影画面を示し、（ｃ）は撮影画像の編集画面を示す。 ユーザ端末に表示される結果表示画面の例示である。 ユーザ端末の表示画面の例示であり、（ａ），（ｂ）は計数結果の修正操作を示し、（ｃ）は表示画像の切り替え操作を示す。 計数処理を示すフローチャートの例示である。 形状モデル生成用の情報取得処理を示すフローチャートの例示である。 形状モデル生成用の情報取得処理を説明するための図である。 形状モデル生成用の情報取得処理の例示であり、（ａ）は中心部画像を示し、（ｂ）はマッチングスコアが最も高い状態を示したイメージ図である。 変形例に係る撮影ガイドおよび形状モデルの例示である。

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

≪実施形態に係る計数システムの構成≫
図１を参照して、実施形態に係る計数システム１の構成について説明する。以下では、本発明に関連する機能の説明を行うことにし、関連しない機能については説明を省略する。
計数システム１は、計数対象物Ｅを数えるシステムであり、ここでは、計数対象物Ｅとして棒鋼を想定して説明する。なお、計数対象物Ｅは、特定方向から見た場合の形状が同様になるものであればよく、例えば、鋼管、Ｈ鋼、Ｌ鋼などの棒鋼以外の長尺物であってもよい。計数対象物Ｅは、一束にまとめられており集合体Ｄをなしている。計数システム１は、主に、ユーザ端末２と、計数装置３とを備えて構成される。

ユーザ端末２は、ユーザによって操作される装置であり、ここでのユーザは、棒鋼の生産や出荷などを行う作業現場で作業を行う作業員を想定する。ユーザとしての作業員は、例えば、ユーザ端末２を用いて、在庫管理として定期的または出荷時に計数対象物Ｅの本数を計数する。
ユーザ端末２は、少なくとも入出力機能と、撮影機能と、通信機能と、情報処理機能とを備えた装置であり、例えば、多機能型携帯電話機（スマートフォン:Smartphone）、モバイル端末、ノート型ＰＣ（Personal Computer）などであってよい。ここでは、ユーザ端末２として多機能型携帯電話機を想定して図示および以降の説明を行う。

ユーザ端末２は、ユーザの操作によって撮影した計数対象物Ｅの撮影画像を計数装置３に対して送信する。また、ユーザ端末２は、計数装置３から送信された撮影画像の画像解析結果（例えば、計数対象物Ｅの計数結果）を受信し、受信した画像解析結果をユーザに対して表示する。なお、計数装置３における画像解析処理を容易にするために、ユーザの操作によって撮影画像の編集が行われてもよい。その場合、ユーザ端末２は、編集後の撮影画像を計数装置３に対して送信する。

計数装置３は、少なくとも通信機能と、情報処理機能とを備えた装置であり、例えば、アプリケーションサーバである。ここでの計数装置３は、ネットワークＮＷ上に配置されたサーバを想定しているが、計数装置３が配置される場所はネットワークＮＷ上に特に限定されるものではない。計数装置３は、例えば、作業現場に配置されてもよく、その場合、ユーザ端末２と計数装置３とは、例えば、無線ＬＡＮ（Local Area Network）を介して情報を送受信する。
計数装置３は、計数対象物Ｅを撮影した撮影画像を画像解析（例えば、形状モデルマッチング）して計数対象物Ｅの本数を計数し、計数結果をユーザ端末２に応答する。

＜ユーザ端末の構成＞
図２を参照して、ユーザ端末２のより詳細な構成について説明する。ユーザ端末２は、入出力部２１と、撮影部２２と、通信部２３と、記憶部２４と、制御部２５とを備える。
入出力部２１は、例えば、タッチディスプレイであり、ユーザによる入力操作が行われる。また、入出力部２１は、ユーザ端末２内の処理結果や計数装置３からの応答結果などを表示する。

撮影部２２は、例えば、焦点の調整可能なＣＣＤ（Charge Coupled Device）カメラであり、ユーザによる撮影操作により計数対象物Ｅの撮影画像を生成する。
通信部２３は、例えば、Ｗｉ−Ｆｉユニットであり、周囲に設置される図示しないアクセスポイントを介して計数装置３との間で通信を行う。

記憶部２４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶媒体から構成される。記憶部２４には、撮影部２２によって撮影された撮影画像Ｐ、後述する撮影ガイドＧのサイズ、計数装置３によって撮影画像Ｐを画像解析（ここでは、形状モデルを用いたマッチング処理）された後のマッチング結果画像Ｑなどが記憶される。

制御部２５は、ＣＰＵ（Central Processing Unit）によるプログラムの実行処理や、専用回路等により実現される。制御部２５がプログラムによって実現される場合、そのプログラムをコンピュータによる読み取り可能な記録媒体（例：ＣＤ−ＲＯＭ）に記憶して提供することができる。また、そのプログラムを、インターネットなどのネットワークを通して提供することもできる。
制御部２５は、画像撮影支援部２５ａと、撮影画像編集部２５ｂと、撮影画像送信部２５ｃと、マッチング結果画像受信部２５ｄと、マッチング結果編集部２５ｅと、画像切替処理部２５ｆとを備える。ここでは、各機能の処理の概要を説明する。

画像撮影支援部２５ａは、撮影部２２による計数対象物Ｅの撮影を支援する。
撮影画像編集部２５ｂは、ユーザによる撮影画像Ｐの編集を行う機能を提供する。
撮影画像送信部２５ｃは、通信部２３を介して撮影画像Ｐを計数装置３に対して送信する。なお、撮影画像編集部２５ｂによって撮影画像Ｐの編集が行われた場合には、編集後の撮影画像Ｐを計数装置３に対して送信する。
マッチング結果画像受信部２５ｄは、通信部２３を介してマッチング結果画像Ｑを計数装置３から受信する。
マッチング結果編集部２５ｅは、ユーザによるマッチング結果画像Ｑの編集を行う機能を提供する。
画像切替処理部２５ｆは、撮影画像Ｐとマッチング結果画像Ｑとの表示の切り替えを行う機能を提供する。

＜計数装置の構成＞
図３を参照して、計数装置３のより詳細な構成について説明する。計数装置３は、通信部３１と、記憶部３２と、制御部３３とを備える。
通信部３１は、例えば、通信インターフェースであり、通信回線を介してユーザ端末２との間で通信を行う。

記憶部３２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶媒体から構成される。記憶部３２には、ユーザ端末２から受信した撮影画像Ｐおよび撮影ガイドＧのサイズ、撮影画像Ｐを画像解析（ここでは、形状モデルを用いたマッチング処理）した後のマッチング結果画像Ｑなどが記憶される。

制御部３３は、ＣＰＵ（Central Processing Unit）によるプログラムの実行処理や、専用回路等により実現される。制御部３３がプログラムによって実現される場合、そのプログラムをコンピュータによる読み取り可能な記録媒体（例：ＣＤ−ＲＯＭ）に記憶して提供することができる。また、そのプログラムを、インターネットなどのネットワークを通して提供することもできる。
制御部３３は、撮影画像受信部３３ａと、計数処理部３３ｂと、マッチング結果画像作成部３３ｅと、マッチング結果画像送信部３３ｆとを備える。また、計数処理部３３ｂは、形状モデル生成部３３ｃと、マッチング処理部３３ｄとを有する。ここでは、各機能の処理の概要を説明する。

撮影画像受信部３３ａは、通信部３１を介して撮影画像Ｐをユーザ端末２から受信する。なお、撮影画像編集部２５ｂ（図２参照）によって撮影画像Ｐの編集が行われた場合には、編集後の撮影画像Ｐをユーザ端末２から受信する。
計数処理部３３ｂは、撮影画像Ｐに写し出された計数対象物Ｅの数を計数する。
形状モデル生成部３３ｃは、計数対象物Ｅの数を計数するために行うマッチング処理に用いる形状モデルを生成する。ここでの形状モデルは、「第一の形状モデル」である。形状モデル生成部３３ｃは、撮影画像Ｐから形状モデルを生成する。

マッチング処理部３３ｄは、形状モデルを用いて撮影画像Ｐに対してマッチング処理を行う。ここでのマッチング処理は、「第一のマッチング処理」である。マッチング処理部３３ｄは、例えば、形状モデルの形状や面積比などに基づいて、形状モデルに適合する物を撮影画像Ｐから識別する。そして、マッチング処理部３３ｄは、適合具合に基づいて識別した物にスコアを付けて、スコアにより分類を行う。
マッチング結果画像作成部３３ｅは、マッチング処理部３３ｄによるマッチング処理の結果に基づいてマッチング結果画像Ｑを作成する。マッチング結果画像作成部３３ｅは、例えば、マッチング処理のスコアにより分類された物体を識別可能に画像の加工を行う。
マッチング結果画像送信部３３ｆは、通信部３１を介してマッチング結果画像Ｑをユーザ端末２に対して送信する。

≪実施形態に係る計数方法≫
＜全体処理＞
図４および図５（適宜、図１ないし図３参照）を参照して、実施形態に係る計数システム１による計数方法を説明する。図４および図５は、計数システム１による計数方法を示すフローチャートである。
図４および図５の処理は、例えば、ユーザによりユーザ端末２に格納される図示しないアプリケーションの起動操作がなされることにより開始する。このアプリケーションが起動されることで、撮影部２２は画像の撮影を開始し、画像撮影支援部２５ａは、一束にまとめられた計数対象物Ｅ（ここでは、棒鋼）の端面を撮影するようにユーザに対して指示を行う。

ユーザは、ユーザ端末２の指示に従って入出力部２１に計数対象物Ｅの束全体が表示されるように（撮影部２２の撮影範囲に計数対象物Ｅ全体を収めるように）、撮影部２２の位置を調整する（ステップＳ１）。例えば、ユーザは、ユーザ端末２を計数対象物Ｅに近づけたり、遠ざけたりして撮影部２２の位置を調整する。なお、撮影部２２の位置を動かさずに、撮影部２２の倍率を上げたり下げたりしてもよい。これにより、画像撮影支援部２５ａは、図６（ａ）に示すように、計数対象物Ｅを映し出した撮影画面６０を入出力部２１に表示する。

この撮影画面６０の中央には、撮影画像に重ねて撮影ガイドＧ（ここでは、リング状の図形）が表示されている。この撮影ガイドＧは、撮影の基準になるものであり、ユーザの操作によりサイズを変更可能である。撮影ガイドＧのサイズや位置は、マッチング処理に用いる形状モデルの生成に利用される。詳細は後述する。
また、この撮影画面６０の右上部には、撮影ボタン６１が表示されている。この撮影ボタン６１は、ユーザに操作されるものであって、ユーザにより押下されることで、画像撮影支援部２５ａは、押下時の撮影画像を記憶部２４に格納する（以下では、撮影ボタン６１を押下された時の撮影画像を、特に「撮影画像Ｐ」と表記する場合がある）。
また、この撮影画面６０の左下部には、拡大ボタン６２および縮小ボタン６３が上下方向に並べて表示されている。これらの拡大ボタン６２および縮小ボタン６３は、ユーザに操作されるものであって、拡大ボタン６２を押下されることにより撮影ガイドＧのサイズは大きくなる。一方、縮小ボタン６３を押下されることにより撮影ガイドＧのサイズは小さくなる。

続いて、ユーザは、撮影ガイドＧと一本の計数対象物Ｅとのサイズが合っているか否かを確認する（図４のステップＳ２）。ステップＳ２で比較対象になる計数対象物Ｅは、任意のものであってよい。本実施形態では、図６（ａ）に示すように撮影ガイドＧを撮影画面６０の中央に表示しているので、ユーザが計数対象物Ｅの束全体を画面に収めようとすると自然に中央付近に位置する計数対象物Ｅが比較対象になる。撮影ガイドＧと計数対象物Ｅとのサイズが合っているとは、撮影ガイドＧ内に計数対象物Ｅが収容されている状態を意味しているが、厳密である必要はない。

撮影ガイドＧと計数対象物Ｅとのサイズが合っていない場合（ステップＳ２で“Ｎｏ”）に、ユーザは、撮影ガイドＧのサイズを計数対象物Ｅのサイズに調整する。具体的には、撮影ガイドＧが大きい場合（ステップＳ３で“Ｙｅｓ”）に、ユーザは縮小ボタン６３を押下する（ステップＳ４）。これにより、画像撮影支援部２５ａは、撮影ガイドＧのサイズを小さくする。なお、縮小の程度は特に限定されず、例えば、一回の縮小ボタン６３の押下により０．９倍程度の大きさになるようにする。そして、ユーザは、撮影ガイドＧと計数対象物Ｅとのサイズが合っているか否かを再度確認する（ステップＳ２）。

また、ユーザは、撮影ガイドＧのサイズが小さい場合（ステップＳ３で“Ｎｏ”）に、ユーザは拡大ボタン６２を押下する（ステップＳ５）。これにより、画像撮影支援部２５ａは、撮影ガイドＧのサイズを大きくする。なお、拡大の程度は特に限定されず、例えば、一回の拡大ボタン６２の押下により１．１倍程度の大きさになるようにする。そして、ユーザは、撮影ガイドＧと計数対象物Ｅとのサイズが合っているか否かを再度確認する（ステップＳ２）。
ステップＳ２〜Ｓ５の操作によって、撮影ガイドＧのサイズと位置は、撮影画像Ｐ内の任意の計数対象物Ｅに対して合わせられる。ステップＳ２〜Ｓ５の工程は、「画像撮影支援工程」である。なお、外径の小さい計数対象物Ｅに撮影ガイドＧのサイズを合わせた場合を図６（ｂ）に例示する。

そして、撮影ガイドＧと計数対象物Ｅとのサイズが合った時点で（ステップＳ２で“Ｙｅｓ”）、ユーザは、撮影ボタン６１を押下する（ステップＳ６）。これにより、画像撮影支援部２５ａは、撮影ボタン６１を押下された時点の撮影画像を記憶部２４に保存する。また、画像撮影支援部２５ａは、撮影時の撮影ガイドＧのサイズ（例えば、外径）を記憶部２４に保存する。

続いて、撮影した撮影画像Ｐに同じ外径の計数対象物Ｅ_S（図６（ｂ）参照）の束が隣接して写っている場合（ステップＳ７で“Ｙｅｓ”）に、ユーザは、計数対象物Ｅの周辺をなぞって、計数を行う計数対象物Ｅが写っている領域７０（図６（ｃ）参照）を抽出する（ステップＳ８）。この操作は、複数束の計数対象物Ｅが同一空間に隣接して保管されている場合を想定したものであり、例えば、図示しないメニュー画面から撮影画像Ｐの編集モードにモードを切り替えて行われる。これにより、撮影画像編集部２５ｂは、撮影画像Ｐから抽出された領域７０を新たな撮影画像Ｐとして記憶部２４内に保存する。なお、隣接して写っていない場合（ステップＳ７で“Ｎｏ”）に、ユーザは、領域７０の抽出を行わなくてよい。ステップＳ８の工程は、「撮影画像編集工程」である。

続いて、ユーザは、送信ボタン７１（図６（ｃ）参照）を押下する（ステップＳ９）。これにより、撮影画像送信部２５ｃは、記憶部２４に保存された撮影画像Ｐおよび撮影ガイドＧのサイズ（例えば、外径）を計数装置３に対して送信する（ステップＳ１０）。
次に、計数装置３は、撮影画像Ｐから計数対象物Ｅの本数を計数する計数処理を行う（ステップＳ１１）。なお、ステップＳ１１の計数処理の詳細は後述するが、撮影ガイドＧのサイズおよび位置に基づいて撮影画像Ｐから形状モデルを生成し、生成した形状モデルを用いてマッチング処理を行う。ステップＳ１１の工程は、「計数処理工程」である。

次に、計数装置３のマッチング結果画像送信部３３ｆは、計数結果本数およびマッチング結果画像Ｑをユーザ端末２に対して送信し、ユーザ端末２のマッチング結果画像受信部２５ｄはこれらの情報を受信する（ステップＳ１２）。そして、マッチング結果編集部２５ｅは、受信したマッチング結果画像Ｑを結果表示画面８０として入出力部２１に表示する（図７参照）。なお、図７に示す結果表示画面８０は、ステップＳ８で計数対象物Ｅの領域７０（図６（ｃ）参照）を抽出していない場合を示している。

図７に示すように、結果表示画面８０では、形状モデルとの適合具合に基づいて、計数対象物Ｅを判別可能に分けて表示されている。ここでは、適合具合の高い計数対象物Ｅを白抜きした領域Ｍｎで表示しており、適合具合が中くらいの計数対象物Ｅを斜線の領域Ｍｍで表示しており、適合度が低い計数対象物Ｅを黒色の領域Ｍｌで表示している。
なお、適合具体に基づいて計数対象物Ｅを色分けするようにしてもよい。この場合、色分けすることでより見やすいので好適である。例えば、適合具合が高い計数対象物Ｅの端面を青色で塗りつぶし、適合具合が中くらいの計数対象物Ｅの端面を黄色で塗りつぶし、適合具合が低い計数対象物Ｅの端面を赤色で塗りつぶしてもよい。

また、結果表示画面８０の左上部には、計数結果本数を表示する領域８１が表示されている。この領域８１に表示される計数結果本数は、適合具合の高い計数対象物Ｅ、適合具合の中くらいの計数対象物Ｅ、適合具合の低い計数対象物Ｅの合計本数である。
また、結果表示画面８０の右上部には、確定ボタン８２が表示されている。この確定ボタン８２は、ユーザに操作されるものであって、ユーザに押下されることにより押下時の領域８１に表示される計数結果本数を、撮影した計数対象物Ｅの正式な計数結果として確定する。一方、領域８１に表示される計数結果本数に誤りがある場合に、ユーザは、計数結果の内容を修正する。ユーザは、例えば、図示しないメニュー画面から計数結果の編集モードにモードを切り替えて計数結果の内容を編集する。

計数結果に誤検出がある場合について、図５および図８（ａ）を参照して説明する。ここでの誤検出とは、計数を行ってはいけない物体（例えば、隣接する計数対象物Ｅ_S（図６（ｂ）参照）やそもそも計数対象物Ｅでない物体）を計数した場合である。ユーザは、結果表示画面８０を見て誤検出がある場合に（ステップＳ１３で“Ｙｅｓ”）、図８（ａ）に示す削除ボタン８３を押す（ステップＳ１４）。続けて、ユーザは、誤検出されている領域を指でタップまたはなでることで結果表示画面８０から計数対象物Ｅの適合具合を示す情報（例えば、領域Ｍｌ，Ｍｍ，Ｍｎ）を削除する（ステップＳ１５）。これにより、領域８１に表示される計数結果本数は削除された分だけ減少する。

計数結果に未検出がある場合について、図５および図８（ｂ）を参照して説明する。ここでの未検出とは、計数を行うべき物体（ここでは、計数対象物Ｅ）を計数していない場合である。ユーザは、結果表示画面８０を見て未検出がある場合に（ステップＳ１６で“Ｙｅｓ”）、図８（ｂ）に示す追加ボタン８４を押す（ステップＳ１７）。続いて、ユーザは、未検出の計数対象物Ｅを指でタップすることで結果表示画面８０に適合を示す情報（図示せず）を追加する（ステップＳ１８）。これにより、領域８１に表示される計数結果本数は追加された分だけ増加する。

計数結果を確認しにくい場合について、図５および図８（ａ）〜（ｃ）を参照して説明する。ユーザは、結果表示画面８０を見て確認しにくい場所がある場合に（ステップＳ１９で“Ｙｅｓ”）、図８（ａ）や図８（ｂ）に示す切替ボタン８５を押す（ステップＳ２０）。これにより、図８（ｃ）に示すように、撮影画像Ｐを表示する画面に切り替わる。そして、図８（ｃ）に示す切替ボタン８５を再度押すことにより、図８（ａ）や図８（ｂ）に示す結果表示画面８０に切り替わる。このようにして、ユーザは、マッチング結果画像Ｑと撮影画像Ｐとを入出力部２１に交互に表示させて計数結果の確認を行うことも可能である（ステップＳ２１）。なお、ステップＳ１３〜Ｓ２１の工程は、「マッチング結果編集工程」である。

そして、ユーザは、計数結果が合っている場合（ステップＳ２２で“Ｙｅｓ”）に確定ボタン８２を押す（ステップＳ２３）。一方、計数結果が合っていない場合（ステップＳ２２で“Ｎｏ”）に、誤検出や未検出の確認を再度行う。

＜計数処理＞
図９を参照して、図４のステップＳ１１に示す計数処理について説明する。
最初に、図３に示す計数装置３の形状モデル生成部３３ｃは、形状モデルマッチング用画像の取得処理を行う（ステップＳ３１）。ステップＳ３１の詳細は後述するが、形状モデル生成部３３ｃは、マッチング用画像Ｐｄ（図１１参照）を撮影画像Ｐから取得する。続いて、形状モデル生成部３３ｃは、ステップＳ３１で取得したマッチング用画像Ｐｄを基にして、形状モデル（第一の形状モデル）を生成する（ステップＳ３２）。なお、形状モデルの生成方法は特に限定されず、種々の方法を用いることができる。

続いて、計数装置３のマッチング処理部３３ｄは、ステップＳ３２で生成した形状モデルを用いて、撮影画像Ｐに対して形状モデルマッチングを行う（ステップＳ３３）。また、マッチング結果画像作成部３３ｅは、マッチング結果に基づいて、マッチング結果画像Ｑを作成する（ステップＳ３４）。そして、マッチング結果画像送信部３３ｆは、計数結果本数およびマッチング結果画像Ｑをユーザ端末２に対して送信する（ステップＳ３５）。

＜形状モデルマッチング用画像の取得処理＞
図１０および図１１を参照して、図９に示すステップＳ３１の処理について説明する。前記説明した通り、ユーザは手動で撮影ガイドＧに計数対象物Ｅを合わせて撮影を行うので、撮影ガイドＧと計数対象物Ｅとの位置がずれたり、サイズが合っていなかったりする場合も想定される。撮影ガイドＧと計数対象物Ｅとの位置がずれたり、サイズが異なるままの状態で撮影ガイドＧを基準として画像を取得し、取得した画像から形状モデルを生成した場合、その形状モデルを用いたマッチング処理で正確な解析を行えない虞がある。その為、ここでは、形状モデルを生成する基になる画像を取得するための正確な位置、およびサイズを特定し、特定した情報に基づいて形状モデルを生成する基になる画像を取得する。これにより、図９のステップＳ３２において、最適な形状モデルを生成することが可能になる。

最初に、計数装置３の形状モデル生成部３３ｃ（図３参照）は、撮影画像Ｐの中心部画像Ｐｃ（図１１（ａ）参照）を抽出する（ステップＳ４１）。ステップＳ４１で抽出する中心部画像Ｐｃの範囲は、図１１（ａ）に示すように、撮影ガイドＧの周辺を含んだものである。抽出する中心部画像Ｐｃの範囲は、具体的には、撮影時における撮影ガイドＧとマッチング処理の基準となる計数対象物Ｅとの位置ずれが予測される最大量よりも大きく、基準となる計数対象物Ｅに隣接する計数対象物Ｅの全体が写らない程度であるのがよい。

続いて、形状モデル生成部３３ｃは、ループ処理のための変数に種々の情報を入力し（ステップＳ４２）、半径が異なる複数の形状モデルＦ₁〜Ｆ₅（図１１（ａ）参照）を用いてステップＳ４４〜Ｓ４７の処理を繰り返し行う（ステップＳ４３）。
形状モデルＦ₁〜Ｆ₂は、計数対象物Ｅの端面に対応する円形をなし、直径は撮影ガイドＧの外径よりも小さい。形状モデルＦ₁〜Ｆ₂は、「第三の形状モデル」である。
形状モデルＦ₃は、計数対象物Ｅの端面に対応する円形をなし、直径は撮影ガイドＧの外径と同じである。形状モデルＦ₃は、「第二の形状モデル」である。
形状モデルＦ₄〜Ｆ₅は、計数対象物Ｅの端面に対応する円形をなし、直径は撮影ガイドＧの外径よりも大きい。形状モデルＦ₄〜Ｆ₅は、「第三の形状モデル」である。

形状モデル生成部３３ｃ（図３参照）は、半径ｒに半径比率Ｒ(i)を掛けて、形状モデルＦを生成する（ステップＳ４４）。例えば、一回目のループ処理では半径比率「０．８」として撮影ガイドＧよりも二回り小さい形状モデルＦ₁を作成する。二回目のループ処理では半径比率「０．９」として撮影ガイドＧよりも一回り小さい形状モデルＦ₂を作成する。三回目のループ処理では半径比率「１．０」として撮影ガイドＧと同じ大きさの形状モデルＦ₃を作成する。四回目のループ処理では半径比率「１．１」として撮影ガイドＧよりも一回り大きい形状モデルＦ₄を作成する。五回目のループ処理では半径比率「１．２」として撮影ガイドＧよりも二回り大きい形状モデルＦ₅を作成する。

続いて、形状モデル生成部３３ｃは、ステップＳ４４で生成した形状モデルＦ₁〜Ｆ₅を用いて、ステップＳ４１で抽出した中心部画像Ｐｃに対して形状モデルマッチング処理を行い、マッチングスコアを算出する（ステップＳ４５）。ステップＳ４５のマッチング処理は、「第二のマッチング処理」，「第三のマッチング処理」である。
次に、形状モデル生成部３３ｃは、算出したマッチングスコアが他の形状モデルＦのマッチングスコアに比べて高いか否かを判定する（ステップＳ４６）。算出したマッチングスコアが高い場合（ステップＳ４６で“Ｙｅｓ”）に、算出したマッチングスコア、マッチング座標、形状モデルＦの半径などの情報を変数として更新する（ステップＳ４７）。マッチング座標は、例えば、形状モデルＦの形状とマッチした領域の中心位置である。

各形状モデルＦ₁〜Ｆ₅でのステップＳ４４〜Ｓ４７の処理が終了した場合に、ループ処理を抜ける。そして、形状モデル生成部３３ｃは、変数に格納される中心位置、および半径（マッチングスコアが最も高い形状モデルＦのマッチング座標および半径）でマッチング用画像Ｐｄ（図１１参照）を中心部画像Ｐｃから抽出する（ステップＳ４８）。

撮影ガイドＧと計数対象物Ｅとの位置がずれた状態や、撮影ガイドＧと計数対象物Ｅとのサイズが合っていない状態で撮影が行われた場合の処理を具体的に説明する。例えば、撮影ガイドＧを合わせた計数対象物Ｅが中心部画像Ｐｃの中心よりも左下に位置すると共に、撮影ガイドＧに対して計数対象物Ｅのサイズが一回りだけ大きい場合を想定する（図１２（ａ）参照）。
この場合、形状モデルＦの中心位置が中心部画像Ｐｃの中心にある場合のマッチングスコアは、計数対象物Ｅと形状モデルＦとの位置が一致しないために低くなる。一方、形状モデルＦの中心位置が中心部画像Ｐｃの中心に対して左下にある場合のマッチングスコアは、計数対象物Ｅと形状モデルＦとの位置が一致するために高くなる。
また、直径が撮影ガイドＧの外径と同じ形状モデルＦ₃のマッチングスコアは、計数対象物Ｅとサイズが一致しないために低くなる。一方、直径が撮影ガイドＧの外径よりも一回り大きい形状モデルＦ₄のマッチングスコアは、計数対象物Ｅとサイズが一致するために高くなる。
図１２（ａ）において、マッチングスコアが最も高い状態（形状モデルＦの位置およびサイズ）を図１２（ｂ）に示す。なお、ここでは、撮影ガイドＧと計数対象物Ｅとの位置およびサイズの調整を行うことを説明したが、一方のみを行ってもよい。つまり、撮影ガイドＧと計数対象物Ｅとの位置およびサイズの何れか一方の調整を行ってもよい。

以上のように、本実施形態に係る計数方法は、撮影時に撮影ガイドＧのサイズを計数対象物Ｅに合わせることで、計数対象物Ｅの撮影画像Ｐにおける大きさを特定することが可能である。そして、撮影時の撮影ガイドＧのサイズに基づいて形状モデルを生成することにより、この形状モデルは計数対象物Ｅまでの距離や計数対象物自体の大きさを考慮したものとなる。その為、撮影画像Ｐに対して生成した形状モデルを用いてマッチング処理を行うことで、計数対象物Ｅまでの距離や計数対象物Ｅ自体の大きさに関わらず、計数対象物Ｅの数を計数することができる。

また、本実施形態に係る計数方法は、撮影ガイドＧが表示される中心部画像Ｐｃを抽出し、撮影ガイドＧとサイズが同じまたは異なる複数の形状モデルＦ₁〜Ｆ₅を用いて抽出した中心部画像Ｐｃに対してマッチング処理を行う。
これにより、撮影時に撮影ガイドＧの位置やサイズを計数対象物Ｅに正確に合わせなくても、撮影画像Ｐに対してマッチング処理を行うための最適な形状モデルを生成することが可能になる。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。

本実施形態では、図６に示すように、撮影ガイドＧを画面中央に表示していた。しかしながら、撮影ガイドＧを表示する位置は画面中央に限定されず、撮影ガイドＧをユーザの操作によって画面上を自由に移動できるようにしてもよい。

また、本実施形態では、撮影ガイドＧの形状を計数対象物Ｅの端面の形状に合わせてリング状としていた。しかしながら、撮影ガイドＧの形状はこれに限定されるものではなく、計数対象物Ｅの形状に合わせる必要もない。すなわち、撮影ガイドＧは、計数対象物Ｅの撮影画像Ｐにおける大きさを特定できるものであればよく、種々の形状を適用することができる。撮影ガイドＧは、例えば、円形以外の環状であってよい。なお、撮影ガイドＧは、計数対象物Ｅを包含できる形状であるのが好適である。また、撮影ガイドＧの形状をユーザが選択できるようにしてもよい。

また、本実施形態では、計数対象物Ｅとして棒鋼を想定していた。しかしながら、計数対象物Ｅの形状はこれに限定されるものではない。すなわち、計数対象物Ｅは、特定方向から見た場合の形状が同様になるものであればよく、例えば、鋼管、Ｈ鋼、Ｌ鋼などの棒鋼以外の長尺物や平面を有する粒状物であってよい。

また、本実施形態では、図１１に示すように、形状モデル（第二，第三の形状モデル）Ｆ₁〜Ｆ₅を棒鋼の端面の形状に合わせて円形にしていた。しかしながら、形状モデル（第二，第三の形状モデル）の形状はこれに限定されるものではなく、計数を行う計数対象物Ｅの形状に合わせて決定される。形状モデル（第二，第三の形状モデル）は、例えば、図１３に示すように、星形の形状モデルＪ₁〜Ｊ₅、リング形の形状モデルＫ₁〜Ｋ₅、Ｈ字形の形状モデルＹ₁〜Ｙ₅、Ｌ字形の形状モデルＷ₁〜Ｗ₅などであってもよい。リング形の形状モデルＫおよびＨ字形の形状モデルＹを用いる場合、これらの形状を内包する四角環状の撮影ガイドＧを用いるのが好適である。

また、本実施形態では、一つの計数対象物Ｅから第一の形状モデルを生成していた。しかしながら、複数の計数対象物Ｅを用いて第一の形状モデルを生成してもよい。例えば、撮影ガイドＧの位置を変更して複数の撮影画像Ｐを撮影し、各々の撮影画像Ｐから抽出した画像を用いて第一の形状モデルを生成するようにしてもよい。

また、本実施形態で説明した画面はあくまで一例であって、各種ボタンの配置も本実施形態で説明したものに限定されるものではない。例えば、実施形態では横長の画面を例に挙げて説明していたが、縦長の画面であってもよい。また、各種ボタンの配置をユーザに合わせて変更できるようにしてもよい。

また、本実施形態で説明した種々の技術を適宜組み合わせた技術を実現することもできる。また、本実施形態で説明したソフトウェア構成をハードウェアとして実現することもできる。その他、ハードウェア、ソフトウェア等の具体的な構成について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
例えば、本実施形態では、クライアントサーバシステムを想定してユーザ端末２と、計数装置３とを別々の装置としていたが、ユーザ端末２と計数装置３とを一つの装置（計数装置）とすることもできる。
また、例えば、工場のライン上を搬送される一束の計数対象物Ｅの数を計数するようにしてもよい。その場合、ユーザの撮影操作によらずにセンサなどの位置検出によって自動で計数対象物Ｅを撮影するのがよく、撮影ガイドＧのサイズは計数対象物Ｅまでの距離や計数対象物Ｅ自体のサイズにより予め設定しておくようにする。

１ 計数システム
２ ユーザ端末
３ 計数装置
２１ 入出力部（表示部）
２２ 撮影部
２３ 通信部
２５ａ 画像撮影支援部
２５ｂ 撮影画像編集部
２５ｃ 撮影画像送信部
２５ｄ マッチング結果画像受信部
２５ｅ マッチング結果編集部
２５ｆ 画像切替処理部
３１ 通信部
３３ａ 撮影画像受信部
３３ｂ 計数処理部
３３ｃ 形状モデル生成部
３３ｄ マッチング処理部
３３ｅ マッチング結果画像作成部
３３ｆ マッチング結果画像送信部
Ｅ 計数対象物
Ｇ 撮影ガイド

Claims (6)

1. 計数対象物の集合体を撮影した撮影画像から当該計数対象物の数を計数する計数方法であって、
   撮影部を用いた前記撮影画像の撮影を支援する画像撮影支援工程と、
   前記撮影画像に写し出された前記計数対象物の数を計数する計数処理工程と、を有し、
   前記画像撮影支援工程は、ユーザの操作によりサイズを変更することができる撮影ガイドを撮影画像に重ねて表示部に表示させ、
   前記計数処理工程は、撮影時の前記撮影ガイドのサイズおよび位置に基づいて前記撮影画像から第一の形状モデルを生成し、生成した前記第一の形状モデルを用いて前記撮影画像に対して第一のマッチング処理を行う、
   ことを特徴とする計数方法。
2. 前記撮影画像から前記第一のマッチング処理を行う範囲を特定する撮影画像編集工程をさらに有する、
   ことを特徴とする請求項１に記載の計数方法。
3. 前記計数処理工程は、
   前記撮影時の撮影ガイドのサイズに基づく第二の形状モデルを用いて前記撮影画像の一部の範囲に対して第二のマッチング処理を行い、前記第二のマッチング処理の結果に基づき前記第一の形状モデルを生成する位置を特定する、
   ことを特徴とする請求項１または請求項２に記載の計数方法。
4. 前記計数処理工程は、
   前記撮影時の撮影ガイドのサイズとは異なる大きさの第三の形状モデルを用いて前記撮影画像の一部の範囲に対して第三のマッチング処理を行い、前記第三のマッチング処理の結果に基づき前記第一の形状モデルを生成するサイズを特定する、
   ことを特徴とする請求項１ないし請求項３の何れか一項に記載の計数方法。
5. 前記第一のマッチング処理の結果を前記撮影画像に重ねて前記表示部に表示させ、ユーザの操作により当該第一のマッチング処理の結果を編集するマッチング結果編集工程をさらに有する、
   ことを特徴とする請求項１ないし請求項４の何れか一項に記載の計数方法。
6. 請求項１ないし請求項５の何れか一項に記載の計数方法を制御部に実行させる、ことを特徴とする計数装置。