JP2021033679A - 検査装置 - Google Patents

Abstract

【課題】検査対象の点群を撮影する撮像角度がばらついた場合であっても、検査対象の点群が検査基準と適合するか否かの判定の精度を向上させる技術を提供する【解決手段】検査装置は、検査対象の点群の位置情報が入力される入力手段と、入力手段により入力される検査対象の点群が検査基準に適合するか判定を行う第一判定部（検査部２０５）と、第一判定部により検査対象の点群が所定の確率の範囲で検査基準に適合しないと判定された場合、所定の領域に存在する検査対象の点群を形成する点を、該点に対応する検査基準の点群を形成する点に重なるように検査対象の点群全体を射影変換する射影変換部２０７と、射影変換後の検査対象の点群が検査基準に適合するか判定を行う第二判定部（検査部２０５）と、を備える。【選択図】図２

Description

本発明は、検査装置に関する。

弾球遊技機において、遊技釘の位置及び打ち込み角度の点検が行われている（例えば特許文献１）。特許文献１では、弾球遊技機の盤面に打ち込まれた釘が検査器具に設けられた孔に当てはまるか否かによって点検がなされている。

特開２０１８−１４９２１５号公報

遊技釘の位置や角度などについての不正が微細である場合、点検シートを使用した目視による検査では不正を検出することは困難と考えられる。そこで、盤面に打ち込まれた遊技釘を撮像し、撮像画像に映る釘を検査対象の点群とみなし、当該検査対象の点群が検査の基準となる点群に適合するかコンピュータを利用して自動的に判定する方法が考えられる。

しかしながら、上記のような方法の場合、遊技釘を撮像する撮像角度にばらつきが生じる可能性が考えられる。よって、本来正常と判定されるはずの撮像画像に映る検査対象の点群が、検査の基準となる基準点群と適合せず、不正な点群であると判定される可能性がある。つまり、検査対象の点群が基準点群と適合するか判定する場合に、撮像角度のばらつきにより誤判定が生じることが考えられる。

そこで、本願は、検査対象の点群を撮影する撮像角度がばらついた場合であっても、検査対象の点群が検査基準と適合するか否かの判定の精度を向上させる技術を提供することを課題とする。

上記課題を解決するため、本発明は、検査対象の点群と検査基準との適合判定を二段階で行うこととした。

詳細には、本発明は、検査対象の点群の位置情報が入力される入力手段と、入力手段により入力される検査対象の点群の位置情報が検査基準に適合するか判定を行う第一判定部と、第一判定部により検査対象の点群が所定の確率の範囲で検査基準に適合しないと判定された場合、所定の領域に存在する検査対象の点群を形成する点を、該点に対応する検査基準の点群を形成する点に重なるように射影するための射影変換係数を計算する射影変換係数計算部と、射影変換係数計算部により計算される射影変換係数に基づき検査対象の点群全体を射影変換する射影変換部と、射影変換後の検査対象の点群が検査基準に適合するか判定を行う第二判定部と、を備える、検査装置である。

ここで、所定の領域は、該領域に含まれる検査対象の点群の特徴量が、第二の所定の確率以上で該領域に含まれる検査対象の点群に対応する検査基準の点群の特徴量と合致する領域を含む。

検査対象の物体が撮像機器によって撮像され、入力手段により入力される検査対象の点群の位置情報が当該撮像画像に映る検査対象の物体から識別される場合、撮像角度がばらつくことにより第一判定部において本来検査基準と適合すると判定されるはずの検査対象の点群が検査基準に適合しないと判定される可能性が考えられる。しかしながら、このような検査装置によれば、射影変換部による射影変換により、撮像角度のばらつきによる影響を低減するように検査対象の点群全体の位置情報が補正され得る。そして、第二判定部において、射影変換後の検査対象の点群が検査基準と適合するか再度判定される。従って、撮像角度のばらつきにより本来検査基準に適合すると判定されるはずの検査対象の点群が検査基準に適合しないと誤判定されることは抑制される。

また、検査装置は、入力手段により入力される検査対象の点群の位置情報は、検査対象の物体が映る画像から識別された情報を含み、射影変換部による射影変換は、検査対象の点群の位置を、画像が形成される面内において面に対して直角方向の軸を中心として回転させる変換を含んでもよい。

このような検査装置によれば、検査対象の物体が撮像機器によって撮像される場合に、撮像方向の軸を中心とする回転方向に撮像角度がばらついた場合であっても、本来正常と判定されるはずの検査対象の点群が検査基準に適合しないと誤判定されることは抑制される。

また、検査装置の第二判定部は、射影変換後の検査対象の点群を、該点群を仕切る図形へと該点群を変換する図形変換手段と、図形変換手段により変換される図形が、検査基準に適合するか検査を行う図形適合検査手段と、を含んでもよい。

図形同士の適合判定は、図形の構造的な特徴量を比較することにより可能である。構造的な特徴量は、図形の頂点の数、図形の隣角間の角度差を含む。よって、図形同士の適合判定は、撮像画像の傾きや撮像画像のスケールのばらつきを含む外部的原因による影響が低減された判定となる。また、図形同士の適合判定は、これらの構造的な特徴量を複数組み合わせて適合判定することができる。つまり、図形同士の適合判定では、多くの情報量を使用して検査対象を検査することができる。よって、上記のような検査装置は、適合判定の精度をさらに向上させることができる。

上記の検査装置によれば、検査対象の点群を撮影する撮像角度がばらついた場合であっても、検査対象の点群が検査基準と適合するか否かの判定の精度を向上させる技術を提供することができる。

図１は、実施形態に係る点群検査システムの構成の概要を模式的に例示する。 図２は、実施形態に係る点群検査システムの機能構成の概要の一例を示している。 図３は、スマートフォンが、弾球遊技機の盤面を撮像する処理を実行するフローチャートの一例を示している。 図４は、スマートフォンが、撮像した釘の検査情報の表示処理を実行するフローチャートの一例を示している。 図５は、サーバが、撮像された弾球遊技機の盤面に打ち込まれた釘の適合検査を行う処理を実行するフローチャートの一例を示している。 図６は、検査対象の点群から図形を生成する概要の一例を模式的に例示する。 図７は、検査対象の特徴点と、検査基準の特徴点とが、部分的に高い確率で適合する場合を説明した図である。 図８は、射影変換部が検査対象の特徴点全体を射影変換する概要を示した図である。 図９は、点群検査システムが実行する処理のフローチャートの一例を示している。

以下、本発明の実施形態について説明する。以下に示す実施形態は、本発明の実施形態の一例であり、本発明の技術的範囲を以下の態様に限定するものではない。

（システムの概要）
図１は、本実施形態に係る点群検査システム１の構成の概要を模式的に例示する。点群検査システム１は、例えばスマートフォン１０と、サーバ２０と、から形成される。スマートフォン１０は、背面側にカメラ１１と、正面側にタッチパネルディスプレイ１２を備える。ここで、サーバ２０は、本発明の「検査装置」の一例である。

カメラ１１は、図示しないが光を集光するレンズを備える。レンズは、スマートフォン１０の背面側に配置される。また、カメラ１１は、レンズを透過した光に反応し、電気信号を生成する撮像素子を備える。

本実施形態に係る点群検査システム１では、スマートフォン１０と、サーバ２０とが、ネットワーク（Ｎ）によって相互に接続される。ネットワークには、例えば、インターネット等の世界規模の公衆通信網であるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やその他の通信網が採用されてもよい。また、ネットワークは、携帯電話等の電話通信網、Ｗｉ−Ｆｉ（登録商標）等の無線通信網を含んでもよい。

（機能構成）
図２は、実施形態に係る点群検査システム１の機能構成の概要の一例を示している。スマートフォン１０は、ＣＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置、入力機能及び表示機能を有するタッチパネルディスプレイ１２を備える携帯型の端末である。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、後述するような、所定の目的に合致した各機能を実現することができる。

スマートフォン１０は、通信部１０１を備える。通信部１０１は、通信モジュールを含んで形成され、ネットワーク（Ｎ）を介して外部の装置と情報の通信を行う。また、スマートフォン１０は、撮像部１０２を備える。撮像部１０２は、カメラ１１を含んで形成される。撮像部１０２は、撮像を実行し、撮像された画像を生成する。また、スマートフォン１０は、表示部１０３を備える。表示部１０３は、情報をタッチパネルディスプレイ１２に表示する。また、スマートフォン１０がスピーカーや筐体を振動させる振動素子を有する場合、これらスピーカーや振動素子を制御してユーザに情報を通知してもよい。

サーバ２０は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータである。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、あるいは、ＣＤやＤＶＤのようなディスク記録媒体であってもよい。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プ
ログラム、各種テーブル等が格納され、そこに格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、後述するような、所定の目的に合致した各機能を実現することができる。

サーバ２０は、通信部２０１を備える。通信部２０１は、ネットワーク（Ｎ）を介して外部の装置と情報の通信を行う。また、サーバ２０は、識別部２０２を備える。識別部２０２は、画像に映る物体の識別を行う。識別には、既知の機械学習手法が用いられる。また、識別する場合に、ＣＰＵとは別にＧＰＵ等の演算ユニットを用いて識別の工程を並列演算処理することにより、識別の工程の高速化を行ってもよい。

また、サーバ２０は、図形変換部２０３を備える。図形変換部２０３は、点群を図形に変換する。つまり、図形変換部２０３は、例えば、点群から点群を母点とするボロノイ図及びドロネー図を生成する。ここで、図形変換部２０３は、本発明の「図形変換手段」の一例である。また、サーバ２０は、特徴点抽出部２０４を備える。特徴点抽出部２０４は、物体から特徴点を抽出する。抽出には、既知の特徴量抽出手法が用いられてもよい。

また、サーバ２０は、検査部２０５を備える。検査部２０５は、検査対象の点群が、検査の基準となる基準点群に適合するか検査を行う。点群の適合検査には、既知の点群適合手法が使用される。また、検査部２０５は、検査対象の図形が、検査の基準となる基準図形に適合するか検査を行う。図形の適合検査には、既知の適合手法が使用される。ここで、検査部２０５は、本発明の「図形適合検査手段」、「第一判定部」及び「第二判定部」の一例である。

また、サーバ２０は、点群を射影変換する時に使用する射影変換係数計算部２０６と、当該射影変換係数を使用して点群を射影変換する射影変換部２０７を備える。また、サーバ２０は、除外部２０８を備える。除外部２０８は、所定の点以外の点を、検査基準の点群から除外する。所定の点は、予め選択される。また、所定の点は、所定の基準から所定距離以内の領域に存在する点といったように決められてもよい。また、サーバ２０は、情報作成部２０９を備える。情報作成部２０９は、検査結果に関する情報を作成して出力する。

（スマートフォン１０の処理フロー）
次にスマートフォン１０が実行する処理の概要を説明する。図３は、スマートフォン１０が、弾球遊技機の盤面２を撮像する処理を実行するフローチャートの一例を示している。

ステップＳ１０１では、スマートフォン１０の撮像部１０２が、弾球遊技機の盤面２を撮像する（Ｓ１０１）。次に、ステップＳ１０２では、通信部１０１が、撮像部１０２により撮像された撮像画像をサーバ２０へ送信する（Ｓ１０２）。

また、図４は、スマートフォン１０が、撮像した釘の検査情報の表示処理を実行するフローチャートの一例を示している。

ステップＳ１１１では、通信部１０１が、撮像画像に映る弾球遊技機の盤面２に打ち込まれた釘の検査情報を受信する（Ｓ１１１）。次に、ステップＳ１１２では、表示部１０３が、当該検査情報をタッチパネルディスプレイ１２に表示する（Ｓ１１２）。

（サーバ２０の処理フロー）
次にサーバ２０が実行する処理の概要を説明する。図５は、サーバ２０が、撮像された弾球遊技機の盤面２に打ち込まれた釘が基準と適合するか検査を行う処理を実行するフロ
ーチャートの一例を示している。

ステップＳ２０１では、通信部２０１が、弾球遊技機の盤面２に打ち込まれた釘が映る画像をスマートフォン１０から受信する（Ｓ２０１）。ステップＳ２０２では、識別部２０２が、撮像画像に映る盤面２に打ち込まれている遊技釘３の釘頭を識別する。釘頭の識別は、まず画像に映る物体のエッジが既知のエッジ検出方法によって検出される。そして、検出されたエッジによって形成される形状が所定の大きさ未満の円形であると所定の基準において判定された場合、検出されたエッジによって形成される形状を釘頭と識別する（Ｓ２０２）。次に、ステップＳ２０３では、識別部２０２が、識別した釘頭を部分的に抽出する。そして、部分的に抽出された釘頭の夫々の中心点を検査対象の点群とする。次に、検査部２０５へ検査対象の点群の位置情報は入力される。ここで、ステップＳ２０１からステップＳ２０３の処理の実行は、本発明の「入力手段」の一例である（Ｓ２０３）。

ステップＳ２０４では、図形変換部２０３が、検査対象の点群から、検査対象の点群を母点とするボロノイ図への変換を行う。図６は、検査対象の点群から図形を生成する概要の一例を模式的に例示する。図６に示されるように、図形変換部２０３が、検査対象の点群から、検査対象の点群を母点とし、各母点の二等分線であるボロノイ境界によって領域分けされたボロノイ図への変換を行う。また、図形変換部２０３は、変換されたボロノイ図の各領域に含まれる元々の検査対象の点群を、当該検査対象の点群を母点とするドロネー図へと変換する。ドロネー図への変換方法は、隣接するボロノイ領域の場合には当該ボロノイ領域内の母点同士を結び、隣接しないボロノイ領域の場合には二つの母点を結ばないという操作である（Ｓ２０４）。

ステップＳ２０５では、特徴点抽出部２０４が、変換されたボロノイ図及びドロネー図から特徴点を抽出する。特徴点は、図６に示されるように、例えばボロノイ辺とドロネー辺とが交差する交差点を特徴点とする。また、特徴点の抽出は、既知の特徴量検出アルゴリズムによって自動的に実行されてもよい（Ｓ２０５）。

ステップＳ２０６では、検査部２０５が、特徴点抽出部２０４によって抽出された特徴点が、検査基準の特徴点と所定の適合確率以上で適合可能性があるか否かを検査する。ここで、所定の適合確率は、予め任意の値に設定しておかれる。そして、適合可能性が低いと判定された場合はステップＳ２０７へ進む。一方、適合可能性が高いと判定された場合、ステップＳ２０６−１へ進む（Ｓ２０６）。

ステップＳ２０６−１では、検査部２０５が識別部２０２によって識別された釘頭が全て抽出され、検査されたか否かの判定を行う。そして、釘頭が全て検査されたと判定された場合、ステップＳ２１１へ進む。一方、釘頭が全て検査されていないと判定された場合、ステップＳ２０３に戻り、釘頭の集合の一部分であって、検査を行っていない部分を抽出する処理を行う（Ｓ２０６−１）。

ステップＳ２０７では、射影変換係数計算部２０６が、ステップＳ２０６の適合検査における検査対象の特徴点のうち、検査基準の特徴点と部分的に所定の適合確率よりも高い確率で適合する特徴点を特定する。図７は、検査対象の特徴点と、検査基準の特徴点とが、部分的にステップＳ２０６における適合判定で使用される所定の適合確率よりも高い確率で適合する場合を説明した図である。図７に示されるように、部分的に高い適合確率を示す特徴点が特定される場合、射影変換係数計算部２０６は、特定された検査対象の特徴点の位置と、対応する検査基準の特徴点の位置との誤差が少なくなるように検査対象の特徴点全体を射影する射影変換係数を計算する。そして、射影変換部２０７が、射影変換係数計算部２０６が計算した変換係数を使用して検査対象の特徴点を射影する。図８は、射
影変換部２０７が検査対象の特徴点全体を射影変換する概要を示した図である。このように射影変換することにより、検査対象の特徴点の位置と、検査基準の特徴点の位置との誤差が少なくなる。ここで、射影変換は、図８に示されるように、特徴点が映る仮想平面に対して直交する軸の周りに特徴点を回転させる変換を含む。また、射影変換は、特徴点を所定の平面へ射影する変換を含んでもよい（Ｓ２０７）。

ステップＳ２０８では、除外部２０８が、図８に示されるように、検査基準の特徴点から、射影変換係数計算部２０６が特定した部分的に高い適合確率を示す特徴点に対応する点以外の特徴点を除外する（Ｓ２０８）。

ステップＳ２０９では、図形変換部２０３が、ステップＳ２０７において生成された検査対象の特徴点から、検査対象の特徴点を母点とするボロノイ図への変換を行う。そして、図形変換部２０３は、変換されたボロノイ図の各領域に含まれる検査対象の特徴点を、当該検査対象の特徴点を母点とするドロネー図へと変換する。ここで、ボロノイ図及びドロネー図への変換処理は、ステップＳ２０４における図形変換処理と同様であってもよい（Ｓ２０９）。

ステップＳ２１０では、検査部２０５が、ステップＳ２０９において変換されたボロノイ図又はドロネー図が、検査の基準となるボロノイ図又はドロネー図と所定の確率以上で適合する可能性があるか検査を行う（Ｓ２１０）。

ステップＳ２１０−１では、検査部２０５が識別部２０２によって識別された釘頭が全て抽出され、検査されたか判定を行う。そして、釘頭が全て検査されたと判定された場合、ステップＳ２１１へ進む。一方、釘頭が全て検査されていないと判定された場合、ステップＳ２０３に戻り、釘頭の集合の一部分であって、検査を行っていない部分を抽出する処理を行う。

ステップＳ２１１では、情報作成部２０９が、検査対象の遊技釘３が検査基準を満たしていたか否かに関する検査情報を作成する（Ｓ２１１）。次に、ステップＳ２１２では、通信部２０１が、情報作成部２０９によって作成された検査情報をスマートフォン１０へ送信する（Ｓ２１２）。

（点群検査システム１の処理フロー）
次に、スマートフォン１０が上記のステップＳ１０１−Ｓ１０２及びステップＳ１１１−Ｓ１１２の処理を実行し、サーバ２０がステップＳ２０１−Ｓ２１２の処理を実行することにより、点群検査システム１の全体が実行する処理フローを説明する。図９は、点群検査システム１が実行する処理のフローチャートの一例を示している。図９に示されるフローチャートでは、ユーザが、カメラ１１によって遊技釘３が打ち込まれている弾球遊技機の盤面２を撮像して検査する例を示す。ここで、盤面２に打ち込まれた遊技釘３の一部は検査基準を満たしていないものとする。また、当該検査は、製品の出荷後の弾球遊技機に対して行われるものとする。

ステップＳ１００１では、スマートフォン１０の撮像部１０２により、弾球遊技機の盤面２が撮像される。撮像された撮像画像には、弾球遊技機の盤面２に打ち込まれている遊技釘３が映っている。また、撮像画素数は、例えば２０００万ピクセル程度であってもよい（Ｓ１００１）。次に、ステップＳ１００２では、通信部１０１が、撮像画像をサーバ２０へ送信する（Ｓ１００２）。

ステップＳ１００３では、サーバ２０の通信部２０１が、撮像画像をスマートフォン１０から受信する（Ｓ１００３）。次に、ステップＳ１００４では、識別部２０２が、撮像
画像に映る盤面２に打ち込まれている遊技釘３の釘頭を識別する。識別には、既知の機械学習手法として、例えばＧｏｏｇｌｅ社が提供するオープンソースの機械学習ライブラリであるＴＥＮＳＯＲＦＬＯＷ（登録商標、以下同様）が使用される。また、ＴＥＮＳＯＲＦＬＯＷの実行は、ＧＰＵを利用することにより並列演算処理されてもよい。ＧＰＵを利用した場合、識別に要する時間は、盤面２あたり２０秒程度である（Ｓ１００４）。

ステップＳ１００５では、識別部２０２が、識別した釘頭の集合を部分的に抽出する。ここで、当該抽出は、盤面２における任意の場所において半径８ｃｍ程度の円に収まる釘頭であって、１２個以上の釘頭を部分的に抽出してもよい。そして、部分的に抽出された釘頭を検査対象の点群とする（Ｓ１００５）。

ステップＳ１００６では、図６に示されるように、図形変換部２０３が、検査対象の点群から、検査対象の点群を母点とするボロノイ図への変換を行う。また、図形変換部２０３は、変換されたボロノイ図の各領域に含まれる元々の検査対象の点群を、当該検査対象の各点を母点とするドロネー図へと変換する（Ｓ１００６）。

ステップＳ１００７では、特徴点抽出部２０４が、検査対象のボロノイ図及びドロネー図から特徴点を抽出する。特徴点は、図６に示されるように、例えばボロノイ辺とドロネー辺とが交差する交差点を特徴点とする。また、特徴点の抽出は、例えばＡ−ＫＡＺＥのような既知の特徴量検出アルゴリズムによって自動的に実行されてもよい（Ｓ１００７）。そして、ステップＳ１００８では、検査部２０５が、抽出された特徴点が、検査基準の特徴点と所定の適合確率以上で適合可能性がある検査を行う。ここでは、検査対象の特徴点が、検査基準の特徴点と適合しないと判定される。ここで、特徴点の適合判定が行われる場合に、検査対象の特徴点の位置関係のスケールと、検査基準の特徴点の位置関係のスケールとが同様となるように調節されてもよい。そして、検査対象の特徴点の位置関係と、検査基準の特徴点の位置関係とが同じとなる条件が適合判定に課されてもよい。このような条件が課されることにより、誤判定が抑制される（Ｓ１００８）。

ステップＳ１００９では、射影変換係数計算部２０６が、ステップＳ１００８の適合検査における検査対象の特徴点のうち、ステップＳ１００８の判定において使用された所定の適合確率よりも高い確率で、検査基準の特徴点と部分的に適合する特徴点を特定する。そして、部分的に高い適合確率を示す特徴点が特定される場合、射影変換係数計算部２０６は、特定された検査対象の特徴点の位置と、対応する検査基準の特徴点の位置との誤差が少なくなるような射影変換係数を計算する。ここで、射影変換係数は、図８に示されるように、特徴点が映る仮想平面に対して直交する軸の周りに特徴点を回転させる変換を実現する係数である。そして、射影変換部２０７は、図８に示されるように射影変換係数計算部２０６が計算した変換係数を使用して検査対象の特徴点を射影する（ステップＳ１００９）。

ステップＳ１０１０では、除外部２０８が、図８に示されるように、検査基準の特徴点から、射影変換係数計算部２０６が特定した部分的に高い適合確率を示す特徴点に対応する点以外の特徴点を除外する。ここで、特徴点が除外されるサイズは、例えば部分的に高い適合確率を示す特徴点のうちの１つを中心とした半径２５ｍｍの円よりも外側の領域である（Ｓ１０１０）。

ステップＳ１０１１では、図形変換部２０３が、ステップＳ１００９において射影された検査対象の特徴点群から、検査対象の特徴点を母点とするボロノイ図への変換を行う。また、図形変換部２０３は、変換されたボロノイ図の各領域に含まれる検査対象の特徴点を、当該検査対象の特徴点を母点とするドロネー図へと変換する（Ｓ１０１１）。

ステップＳ１０１２では、検査部２０５が、ステップＳ１０１１において変換されたボロノイ図又はドロネー図が、検査の基準となるボロノイ図又はドロネー図と所定の確率以上で適合する可能性があるか検査を行う。ここでは、検査対象のボロノイ図又はドロネー図が、検査基準のボロノイ図又はドロネー図と適合すると判定される（Ｓ１０１２）。

ステップＳ１０１３では、検査部２０５が全ての遊技釘３が検査されたか否かを判定する。そして、検査されていない遊技釘３がある場合、同様にステップＳ２０３からステップＳ２１０に示される処理が実行されることにより未検査の遊技釘３の検査が実行される（ステップＳ１０１３）。そして、検査部２０５が全ての遊技釘３が検査されたと判定した場合、ステップＳ１０１４へ進む。

ステップＳ１０１４では、情報作成部２０９が、遊技釘３に関する検査情報を作成する（Ｓ１０１４）。次に、ステップＳ１０１５では、通信部２０１が、情報作成部２０９によって作成された検査情報をスマートフォン１０へ送信する（Ｓ１０１５）。ステップＳ１０１６では、スマートフォン１０の通信部１０１が、作成された検査情報を受信する（Ｓ１０１６）。次に、ステップＳ１０１７では、表示部１０３が、受信した検査情報をタッチパネルディスプレイ１２に表示する（Ｓ１０１７）。

＜効果＞
上記のような点群検査システムによれば、ユーザがスマートフォン１０に搭載されるカメラ１１によって盤面２を撮影する場合、撮像角度がばらつく可能性が考えられる。よって、ステップＳ１００８における一度の適合検査だけでは、本来検査基準と適合すると判定されるはずの検査対象の点群が検査基準に適合しないと判定される可能性が考えられる。しかしながら、上記のような点群検査システムによれば、ステップＳ１００８において検査基準と適合しないと判定された検査対象の特徴点を、射影変換部２０７により、射影変換している。よって、撮像角度のばらつきによる影響を低減するように検査対象の点群全体の位置情報が補正され得る。そして、射影変換後の特徴点から生成される図形がステップＳ１０１２において適合検査され、検査基準に適合すると判定されている。つまり、上記のような点群検査システムによれば、撮像角度のばらつきにより本来検査基準に適合すると判定されるはずの検査対象の特徴点が検査基準に適合しないとステップＳ１００８で一度判定されている。しかしながら、検査対象の特徴点が、対応する検査基準の特徴点の位置との誤差が少なくなるように射影変換され、再度適合検査が行われて検査基準に適合すると判定されている（Ｓ１０１２）。すなわち、上記のような点群検査システムによれば誤判定は抑制される。

また、上記のような点群検査システム１によれば、射影変換は、図８に示されるように、特徴点が映る仮想平面に対して直交する軸の周りに特徴点を回転させている。よって、カメラ１１の撮像方向の軸を中心とする回転方向に撮像角度がばらついた場合であっても、本来正常と判定されるはずの検査対象の点群が検査基準に適合しないと誤判定されることは抑制される。

また、上記のような点群検査システム１によれば、ステップＳ１０１２に示されるような再度の適合判定の場合に、図形同士の適合判定が行われている。ここで、図形同士の適合判定は、図形の構造的な特徴量を比較することにより可能である。構造的な特徴量は、図形の頂点の数、図形の隣角間の角度差を含む。よって、図形同士の適合判定は、撮像画像の傾きや撮像画像のスケールのばらつきを含む外部的原因による影響が低減された判定となる。また、図形同士の適合判定は、これらの構造的な特徴量を複数組み合わせて適合判定することができる。つまり、図形同士の適合判定では、多くの情報量を使用して検査対象を検査することができる。よって、上記のような点群検査システム１によれば、適合判定の精度をさらに向上させることができる。

＜その他変形例＞
上記の点群検査システム１では、ステップＳ２０６における一度目の適合検査では特徴点同士の適合が判定され、ステップＳ２１０における二度目の適合検査では図形同士の適合が判定されていた。しかし、二度の適合検査における検査態様は上記の実施形態に限定されず、二度とも同じであっても異なっていてもよい。つまり、例えば二度の適合検査とも検査対象の点群が検査基準の点群と適合判定されてもよい。又は、例えば、一度目の適合検査では図形同士の適合判定が行われ、射影変換後の二度目の適合検査では、点群同士の適合判定が行われてもよい。また、検査対象の点群は、特徴点又は図形に変換されずに検査基準と適合するか判定されてもよい。また、適合検査の回数は、二度に限定されず、三度以上行われてもよい。

また、上記の点群検査システム１では、サーバ２０の処理として、ステップＳ２０６における適合検査で検査対象の特徴点の位置が検査基準と適合しないと判定された場合、ステップＳ２０７へ進んでいる。ここで、ステップＳ２０６からステップＳ２０７へ進むための詳細な条件がさらに設けられてもよい。つまり、例えば、ステップＳ２０６において、検査対象の特徴点の適合確率が７０％以上１００％未満の場合、ステップＳ２０７へ進むとしてもよい。また、ステップＳ２０６において、検査対象の特徴点の適合確率が７０％未満の場合、ステップＳ２０７―ステップＳ２１０へは進まずにステップＳ２１０−１へ進み、遊技釘３が全て検査されたか否かが判定されてもよい。このような点群検査システム１によれば、ステップＳ２０６における適合検査において適合確率が７０％未満であるような検査対象の遊技釘３は、再検査されない。よって、サーバ２０の負荷は抑制される。

また、射影変換は、特徴点が映る仮想平面に対して平行な軸の周りに特徴点を回転させてもよく、任意の平面へ特徴点を射影してもよい。このような射影変換により、多様な方向の軸を中心とする回転方向に撮像角度がばらついた場合であっても、本来正常と判定されるはずの検査対象の点群が検査基準に適合しないと誤判定されることは抑制される。

また、上記のような点群検査システムでは、識別部２０２が、識別した釘頭の集合を部分的に抽出し、部分的に抽出された釘頭を検査対象の点群としていた。しかし、検査対象の点群は、識別した釘頭の集合の全部であってもよく、識別した釘頭の全てが、一度に基準と適合するか否か判定されてもよい。

また、上記のような点群検査システムでは、検査対象の点群を、当該点群を母点とするボロノイ図又はドロネー図へ変換しているが、変換される図形は、ボロノイ図及びドロネー図に限られない。また、図形同士の適合判定を行う場合に比較される図形の構造的な特徴量は、ボロノイ図又はドロネー図の各領域を形成する各図形の頂点の数、及び各図形の隣角間の角度差に限定されない。比較される図形の構造的な特徴量は、撮像画像の傾きや撮像画像のスケールのばらつきといった外部的原因の影響が低減される特徴量であってもよい。

また、上記のような点群検査システムでは、サーバ２０において実行される処理が、スマートフォン１０において実行されてもよい。また、弾球遊技機の盤面２を撮像する機器は、スマートフォン１０に限らず、例えばタブレット端末などの携帯端末であって、弾球遊技機の盤面２を撮像可能なカメラを備える端末であればよい。

また、検査対象は、弾球遊技機の盤面２に打ち込まれている遊技釘３に限定されず、体型を計測する場合に着用する着物の所定の場所に点を配置し、ユーザが当該着物を着用した場合の点の歪みの判定に利用されてもよい。また、上記の点群検査システム１は、スポ
ーツ選手の動作解析や天体写真の解析に使用されてもよい。

以上、本発明の好ましい実施の形態の一例を説明したが、本発明は図示の形態に限定されない。当業者であれば、特許請求の範囲に記載された思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、以上で開示した実施形態や変形例はそれぞれ組み合わせる事ができる。

１ ：点群検査システム
２ ：盤面
３ ：遊技釘
１０ ：スマートフォン
１１ ：カメラ
１２ ：タッチパネルディスプレイ
２０ ：サーバ
１０１ ：通信部
１０２ ：撮像部
１０３ ：表示部
２０１ ：通信部
２０２ ：識別部
２０３ ：図形変換部
２０４ ：特徴点抽出部
２０５ ：検査部
２０６ ：射影変換係数計算部
２０７ ：射影変換部
２０８ ：除外部
２０９ ：情報作成部

Claims (3)

1. 検査対象の点群の位置情報が入力される入力手段と、
   前記入力手段により入力される前記検査対象の点群の位置情報が検査基準に適合するか判定を行う第一判定部と、
   前記第一判定部により前記検査対象の点群が所定の確率の範囲で前記検査基準に適合しないと判定された場合、所定の領域に存在する前記検査対象の点群を形成する点を、該点に対応する前記検査基準の点群を形成する点に重なるように射影するための射影変換係数を計算する射影変換係数計算部と、
   前記射影変換係数計算部により計算される前記射影変換係数に基づき前記検査対象の点群全体を射影変換する射影変換部と、
   前記射影変換後の検査対象の点群が前記検査基準に適合するか判定を行う第二判定部と、を備える、
   検査装置。
2. 前記入力手段により入力される前記検査対象の点群の位置情報は、検査対象の物体が映る画像から識別された情報を含み、
   前記射影変換部による射影変換は、前記検査対象の点群の位置を、前記画像が形成される面内において前記面に対して直角方向の軸を中心として回転させる変換を含む、
   請求項１に記載の検査装置。
3. 前記第二判定部は、前記射影変換後の前記検査対象の点群を、該点群を仕切る図形へと該点群を変換する図形変換手段と、
   前記図形変換手段により変換される図形が、前記検査基準に適合するか検査を行う図形適合検査手段と、を含む、
   請求項１又は２に記載の検査装置。

Images