JP2023043986A - 名刺処理装置、名刺撮影装置、名刺処理方法、およびプログラム - Google Patents

Abstract

【課題】従来、名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができなかった。【解決手段】２以上の各名刺を、順次、撮影した動画を受け付ける動画受付部２２１と、動画から２以上の静止画を、順次、取得する静止画取得部２３１と、静止画取得部２３１が取得した２以上の各静止画から名刺領域を検出する領域検出部２３３と、領域検出部２３３が検出した２以上の各名刺領域の情報から１以上の項目情報を取得する項目取得部２３４と、項目取得部２３４が取得した１以上の項目情報を有する２以上の名刺情報を用いた処理である名刺処理を行う名刺処理部２３６とを具備する名刺処理装置２により、名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができる。【選択図】図３

Description

特許法第３０条第２項適用申請有り 令和３年５月２５日、令和３年５月２６日個別営業を通じて発表、令和３年６月２２日 ｈｔｔｐｓ：／／ｊｐ．ｃｏｒｐ－ｓａｎｓａｎ．ｃｏｍ／ｎｅｗｓ／２０２１／０６２２．ｈｔｍｌ ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００１８１．００００４９６２７．ｈｔｍｌ ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｓａｎｓａｎ－ｓｅｍｉｎａｒ－ｍａｎａｇｅｒ／ｉｄ１５６０９６５００１ ｈｔｔｐｓ：／／ｃｌｏｕｄ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｄｏｃｓ／ｎｅｗｓ／１３３３１４０．ｈｔｍｌ ｈｔｔｐｓ：／／ｍａｒｋｅｚｉｎｅ．ｊｐ／ａｒｔｉｃｌｅ／ｄｅｔａｉｌ／３６６３２ ｈｔｔｐｓ：／／ｂｉｚｚｉｎｅ．ｊｐ／ａｒｔｉｃｌｅ／ｄｅｔａｉｌ／６２４４ を通じて発表、令和３年６月２３日 ｈｔｔｐｓ：／／ｊｐ．ｔｅｃｈｃｒｕｎｃｈ．ｃｏｍ／２０２１／０６／２３／ｓａｎｓａｎ－４／？３ ｈｔｔｐｓ：／／ｗｗｗ．ｗａｔｃｈ．ｉｍｐｒｅｓｓ．ｃｏ．ｊｐ／ｄｏｃｓ／ｎｅｗｓ／１３３３３９２．ｈｔｍｌ ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｍｅｄｉａ．ｃｏ．ｊｐ／ｂｕｓｉｎｅｓｓ／ａｒｔｉｃｌｅｓ／２１０６／２３／ｎｅｗｓ１３３．ｈｔｍｌ ｈｔｔｐｓ：／／ａｓｃｉｉ．ｊｐ／ｅｌｅｍ／０００／００４／０５９／４０５９９８４／ を通じて発表、令和３年６月２４日 ｈｔｔｐｓ：／／ｓｏｇｙｏｔｅｃｈｏ．ｊｐ／ｎｅｗｓ／２０２１０６２４ｓａｎｓａｎ／ を通じて発表、令和３年６月２９日 ｈｔｔｐｓ：／／ｗｗｗ．ｋｅｎｔｓｕ．ｃｏ．ｊｐ／ｗｅｂｎｅｗｓ／ｈｔｍｌ＿ｔｏｐ／２１０６２３５９００１７．ｈｔｍｌ を通じて発表、令和３年７月２日 ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＫＫＺＯ７３４５５４７０Ｒ００Ｃ２１Ａ７Ｈ５３Ａ００／ を通じて発表、株式会社日本経済新聞社発行の「日経ＭＪ ２０２１年７月２日号朝刊第７面」に発表、令和３年７月２７日 株式会社住宅新報発行の「住宅新報 ２０２１年７月２７日付朝刊第８面」に発表、令和３年７月２８日 株式会社日刊建設通信新聞社発行の「建通新聞 ２０２１年７月２８日付朝刊第３面」に発表。

本発明は、名刺を撮影した動画を受け付け、当該動画から名刺を構成する情報を取得し、処理する名刺処理装置等に関するものである。

従来、名刺を撮影した１つの静止画を文字認識し、名刺を構成する情報を取得し、利用する技術があった（例えば、特許文献１参照）。

特許第５７０２４７８号公報

しかしながら、従来技術においては、１または２以上の名刺が、順次、撮影された動画から取得した情報に基づいて取得された１または２以上の各名刺情報を用いた処理ができなかった。

また、名刺を読み取った後に何らかの処理をするようなシステムにおいて、人間のシャッター操作や人間の判断が必要になったり、人間の操作のミスによる手戻りが発生したりすること等が原因で、高速に予定している処理を行うことができない、という課題もあった。

本第一の発明の名刺処理装置は、１または２以上の各名刺を、順次、撮影した動画を受け付ける動画受付部と、動画から１または２以上の静止画を、順次、取得する静止画取得部と、静止画取得部が取得した１または２以上の各静止画から名刺領域を検出する領域検出部と、領域検出部が検出した１または２以上の各名刺領域の情報から１以上の項目情報を取得する項目取得部と、項目取得部が取得した１以上の項目情報を有する１または２以上の名刺情報を用いた処理である名刺処理を行う名刺処理部とを具備する名刺処理装置である。

かかる構成により、１または２以上の名刺が撮影された動画から取得した情報に基づいて取得した１以上の各名刺情報を用いた処理ができる。

また、本第二の発明の名刺処理装置は、第一の発明に対して、ユーザごとの１以上の項目情報を有する１以上の突合情報が格納されている突合情報格納部を参照し、項目取得部が取得した１以上の項目情報に対応する突合情報が存在するか否かを判断する突合部をさらに具備し、名刺処理部は、突合部が存在すると判断した場合のみ、名刺情報を用いた名刺処理を行う、名刺処理装置である。

かかる構成により、名刺が撮影された動画から取得した情報を用いて、突合情報と突合し、突合結果を用いた処理ができる。

また、本第三の発明の名刺処理装置は、第一または第二の発明に対して、動画を構成する静止画が名刺検出条件を満たすか否かを判断する判断部をさらに具備し、領域検出部は、判断部が名刺検出条件を満たすと判断した場合に、名刺検出条件を満たす静止画から名刺領域を検出する、名刺処理装置である。

かかる構成により、名刺が撮影された動画から取得した情報に基づいて、高速に名刺情報を取得できる。

また、本第四の発明の名刺処理装置は、第三の発明に対して、名刺検出条件は、静止画の中に特定の図柄や特定の色を有さないことを含む、名刺処理装置である。

かかる構成により、名刺が撮影された動画から取得した情報に基づいて、高速かつ適切に名刺情報を取得できる。

また、本第五の発明の名刺処理装置は、第一から第四いずれか１つの発明に対して、静止画取得部と、領域検出部と、項目取得部の各々が行う処理のうち、２以上の処理を並列に行う、名刺処理装置である。

かかる構成により、名刺が撮影された動画から取得した情報に基づいて、高速に名刺情報を取得できる。

また、本第六の発明の名刺処理装置は、第一から第五いずれか１つの発明に対して、項目取得部は、領域検出部が検出した一の名刺領域から２以上の各項目情報を取得する処理を並行して行う、名刺処理装置である。

かかる構成により、名刺が撮影された動画から取得した情報に基づいて、高速に名刺情報を取得できる。

また、本第七の発明の名刺処理装置は、第一から第六いずれか１つの発明に対して、静止画取得部は、動画が有するＮ（Ｎは２以上の自然数）の静止画からＮより少ない静止画を取得する、名刺処理装置である。

かかる構成により、名刺が撮影された動画から取得した情報に基づいて、高速に名刺情報を取得できる。

また、本第八の発明の名刺処理装置は、第一から第七いずれか１つの発明に対して、項目取得部は、領域検出部が検出した名刺領域からコードを検知するコード検知手段と、コードに対応する名刺情報に含まれる１以上の項目情報を、１以上の名刺情報が格納されている第一名刺格納部から取得する項目取得手段とを具備し、名刺処理部は、項目取得部が取得した１以上の項目情報を有する名刺情報を用いた名刺処理を行う、名刺処理装置である。

かかる構成により、名刺に印刷されたコードを用いて、当該名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができる。

また、本第九の発明の名刺処理装置は、第八の発明に対して、１以上の名刺情報が格納されている第一名刺格納部と、１以上の名刺情報が格納されている第二名刺格納部を含む２以上の名刺データベースにアクセス可能であり、項目取得手段は、コードを用いて第一名刺格納部を検索し、コードに対応する名刺情報に含まれる１以上の項目情報を取得する、またはコードを用いて第二名刺格納部を検索し、コードに対応する名刺情報に含まれる１以上の項目情報を取得する、名刺処理装置である。

かかる構成により、名刺に印刷されたコードを用いて、当該名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができる。

また、本第十の発明の名刺撮影装置は、第一の発明に対して、ユーザごとの１以上の項目情報を有する１以上の突合情報が格納されている突合情報格納部を参照し、項目取得部が取得した１以上の項目情報に対応する突合情報が存在するか否かを判断する突合処理を行う突合部をさらに具備し、項目取得部は、領域検出部が検出した前記名刺領域からコードを検知するコード検知手段と、コードに対応する名刺情報に含まれる１以上の項目情報を、１以上の名刺情報が格納されている第一名刺格納部から取得する項目取得手段とを具備し、項目取得部は、領域検出部が検出した名刺領域に表出している１以上の項目情報を取得する処理を行い、突合部は、コードに基づいて取得された１以上の項目情報を用いて突合処理を行い、かつ名刺領域に表出している前記１以上の項目情報を用いて突合処理を行い、かつコードに基づいて前記１以上の項目情報を取得し、当該１以上の項目情報を用いて突合処理を行うこと、および名刺領域に表出している１以上の項目情報を取得し、当該１以上の項目情報を用いて突合処理を行うことを、並列して行い、名刺処理部は、突合部が、最初に、存在すると判断した場合に、名刺情報を用いた名刺処理を行う、名刺撮影装置である。

かかる構成により、高速かつ精度高く名刺処理ができる。

また、本第十一の発明の名刺処理装置は、第一から第十いずれか１つの発明に対して、項目取得部は、名刺画像と名刺画像に含まれる項目情報の領域を特定する領域情報とを有する２以上の教師データを用いて、機械学習の学習処理により構成された学習器と、領域検出部が検出した名刺領域の画像情報とを用いて、機械学習の予測処理により、項目情報の領域情報を取得する予測手段と、予測手段が取得した領域情報が特定する領域から、項目情報を取得する項目取得手段とを具備する、名刺処理装置である。

かかる構成により、名刺が撮影された動画から、精度高く名刺情報を取得できる。

また、本第十二の発明の名刺処理装置は、第一から第十一いずれか１つの発明に対して、名刺処理部は、受け付けを完了する処理を行う、名刺処理装置である。

かかる構成により、名刺を用いて、受け付けを完了する処理が行える。

また、本第十三の発明の名刺撮影装置は、２以上の各名刺を、順次、撮影し、動画を取得するカメラと、カメラが取得した動画を、第一から第十二いずれか１つの発明の名刺処理装置に渡す画像送付部とを具備する名刺撮影装置である。

かかる構成により、名刺を撮影し、当該撮影して得た動画を名刺処理装置に渡すことができる。

また、本第十四の発明の名刺撮影装置は、第十三の発明に対して、カメラに正体する位置に設置された台座であり、予め決められた図柄または文字または色が表出した台座をさらに具備する名刺撮影装置である。

かかる構成により、名刺を撮影し、当該撮影して得た動画を名刺処理装置に渡すことができる。

本発明による名刺処理装置によれば、名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができる。

実施の形態１における名刺処理システムＡの概念図 同名刺処理システムＡのブロック図 同名刺処理装置２のブロック図 同名刺処理装置２の学習処理の例について説明するフローチャート 同名刺処理装置２が行う名刺処理の動作例について説明するフローチャート 同判断処理の例について説明するフローチャート 同コード処理の例について説明するフローチャート 同認識処理の例について説明するフローチャート 同突合処理の例について説明するフローチャート 同名刺処理の例について説明するフローチャート 同名刺撮影装置１の外観の例を示す図 同突合情報管理表を示す図 同第一名刺情報管理表を示す図 同学習器管理表を示す図 同名刺等の例を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図

以下、名刺処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、１または２以上の各名刺を、順次、撮影した動画を受け付け、当該動画を構成する１以上の各静止画から名刺領域を検出し、１以上の各名刺ごとに、名刺領域から名刺情報を構成する１以上の項目情報を取得し、当該１以上の項目情報を有する１以上の名刺情報を用いた名刺処理を行う名刺処理装置を具備する名刺処理システムについて説明する。

また、本実施の形態において、管理されている突合情報の集合に対して、取得した１以上の項目情報を有する名刺情報を突合し、突合結果に応じた処理（例えば、受付完了の処理）を行う名刺処理装置を具備する名刺処理システムについて説明する。

また、本実施の形態において、動画から１以上の項目情報を有する１以上の名刺情報を取得する際の種々の高速化のための処理について説明する。

また、本実施の形態において、名刺領域からコード（例えば、ＱＲコード（登録商標））を検知した場合に、当該コードを用いて、名刺データベースを検索し、当該名刺データベースから１以上の項目情報を取得する処理について説明する。

また、本実施の形態において、２以上の名刺データベースが存在する状況において、名刺領域からコードを検知した場合に、２以上の名刺データベースを用いて、１以上の項目情報を取得する処理について説明する。

また、本実施の形態において、機械学習のアルゴリズムを用いて、名刺領域の画像の中の項目情報が存在する領域を決定する項目領域検出処理について説明する。

さらに、本実施の形態において、１または２以上の各名刺を、順次、撮影し、動画を取得するカメラ付きの名刺撮影装置について説明する。

図１は、本実施の形態における名刺処理システムＡの概念図である。名刺処理システムＡは、名刺撮影装置１、名刺処理装置２、ユーザ管理サーバ３、第一サーバ４、および第二サーバ５を備える。

名刺撮影装置１は、１または２以上の各名刺を、順次、撮影し、動画を取得する装置である。

名刺処理装置２は、名刺撮影装置１が取得した動画から１または２以上の名刺情報を取得し、当該名刺情報を用いた名刺処理を行う装置である。なお、名刺撮影装置１と名刺処理装置２とは、一体の装置でも良いし、分離された装置で良い。

ユーザ管理サーバ３は、名刺処理装置２が取得した名刺情報を突合する対象である突合情報を管理するサーバである。なお、名刺処理装置２は、突合情報格納部を有しても良い。かかる場合、ユーザ管理サーバ３は不要である。

第一サーバ４は、名刺処理装置２が名刺情報を取得する際に使用するサーバであり、１以上の名刺情報が格納されている第一名刺格納部を具備するサーバである。

第二サーバ５は、名刺処理装置２が名刺情報を取得する際に使用するサーバであり、１以上の名刺情報が格納されている第二名刺格納部を具備するサーバである。

なお、名刺処理システムＡにおいて、第一サーバ４および第二サーバ５は、存在しなくても良い。また、名刺処理システムＡにおいて、ユーザ管理サーバ３は、存在することは好適であるが、必須ではない。

名刺処理装置２は、例えば、ユーザ管理サーバ３、第一サーバ４、および第二サーバ５と、インターネット、イントラネット等の通信回線により、通信可能であることは好適である。

名刺処理装置２は、例えば、名刺撮影装置１と、インターネット、イントラネット等の通信回線により、通信可能であっても良い。

図２は、本実施の形態における名刺処理システムＡのブロック図である。図３は、名刺処理装置２のブロック図である。

名刺撮影装置１は、カメラ１１、固定部１２、台座１３、および画像送付部１４を備える。

名刺処理装置２は、格納部２１、受付部２２、および処理部２３を備える。格納部２１は、学習器格納部２１１を備える。受付部２２は、動画受付部２２１を備える。処理部２３は、静止画取得部２３１、判断部２３２、領域検出部２３３、項目取得部２３４、突合部２３５、および名刺処理部２３６を備える。項目取得部２３４は、学習手段２３４１、予測手段２３４２、コード検知手段２３４３、および項目取得手段２３４４を備える。

ユーザ管理サーバ３は、突合情報格納部３１を備える。第一サーバ４は、第一名刺格納部４１を備える。第二サーバ５は、第二名刺格納部５１を備える。

名刺撮影装置１を構成するカメラ１１は、動画を撮影する。カメラ１１は、２以上の各名刺を、順次、撮影し、動画を取得する。動画は、２以上の静止画を有する。静止画は、フレーム、またはフィールド等と言っても良い。カメラ１１は動画が撮影できれば良く、その種類は問わない。

カメラ１１は、２以上のユーザの名刺を、順次、撮影していくことは好適である。ただし、カメラ１１は、一つの名刺のみを撮影しても良い。かかる場合でも、カメラ１１は、撮影の指示を受け付けないことは好適である。また、カメラ１１は、２以上の名刺を一度に撮影しても良いが、１枚ずつ撮影することは好適である。つまり、カメラ１１により名刺が撮影できる位置まで、２以上のユーザが、順次、移動し、カメラ１１が、当該２以上の各ユーザの名刺を、順次、撮影することは好適である。その間、何らの指示を受け付けずに、カメラ１１は撮影を続けていることは好適である。

固定部１２は、カメラ１１を固定する部材である。固定部１２は、カメラ１１と台座１３とを固定する部材であることは好適であるが、カメラ１１のみを固定する部材でも良い。固定部１２の形状、材質等は問わない。

台座１３は、カメラ１１に正体する位置に設置された台である。台座１３は、予め決められた図柄または文字または色が表出した台であることは好適である。予め決められた図柄または色は、カメラ１１により名刺が撮影されている際には、少なくともカメラ１１の撮影対象とならないことは好適である。少なくともカメラ１１の撮影対象とならないことは、少なくとも一部が静止画に含まれないことである。つまり、特定の図柄または特定の色は、名刺が静止画に映っているか否かを判断するために使用されるものである。また、図柄は、例えば、図形、絵、イラスト等であるが、１以上文字を含む文字列でも良い。

画像送付部１４は、カメラ１１が取得した動画を名刺処理装置２に渡す。画像送付部１４が名刺処理装置２に、一度に渡すフレームの数は問わない。画像送付部１４は、１つずつ、フレームを名刺処理装置２に渡しても良いし、一度に、２以上のフレームを名刺処理装置２に渡しても良い。画像送付部１４は、無線通信手段により、動画を名刺処理装置２に送信することは好適である。ただし、名刺撮影装置１と名刺処理装置２とは一体化して構成されていても良い。

名刺処理装置２を構成する格納部２１には、各種の情報が格納される。各種の情報は、例えば、後述する学習器、２以上の教師データ、後述する名刺検出条件である。

教師データは、名刺画像と１以上の各項目情報の領域情報とのセットである。教師データは、項目ごとに有することは好適である。つまり、教師データは、例えば、名刺画像と氏名の領域を特定する領域情報とのセットである。教師データは、例えば、名刺画像と組織識別子の領域を特定する領域情報とのセットである。教師データは、例えば、名刺画像と住所の領域を特定する領域情報とのセットである。教師データは、例えば、名刺画像と電話番号の領域を特定する領域情報とのセットである。教師データは、例えば、名刺画像とメールアドレスの領域を特定する領域情報とのセットである。教師データは、例えば、名刺画像とＵＲＬの領域を特定する領域情報とのセットである。ただし、教師データは、名刺画像と２以上の各項目情報の領域情報とのセットでも良い。教師データは、例えば、名刺画像と氏名の領域を特定する領域情報と組織識別子の領域を特定する領域情報とメールアドレスの領域を特定する領域情報のセットである。教師データは、例えば、名刺画像と氏名の領域を特定する領域情報と組織識別子の領域を特定する領域情報と電話番号の領域を特定する領域情報とメールアドレスの領域を特定する領域情報のセットである。

学習器格納部２１１は、１または２以上の学習器が格納される。ここでの学習器は、名刺画像を受け付け、領域情報を予測するための学習器である。学習器は、学習モデル、予測器、予測モデル等と言っても良い。

領域情報は、１以上の各項目情報が表記されている領域を特定する情報である。領域情報は、例えば、矩形を特定する座標の集合であり、例えば、左上座標と右下座標である。領域情報は、例えば、名刺の画像の中の相対的な座標の集合である。ただし、領域情報は、領域を特定する情報であれば良く、情報の構造は問わない。また、領域の形状は、矩形であることは好適であるが、楕円形等の矩形でない形状でも良い。

項目情報は、名刺を構成する項目の情報である。項目は、例えば、氏名、所属する組織の組織識別子（例えば、会社名、団体名）、住所、電話番号、ＦＡＸ番号、メールアドレス、ＵＲＬ等である。

受付部２２は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、動画、起動指示である。受付部２２は、名刺撮影装置１が撮影した動画を受け付ける。

動画受付部２２１は、２以上の各名刺を、順次、撮影した動画を受け付ける。かかる動画は、名刺撮影装置１が撮影した動画である。ここでの名刺は、紙の名刺でも良いし、ユーザ端末（図示しない）の画面に表示された名刺画像でも良い。また、名刺は、名刺を識別するＩＤ、名刺を識別するコードでも良い。

処理部２３は、各種の処理を行う。各種の処理は、例えば、静止画取得部２３１、判断部２３２、領域検出部２３３、項目取得部２３４、突合部２３５、名刺処理部２３６が行う処理である。

静止画取得部２３１は、受付部２２が受け付けた動画から２以上の静止画を、順次、取得する。静止画取得部２３１は、受付部２２が受け付けた動画を構成するすべての静止画を取得しても良いし、一部の静止画のみ取得しても良い。

静止画取得部２３１は、動画が有するＮ（Ｎは２以上の自然数）の静止画からＮより少ない静止画を取得することは好適である。Ｎより少ない静止画を取得することは、例えば、動画から、一部の静止画を間引いて取得することである。静止画取得部２３１は、例えば、一定期間（例えば、１秒、２秒、５秒等）ごとに一の静止画を取得する。静止画取得部２３１は、例えば、Ｘ枚（Ｘは２以上の自然数）の連続する静止画のうち、一の静止画を取得する。連続する静止画とは、時間的に連続する静止画である。例えば、１秒間に６０のフィールドが存在する動画の場合、静止画取得部２３１は、例えば、３０枚に１枚のフィールドを取得する。

判断部２３２は、動画を構成する静止画が名刺検出条件を満たすか否かを判断する。判断部２３２は、静止画取得部２３１が取得した静止画が名刺検出条件を満たすか否かを判断する。

ここで、名刺検出条件は、静止画の中に名刺が存在すると判断できるための条件である。名刺検出条件は、例えば、静止画の中に特定の図柄や特定の色を有さないことである。例えば、特定の図柄や特定の文字や特定の色は、名刺が撮影されていない静止画の背景の中に含まれるが、名刺が撮影されている静止画の中には、当該特定の図柄や特定の文字や特定の色は、名刺により隠される環境で、名刺が撮影される。

また、名刺検出条件は、例えば、名刺であることを特定できるサイズの矩形が静止画中に存在することである。なお、サイズは、例えば、「５５ｍｍ×９１ｍｍ」である。

静止画の中に特定の図柄や特定の文字や特定の色を有するか否かを判断する処理、静止画の中に特定のサイズの矩形が存在するか否かを判断する処理は、公知の画像認識技術により可能であるので、詳細な説明は省略する。

領域検出部２３３は、静止画取得部２３１が取得した２以上の各静止画から名刺領域を検出する。

領域検出部２３３は、判断部２３２が名刺検出条件を満たすと判断した場合に、名刺検出条件を満たす静止画から名刺領域を検出することは好適である。

なお、名刺領域の検出は、静止画から名刺領域を切り出す処理でも良いし、名刺領域を特定する座標情報を取得する処理でも良い。領域検出部２３３は、例えば、静止画から矩形の名刺領域を検出する。

また、領域検出部２３３は、検出した名刺領域に対して補正処理を行うことは好適である。補正処理は、形状補正、角度補正、サイズ補正のうちの１以上の補正である。以下、３つの各々の補正処理について説明する。

（１）形状補正

領域検出部２３３は、検出した名刺領域を長方形にする形状補正を行うことは好適である。なお、形状補正は、台形補正でも良い。また、矩形の画像を長方形にする画像の補正処理は公知技術であるので、ここでの詳細な説明は省略する。

（２）角度補正

領域検出部２３３は、検出した名刺領域または補正した長方形の領域に対して、後述する項目取得部２３４が項目情報を取得し易くするために、領域を回転する角度補正を行うことは好適である。なお、文字列が表出した画像の向きを読み易くする角度に回転する補正処理は公知技術であるので、ここでの詳細な説明は省略する。

（３）サイズ補正

領域検出部２３３は、検出した名刺領域のサイズを、通常の名刺サイズ（例えば、「５５ｍｍ×９１ｍｍ」）に補正するように、拡大または縮小する。なお、カメラ１１と名刺との距離が一定に撮影される環境においては、例えば、かかるサイズ補正は不要である。なお、かかる環境は、例えば、名刺撮影装置１の台座１３に名刺が置かれた状態で名刺が撮影される環境である。

項目取得部２３４は、領域検出部２３３が検出した１または２以上の各名刺領域の情報から１または２以上の項目情報を取得する。名刺領域の情報とは、例えば、名刺領域の画像、名刺領域の中のコードである。つまり、項目取得部２３４は、例えば、文字認識処理により、名刺領域から１以上の項目情報を取得する。項目取得部２３４は、例えば、名刺領域のコードを用いて、１以上の項目情報を取得する。

項目取得部２３４は、領域検出部２３３が検出した名刺領域ごとに、２以上の各項目情報を取得する処理を並行して行うことは好適である。

学習手段２３４１は、格納部２１に格納されている２以上の教師データを用いて、機械学習の学習処理により、学習器を構成する。

学習手段２３４１は、項目情報ごとに、当該項目情報に対応する２以上の教師データを格納部２１から取得する。次に、学習手段２３４１は、当該２以上の教師データを用いて、機械学習の学習処理により、項目情報ごとの学習器を構成する。そして、学習手段２３４１は、項目情報ごとに、構成した学習器を、項目識別子に対応付けて、学習器格納部２１１に蓄積する。項目識別子は、項目情報を特定する情報である。

なお、かかる学習器を構成する処理は、名刺処理装置２とは異なる他の装置で行っても良い。かかる他の装置は、図示しない学習装置である。学習装置は、２以上の教師データを格納する格納部と、学習手段２３４１とを有する。

また、機械学習の学習処理および後述する予測手段２３４２の予測処理のアルゴリズムは、問わない。機械学習は、例えば、深層学習、ランダムフォレスト、決定木等が利用可能である。機械学習のモジュールは、例えば、TensorFlowのモジュール、fasttext、R言語のランダムフォレストのライブラリのモジュール等、問わない。

予測手段２３４２は、学習器と、領域検出部２３３が検出した名刺領域の画像情報とを用いて、機械学習の予測処理により、項目情報の領域情報を取得する。領域情報は、名刺領域の中の相対的な座標位置を用いて特定される相対的な領域の情報である。なお、上述したように、機械学習の予測処理のアルゴリズムは、問わない。

予測手段２３４２は、２以上の各項目情報ごとに、当該項目情報を特定する項目識別子と対になる学習器を学習器格納部２１１から取得する。次に、予測手段２３４２は、当該学習器と領域検出部２３３が検出した名刺領域の画像情報とを用いて、機械学習の予測処理により、項目情報の領域情報を取得することは好適である。ただし、予測手段２３４２は、一つの学習器を学習器格納部２１１から取得し、当該学習器と領域検出部２３３が検出した名刺領域の画像情報とを用いて、機械学習の予測処理により、２以上の各項目情報の領域情報を、一度に取得しても良い。かかる場合、学習器は、名刺領域の画像情報を用いて、２以上の各項目情報の領域情報を予測するための情報である。

予測手段２３４２は、例えば、学習器を学習器格納部２１１から取得し、当該学習器と領域検出部２３３が検出した名刺領域の画像情報とを、機械学習の予測処理を行うモジュールに与え、当該モジュールを実行することにより、領域情報を取得する。

コード検知手段２３４３は、領域検出部２３３が検出した名刺領域からコードを検知する。コードとは、例えば、二次元コード、バーコード、数字列等である。コードは、名刺を識別する情報である。二次元コードは、ＱＲコード（登録商標）であることは好適であるが、ＤａｔａＭａｔｒｉｘ、ＶｅｒｉＣｏｄｅ等の他のマトリクス型二次元コードでも良く、スタック型二次元コード等でも良い。コード検知手段２３４３は、公知のコードリーダーの技術が利用可能である。

なお、コードを検知することは、コードに対応する文字列を取得することであることは好適であるが、コードの領域の画像を切り出すことでも良い。

項目取得手段２３４４は、１または２以上の項目情報を取得する。項目取得手段２３４４が項目情報を取得する場合、領域検出部２３３が検出した名刺領域に表出している文字列を用いる方法、および名刺領域のコードを用いる方法がある。

（１）名刺領域に表出している文字列を用いる方法

名刺領域の文字列を用いる方法として、機械学習の予測処理により取得された領域情報を用いる方法と用いない方法とがある。なお、項目取得手段２３４４の処理対象の名刺領域の画像は、上述の補正された名刺領域の画像でも良いことは言うまでもない。

（１－１）領域情報を用いる方法

項目取得手段２３４４は、予測手段２３４２が取得した１以上の各領域情報が特定する領域であり、名刺領域の中の領域に対して、文字認識処理を行い、領域情報ごとに、文字列である項目情報を取得する。

項目取得手段２３４４は、２以上の領域情報に対応する文字列を取得する場合、２以上の各領域情報に対応する文字認識処理を並行して行い、２以上の領域情報ごとの文字列を取得することは好適である。

（１－２）領域情報を用いない方法

項目取得手段２３４４は、名刺領域に対して文字認識処理を行い、１または２以上の文字列である１以上の項目情報を取得する。項目取得手段２３４４は、取得した１以上の各項目情報の種類（例えば、「氏名」「会社名」「住所」）を決定する。なお、文字列である項目情報の種類を決定する処理は公知技術であるので詳細な説明は省略する。公知技術は、例えば、文字列の分類技術である。

（１－３）名刺データベースを検索する場合

項目取得手段２３４４は、（１－１）または（１－２）の方法により、１または２以上の項目情報を取得した後、当該１以上の項目情報を用いて、１または２以上の名刺データベースを検索し、該当する名刺情報のうちの全部または一部を取得しても良い。かかる処理により、文字認識機能における精度が不十分でも、正確な項目情報を取得することができる。なお、名刺データベースは、例えば、第一名刺格納部４１、第二名刺格納部５１である。

（２）名刺領域のコードを用いる方法

項目取得手段２３４４は、例えば、コード検知手段２３４３が検知したコードに対応する名刺情報に含まれる１以上の項目情報を、第一名刺格納部４１から取得する。項目取得手段２３４４は、例えば、コードを用いて第二名刺格納部５１を検索し、コードに対応する名刺情報に含まれる１以上の項目情報を取得する。なお、項目取得手段２３４４は、第一名刺格納部４１のみを検索しても良いし、第二名刺格納部５１のみを検索しても良いし、両方の名刺データベースを検索しても良い。

項目取得手段２３４４は、並列処理により、第一名刺格納部４１から１以上の項目情報を取得し、かつ第二名刺格納部５１から１以上の項目情報を取得することは好適である。 なお、項目取得手段２３４４が２つの名刺格納部から項目情報を取得した場合、どちらか一方の名刺格納部からの項目情報を最終的に取得しても良いし、情報が多い方の名刺格納部からの項目情報を最終的に取得しても良いし、両方の名刺格納部から取得した項目情報であり、一致する項目情報のみを最終的に取得する等しても良い。

項目取得手段２３４４は、コード検知手段２３４３が検知したコードを用いて第一名刺格納部４１を検索し、コードに対応する名刺情報に含まれる１以上の項目情報を取得しようとし、第一名刺格納部４１から取得できない場合のみ、当該コードを用いて第二名刺格納部５１を検索し、コードに対応する名刺情報に含まれる１以上の項目情報を取得しても良い。

なお、第一名刺格納部４１は、名刺処理装置２ではない装置である第一サーバ４が具備することは好適であるが、名刺処理装置２が具備しても良い。かかる場合、第一サーバ４は不要である。また、第二名刺格納部５１は、名刺処理装置２ではない装置である第二サーバ５が具備することは好適であるが、名刺処理装置２が具備しても良い。かかる場合、第二サーバ５は不要である。

突合部２３５は、後述する突合情報格納部３１を参照し、項目取得部２３４が取得した１以上の項目情報に対応する突合情報が存在するか否かを判断する。１以上の項目情報に対応する突合情報とは、通常、１以上の項目情報を有する突合情報であるが、１以上の項目情報との類似度が閾値以上または閾値より大きい突合情報でも良い。突合情報は、突合対象の情報である。突合情報は、例えば、イベントに参加するための登録情報、管理対象のユーザのユーザ情報である。突合情報は、名刺処理の前に、事前に受け付けられている情報である。また、イベントとは、例えば、セミナー、展示会、講演会、研修会等であり、その種類は問わない。

名刺処理部２３６は、項目取得部２３４が取得した１または２以上の項目情報を有する１または２以上の名刺情報を用いた処理である名刺処理を行う。

名刺処理部２３６は、例えば、突合部２３５が存在すると判断した場合のみ、名刺情報を用いた名刺処理を行う。

名刺処理部２３６は、既に名刺処理を行った名刺情報に対しては、名刺処理を行わないことは好適である。つまり、名刺処理部２３６は、同じ名刺領域の画像に対して、重複して名刺処理を行わないことは好適である。

また、名刺処理とは、例えば、イベントに対する受付処理、受け付けを完了する処理、ゲートをオープンする処理、名刺情報の蓄積処理、名刺情報の送信処理であるが、名刺情報に対する処理であれば良い。つまり、名刺処理の内容は問わない。なお、受け付けを完了する処理は、ゲートをオープンする処理やイベントに対する受付処理等を含むと考えても良い。

受付処理は、イベントへの受け付けのための処理であれば良く、その内容は問わない。受付処理は、例えば、イベント会場への入場が受け付けられたことを示すフラグをユーザ管理サーバ３に送信する処理である。受付処理は、例えば、イベントに参加することを示すフラグを、名刺情報に対応付けて蓄積する処理である。受付処理は、イベント会場に入場するためのゲートを開く処理でも良い。

ユーザ管理サーバ３は、ユーザを管理するためのサーバである。ユーザは、例えば、イベントへの参加を申し込んだユーザである。

突合情報格納部３１には、１または２以上の突合情報が格納されている。突合情報は、例えば、ユーザのイベントに対する参加のための登録情報である。ここでの項目情報は、例えば、氏名、組織識別子、電話番号、メールアドレスである。ここでの項目情報は、名刺処理装置２が取得する項目情報をすべて含む必要はない。

突合情報格納部３１は、ユーザ管理サーバ３に存在することは好適であるが、名刺処理装置２に存在しても良い。かかる場合、ユーザ管理サーバ３は不要である。

第一サーバ４は、１または２以上の名刺情報を管理するサーバである。名刺情報は、例えば、名刺画像、氏名、組織識別子、電話番号、ＦＡＸ番号、メールアドレス、ＵＲＬ、コードまたはコードに対応する文字列を有する。

第一名刺格納部４１は、１または２以上の名刺情報が格納されている。第一名刺格納部４１は、第一サーバ４に存在することは好適であるが、名刺処理装置２に存在しても良い。かかる場合、第一サーバ４は不要である。

第二サーバ５は、１または２以上の名刺情報を管理するサーバである。名刺情報は、例えば、名刺画像、氏名、組織識別子、電話番号、ＦＡＸ番号、メールアドレス、ＵＲＬ、コードまたはコードに対応する文字列を有する。ただし、第一サーバ４の名刺情報と第二サーバ５の名刺情報とは、構造または入手経路または名刺情報に対応するユーザ等が異なっていることは好適である。

第二名刺格納部５１には、１以上の名刺情報が格納されている。第二名刺格納部５１は、例えば、名刺情報を管理する第二サーバ５に存在するが、名刺処理装置２に存在しても良い。かかる場合、第二サーバ５は不要である。

画像送付部１４は、例えば、無線または有線の通信手段で実現される。

格納部２１、学習器格納部２１１、突合情報格納部３１、第一名刺格納部４１、および第二名刺格納部５１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

格納部２１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部２１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部２１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部２１等で記憶されるようになってもよい。

受付部２２、および動画受付部２２１は、例えば、無線または有線の通信手段で実現される。

処理部２３、静止画取得部２３１、判断部２３２、領域検出部２３３、項目取得部２３４、突合部２３５、名刺処理部２３６、学習手段２３４１、予測手段２３４２、コード検知手段２３４３、および項目取得手段２３４４は、通常、プロセッサやメモリ等から実現され得る。処理部２３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。

次に、名刺処理システムＡの動作例について説明する。まず、名刺撮影装置１の動作例について説明する。名刺撮影装置１のカメラ１１は、撮影し、動画を取得する。画像送付部１４は、取得された動画を名刺処理装置２に送信する。

次に、名刺処理装置２の動作例について説明する。まず、名刺処理装置２が学習器を構成する学習処理について、図４のフローチャートを用いて説明する。なお、学習処理は、図示しない学習装置が行っても良い。

（ステップＳ４０１）受付部２２は、学習指示を受け付けたか否かを判断する。学習指示を受け付けた場合はステップＳ４０２に行き、学習指示を受け付けなかった場合はステップＳ４０１に戻る。

（ステップＳ４０２）学習手段２３４１は、カウンタｉに１を代入する。

（ステップＳ４０３）学習手段２３４１は、ｉ番目の項目識別子が格納部２１に存在するか否かを判断する。ｉ番目の項目識別子が存在する場合はステップＳ４０４に行き、存在しない場合はステップＳ４０１に戻る。

（ステップＳ４０４）学習手段２３４１は、ｉ番目の項目識別子と対になる２以上の教師データを格納部２１から取得する。

（ステップＳ４０５）学習手段２３４１は、ステップＳ４０４で取得した２以上の教師データを用いて、機械学習の学習処理を行い、学習器を取得する。

（ステップＳ４０６）学習手段２３４１は、ｉ番目の項目識別子と対にして、ステップＳ４０５で取得した学習器を学習器格納部２１１に蓄積する。

（ステップＳ４０７）学習手段２３４１は、カウンタｉを１、インクリメントする。ステップＳ４０３に戻る。

なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、名刺処理装置２が行う名刺処理の動作例について、図５のフローチャートを用いて説明する。

（ステップＳ５０１）動画受付部２２１は、名刺撮影装置１から動画を受け付けたか否かを判断する。動画を受け付けた場合はステップＳ５０２に行き、動画を受け付けなかった場合はステップＳ５０１に戻る。なお、ここで、動画ではなく、１枚のフレームを受け付けても良い。また、１枚のフレームを、順次、受け付けることは、動画を受け付けることである、と考えても良い。

（ステップＳ５０２）処理部２３は、カウンタｉに１を代入する。

（ステップＳ５０３）静止画取得部２３１は、ステップＳ５０１で受け付けられた情報の中に、ｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在する場合はステップＳ５０４に行き、存在しない場合はステップＳ５０１に戻る。

（ステップＳ５０４）静止画取得部２３１は、ｉ番目のフレームが処理対象であるか否かを判断する。ｉ番目のフレームが処理対象であればステップＳ５０５に行き、ｉ番目のフレームが処理対象でなければステップＳ５１３に行く。なお、静止画取得部２３１は、例えば、前回に処理対象としたフレームからＸ枚後のフレームについて、処理対象であると判断する。なお、Ｘは、通常、２以上の自然数である。かかる処理により、静止画取得部２３１は、フレームを間引いて、動画から処理対象のフレームのみを取得できる。

（ステップＳ５０５）静止画取得部２３１は、ｉ番目のフレームを取得する。

（ステップＳ５０６）判断部２３２は、ステップＳ５０５で取得されたフレームに対して、判断処理を行う。判断処理は、名刺領域を検出するか否かの判断のための処理である。判断処理の例について、図６のフローチャートを用いて説明する。

（ステップＳ５０７）領域検出部２３３は、ステップＳ５０６における判断処理の結果が「条件を満たす」か否かを判断する。条件を満たす場合はステップＳ５０８に行き、条件を満たさない場合はステップＳ５１３に行く。

（ステップＳ５０８）領域検出部２３３は、名刺領域の画像を切り出す。そして、領域検出部２３３は、台形補正、回転補正等の補正を行う。コード検知手段２３４３は、補正後の名刺領域の画像の中に、コード（例えば、ＱＲコード）を含むか否かを判断する。コードを含む場合はステップＳ５０９に行き、コードを含まない場合はステップＳ５１０に行く。

（ステップＳ５０９）項目取得部２３４は、コード処理を行う。ステップＳ５１１に行く。なお、コード処理とは、コードを用いて、１以上の項目情報を取得する処理である。コード処理の例について、図７のフローチャートを用いて説明する。

（ステップＳ５１０）項目取得部２３４は、認識処理を行う。認識処理とは、名刺領域の画像を認識し、１以上の項目情報を取得する処理である。認識処理の例について、図８のフローチャートを用いて説明する。なお、ここでの名刺領域の画像は、補正後の画像であることは好適である。

（ステップＳ５１１）突合部２３５は、ステップＳ５０９またはステップＳ５１０で取得された１以上の項目情報を用いて、突合処理を行う。突合処理の例について、図９のフローチャートを用いて説明する。

（ステップＳ５１２）名刺処理部２３６は、名刺処理を行う。ステップＳ５０１に戻る。名刺処理の例について、図１０のフローチャートを用いて説明する。

（ステップＳ５１３）処理部２３は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。

なお、図５のフローチャートにおいて、ステップＳ５０９のコード処理とステップＳ５１０の認識処理のどちらか一方を行った。しかし、項目取得部２３４は、コード検知手段２３４３がコードを含むと判断した場合に、例えば、ステップＳ５０９のコード処理とステップＳ５１０の認識処理の両方を並行して行っても良い。そして、突合部２３５は、最初に取得された１以上の項目情報を用いて突合処理を行っても良い。

また、図５のフローチャートにおいて、コード検知手段２３４３がコードを含むと判断した場合に、例えば、項目取得部２３４がステップＳ５０９のコード処理により１以上の項目情報を取得し、当該１以上の項目情報を用いて突合部２３５が突合処理を行う第一の総合処理を行い、かつ項目取得部２３４がステップＳ５１０の認識処理により１以上の項目情報を取得し、当該１以上の項目情報を用いて突合部２３５が突合処理を行う第二の総合処理を行っても良い。かかる場合、第一の総合処理と第二の総合処理とは、並行して行われることは好適である。また、かかる場合、名刺処理部２３６は、最初に、突合部２３５が存在すると判断した場合に、名刺処理を行うことは好適である。

次に、ステップＳ５０６の判断処理の例について、図６のフローチャートを用いて説明する。

（ステップＳ６０１）判断部２３２は、ステップＳ５０５で取得されたフレームが特定の図柄または特定の文字または特定の色を有するか否かを判断する。特定の図柄または特定の色を有する場合はステップＳ６０２に行き、特定の図柄または特定の文字または特定の色を有さない場合はステップＳ６０４に行く。なお、判断部２３２は、「フレームが特定の図柄または特定の文字または特定の色を有しない」等の条件以外の名刺検出条件を用いて、判断結果を取得しても良い。

（ステップＳ６０２）判断部２３２は、ステップＳ５０５で取得されたフレームが特定の図柄または特定の色以外の図柄または特定の文字または色を有するか否かを判断する。特定の図柄または特定の文字または特定の色以外の図柄または文字または色を有する場合はステップＳ６０４に行き、有しない場合はステップＳ６０３に行く。

（ステップＳ６０３）判断部２３２は、変数「判断結果」に「条件を満たさない」旨の情報を代入する。上位処理にリターンする。

（ステップＳ６０４）判断部２３２は、ステップＳ６０５において、「条件を満たす」と判断して、図示しないバッファに蓄積した直前のフレームと、同じ名刺領域を有するか否かを判断する。同じ名刺領域を有する場合はステップＳ６０５に行き、同じ名刺領域を有しない場合はステップＳ６０６に行く。なお、同じ名刺領域を有するか否かの判断は、類似度が閾値以上のフレームか否かの判断でも良い。

（ステップＳ６０５）判断部２３２は、変数「判断結果」に「条件を満たさない」旨の情報を代入する。ステップＳ６０７に行く。

（ステップＳ６０６）判断部２３２は、変数「判断結果」に「条件を満たす」旨の情報を代入する。

（ステップＳ６０７）判断部２３２は、ステップＳ５０５で取得されたフレームを、比較対象のフレームとして、図示しないバッファに一時蓄積する。上位処理にリターンする。

次に、ステップＳ５０９のコード処理の例について、図７のフローチャートを用いて説明する。

（ステップＳ７０１）コード検知手段２３４３は、名刺領域からコードを取得する。

（ステップＳ７０２）項目取得手段２３４４は、ステップＳ７０１で取得されたコードをキーとして、第一サーバ４の第一名刺格納部４１を検索する。

（ステップＳ７０３）項目取得手段２３４４は、ステップＳ７０２における検索の結果、ステップＳ７０１で取得されたコードに対応する名刺情報を構成する１以上の項目情報を取得する。なお、ここで、ステップＳ７０１で取得されたコードに対応する名刺情報が第一名刺格納部４１に存在せず、項目情報を取得できない場合もあり得る。

（ステップＳ７０４）項目取得手段２３４４は、ステップＳ７０１で取得されたコードをキーとして、第二サーバ５の第二名刺格納部５１を検索する。

（ステップＳ７０５）項目取得手段２３４４は、ステップＳ７０４における検索の結果、ステップＳ７０１で取得されたコードに対応する名刺情報を構成する１以上の項目情報を取得する。なお、ここで、ステップＳ７０１で取得されたコードに対応する名刺情報が第二名刺格納部５１に存在せず、項目情報を取得できない場合もあり得る。

（ステップＳ７０６）項目取得手段２３４４は、ステップＳ７０３で取得された１以上の項目情報、または／およびステップＳ７０５で取得された１以上の項目情報を用いて、名刺処理に使用する１以上の項目情報を取得する。上位処理にリターンする。

なお、ここでは、図７のフローチャートにおいて、ステップＳ７０２とステップＳ７０３の第一サーバ検索処理と、ステップＳ７０４とステップＳ７０５の第二サーバ検索処理とを並列で行うことは好適である。ただし、第一サーバ検索処理と第二サーバ検索処理とをシーケンシャルに行っても良い。

次に、ステップＳ５１０の認識処理の例について、図８のフローチャートを用いて説明する。

（ステップＳ８０１）領域検出部２３３は、名刺領域を取得する。なお、ここで、領域検出部２３３は、名刺領域の画像に対して、上述した補正処理を行うことは好適である。また、名刺領域の取得は、通常、名刺領域の画像の取得である。

（ステップＳ８０２）予測手段２３４２は、１番目の項目識別子（例えば、氏名）と対になる学習器を学習器格納部２１１から取得する。

（ステップＳ８０３）予測手段２３４２は、ステップＳ８０１で取得した名刺領域の画像とステップＳ８０２で取得した学習器とを用いて、機械学習の予測処理を行い、１番目の項目識別子に対応する項目情報が表れている領域の領域情報を取得する。

（ステップＳ８０４）項目取得手段２３４４は、ステップＳ８０１で取得した名刺領域の中の領域であり、ステップＳ８０３で取得した領域情報により特定される領域に対して、文字認識処理を行い、名刺の中に記載されている文字列（例えば、「田中一郎」）を取得する。

（ステップＳ８０５）項目取得手段２３４４は、１番目の項目識別子と対にして、ステップＳ８０４で取得した１番目の文字列を、図示しないバッファに一時蓄積する。ステップＳ８１４に行く。

（ステップＳ８０６）予測手段２３４２は、２番目の項目識別子（例えば、組織識別子）と対になる学習器を学習器格納部２１１から取得する。

（ステップＳ８０７）予測手段２３４２は、ステップＳ８０１で取得した名刺領域の画像とステップＳ８０６で取得した学習器とを用いて、機械学習の予測処理を行い、２番目の項目識別子に対応する項目情報が表れている領域の領域情報を取得する。

（ステップＳ８０８）項目取得手段２３４４は、ステップＳ８０１で取得した名刺領域の中の領域であり、ステップＳ８０７で取得した領域情報により特定される領域に対して、文字認識処理を行い、名刺の中に記載されている文字列（例えば、「ＡＢＣＤ株式会社」）を取得する。

（ステップＳ８０９）項目取得手段２３４４は、２番目の項目識別子と対にして、ステップＳ８０８で取得した２番目の文字列を、図示しないバッファに一時蓄積する。ステップＳ８１４に行く。

（ステップＳ８１０）予測手段２３４２は、ｎ番目の項目識別子（例えば、メールアドレス）と対になる学習器を学習器格納部２１１から取得する。なお、ｎは、３以上の自然数である。

（ステップＳ８１１）予測手段２３４２は、ステップＳ８０１で取得した名刺領域の画像とステップＳ８１０で取得した学習器とを用いて、機械学習の予測処理を行い、ｎ番目の項目識別子に対応する項目情報が表れている領域の領域情報を取得する。

（ステップＳ８１２）項目取得手段２３４４は、ステップＳ８０１で取得した名刺領域の中の領域であり、ステップＳ８１１で取得した領域情報により特定される領域に対して、文字認識処理を行い、名刺の中に記載されている文字列（例えば、「tanaka@abcd.com」）を取得する。

（ステップＳ８１３）項目取得手段２３４４は、ｎ番目の項目識別子と対にして、ステップＳ８０８で取得したｎ番目の文字列を、図示しないバッファに一時蓄積する。ステップＳ８１４に行く。

（ステップＳ８１４）項目取得手段２３４４は、ステップＳ８０５、ステップＳ８０９、ステップＳ８１３等で一時蓄積された項目情報を取得する。上位処理にリターンする。

なお、図８のフローチャートにおいて、ステップＳ８０２からステップＳ８０５、ステップＳ８０６からステップＳ８０９、・・・、ステップＳ８１０からステップＳ８１３の各項目ごとの項目情報の取得処理は、並列処理することは好適である。ただし、項目ごとの項目情報の取得処理を、シーケンシャルに処理しても良い。また、項目情報の取得処理は、２以上であることは好適であるが、１つでも良い。

また、図８のフローチャートのステップＳ８１４において、項目取得手段２３４４は、並列処理した項目ごとの項目情報の取得処理のすべてが完了するまでウェイトし、すべてが完了した後、ステップＳ８１４の処理を行うことは好適である。

さらに、図８のフローチャートにおいて、１番目の項目情報の取得処理、２番目の項目情報の取得処理、３番目の項目情報の取得処理、・・・ｎ番目の項目情報の取得処理といった具合に、多くの項目情報の取得処理を行うことは好ましい。

次に、ステップＳ５１１の突合処理の例について、図９のフローチャートを用いて説明する。

（ステップＳ９０１）突合部２３５は、カウンタｉに１を代入する。

（ステップＳ９０２）突合部２３５は、取得された項目情報の中で、ｉ番目の検索キーとなり得る項目情報が存在するか否かを判断する。ｉ番目の検索キーとなり得る項目情報が存在する場合はステップＳ９０３に行き、存在しない場合はステップＳ９１１に行く。なお、検索キーとなり得る項目情報は、予め決められている、とする。検索キーとなり得る項目情報は、例えば、氏名、メールアドレス、携帯電話番号である。

（ステップＳ９０３）突合部２３５は、ｉ番目の検索キーとなり得る項目情報を取得する。次に、突合部２３５は、当該項目情報をキーとして、突合情報格納部３１を検索する。なお、突合情報格納部３１は、ユーザ管理サーバ３に存在することは好適であるが、名刺処理装置２が有しても良い。

（ステップＳ９０４）突合部２３５は、ステップＳ９０３における検索処理の結果、ｉ番目の検索キーとなり得る項目情報が突合情報格納部３１に存在するか否かを判断する。当該項目情報が存在する場合はステップＳ９０５に行き、存在しない場合はステップＳ９１０に行く。

（ステップＳ９０５）突合部２３５は、ステップＳ９０３における検索処理の結果である突合情報を取得する。

（ステップＳ９０６）突合部２３５は、取得された各項目情報が、ステップＳ９０５で取得した突合情報に含まれるか否かを検索する。

（ステップＳ９０７）突合部２３５は、ステップＳ９０６における検索の結果、突合条件を満たす場合はステップＳ９０８に行き、突合条件を満たさない場合はステップＳ９０９に行く。なお、突合条件は、例えば、氏名の他、特定の項目情報（例えば、組織識別子）もステップＳ９０５で取得した突合情報に含まれることである。突合条件は、例えば、取得した項目情報のすべてがステップＳ９０５で取得した突合情報に含まれることである。

（ステップＳ９０８）突合部２３５は、変数「突合結果」に「成功」を代入する。上位処理にリターンする。

（ステップＳ９０９）突合部２３５は、変数「突合結果」に「失敗」を代入する。上位処理にリターンする。

（ステップＳ９１０）突合部２３５は、カウンタｉを１、インクリメントする。ステップＳ９０２に戻る。

（ステップＳ９１１）突合部２３５は、変数「突合結果」に「失敗」を代入する。上位処理にリターンする。

なお、図９のフローチャートにおいて、突合部２３５は、取得された２以上の項目情報をすべて含む突合情報が存在する場合のみ、変数「突合結果」に「成功」を代入しても良い。また、突合部２３５は、取得された２以上の項目情報との類似度が閾値以上または閾値より大きい場合に、変数「突合結果」に「成功」を代入しても良い。

次に、ステップＳ５１２の名刺処理の例について、図１０のフローチャートを用いて説明する。

（ステップＳ１００１）名刺処理部２３６は、突合処理の結果が「成功」であるか否かを判断する。「成功」である場合はステップＳ１００２に行き、「失敗」である場合はステップＳ１００３に行く。

（ステップＳ１００２）名刺処理部２３６は、検索された突合情報に対する受付処理を行う。受付処理は、例えば、検索された突合情報に対して、受付が行われた旨のフラグを付与することである。

（ステップＳ１００３）名刺処理部２３６は、取得された１以上の項目情報を用いた名刺情報を蓄積するか否かを判断する。名刺情報を蓄積する場合はステップＳ１００４に行き、名刺情報を蓄積しない場合は上位処理にリターンする。

なお、名刺処理部２３６は、例えば、取得された１以上の項目情報に対応する名刺情報が、名刺情報の蓄積先の名刺データベース（例えば、第一名刺格納部４１、第二名刺格納部５１）に格納されているか否かを判断し、格納されていない場合に、名刺情報を蓄積すると判断する。また、名刺処理部２３６は、常に、名刺情報を蓄積すると判断しても良い。

（ステップＳ１００４）名刺処理部２３６は、取得された１以上の項目情報を用いて、名刺情報を構成する。なお、名刺処理部２３６は、取得された名刺領域の画像（例えば、補正後の画像）をも含む名刺情報を構成することは好適である。

（ステップＳ１００５）名刺処理部２３６は、ステップＳ１００４で構成した名刺情報を蓄積する。上位処理にリターンする。なお、名刺情報の蓄積先は、名刺処理装置２の格納部２１でも良いし、第一サーバ４の第一名刺格納部４１でも良いし、第二サーバ５の第二名刺格納部５１でも良く、問わない。

次に、ユーザ管理サーバ３の動作例について説明する。ユーザ管理サーバ３は、名刺処理装置２から送信された検索要求に対して、突合情報または検索できなかった旨の情報を、名刺処理装置２に送信する。ユーザ管理サーバ３は、例えば、名刺処理装置２から送信された受付フラグを、当該受付フラグに対応する突合情報に対応付けて蓄積する。

次に、第一サーバ４の動作例について説明する。第一サーバ４は、名刺処理装置２から送信されたコードに対応する名刺情報を取得し、当該名刺情報を名刺処理装置２に送信する。また、第一サーバ４は、名刺処理装置２から送信されたコードに対応する名刺情報が検できなかった場合、コードに対応する名刺情報が存在しない旨の情報を名刺処理装置２に送信する。

次に、第二サーバ５の動作例について説明する。第二サーバ５は、名刺処理装置２から送信されたコードに対応する名刺情報を取得し、当該名刺情報を名刺処理装置２に送信する。また、第二サーバ５は、名刺処理装置２から送信されたコードに対応する名刺情報が検できなかった場合、コードに対応する名刺情報が存在しない旨の情報を名刺処理装置２に送信する。

以下、本実施の形態における名刺処理システムＡの具体的な動作例について説明する。

今、イベント会場の受付の場所に、図１１に示す名刺撮影装置１が設置されている、とする。

名刺撮影装置１の台座１３には、１３１の図柄が表出している。また、本具体例において、台座１３において、イベントに参加するユーザは、自分の名刺（例えば、１１０１）を、台座１３の図柄１３１が隠れるように置くことにより、当該ユーザの受け付けのための処理が完了する。なお、名刺１１０１の表面であり、カメラ１１による撮影面は、１１０２である。

また、ユーザ管理サーバ３の突合情報格納部３１には、図１２に示す突合情報管理表が格納されている、とする。突合情報管理表は、名刺撮影装置１が設置されている会場で行われるイベントへの申込者の申込者情報を管理する表である。つまり、ここでの突合情報管理表の突合情報は、申込者情報である。突合情報管理表は、例えば、イベントへの参加希望の各ユーザが、ユーザ管理サーバ３に対して登録した情報である申込者情報を管理する表である。なお、突合情報管理表が突合情報格納部３１に蓄積される過程は問わない。

突合情報管理表は、「ＩＤ」、「氏名」、「会社名」、「部署・役職」、「電話番号」、「メールアドレス」、「受付フラグ」等の属性値を有する１以上のレコードを管理する表である。「ＩＤ」はレコードを識別する情報である。「部署・役職」は部署名および役職名の少なくとも一方、「電話番号」は、固定電話または携帯電話の電話番号、「メールアドレス」はメールアドレスである。「受付フラグ」は、名刺処理装置２による受付処理が完了したか否かを示すフラグである。なお、受付処理は、上述した名刺処理の一例である。受付フラグ「０」は受付処理が完了していないことを示し、「１」は受付処理が完了していることを示す。

また、第一サーバ４の第一名刺格納部４１には、図１３に示す第一名刺情報管理表が格納されている、とする。第一名刺情報管理表は、「名刺ＩＤ」、「名刺画像」、「氏名」、「会社名」、「部署・役職」、「電話番号」、および「メールアドレス」等の属性値を有する１以上の名刺情報を管理する表である。「名刺ＩＤ」は名刺を識別する情報、「名刺画像」は名刺の画像であり、ここでは、名刺の画像のファイル名である。ここでは、名刺情報管理表の各レコードが、それぞれ、名刺情報に対応しており、「名刺ＩＤ」以外の属性値が、ここでは、名刺情報であるとする。

また、第二サーバ５の第二名刺格納部５１には、図１３とは異なる構造の第二名刺情報管理表が格納されている、とする。第二名刺情報管理表は、例えば、名刺画像を有さない、とする。第二名刺情報管理表は、例えば、いわゆるオンライン名刺の情報を管理する表である、とする。

また、名刺処理装置２の学習器格納部２１１には、図１４に示す学習器管理表が格納されている、とする。学習器管理表は、１以上の学習器を管理する表である。学習器管理表は、「ＩＤ」「項目識別子」「学習器識別子」を有する１以上のレコードを有する。「ＩＤ」はレコードを識別する情報である。「学習器識別子」は、学習器の識別子である。また、学習器識別子で識別される学習器も、学習器格納部２１１に格納されている、とする。なお、学習器格納部２１１の各学習器は、ここでは、名刺処理装置２の学習手段２３４１による処理により構築された情報である、とする。

さらに、名刺処理装置２の格納部２１には、特定の図柄（ここでは、網掛けの矩形の形状）を中央に含む画像であり、名刺撮影装置１のカメラ１１が台座１３を撮影した時の静止画である。また、かかる図柄は、図１１の１３１である。

以上の状況において、以下の４つの具体例について説明する。具体例１は、名刺格納部を参照せずに、文字認識処理の結果を用いて、受付処理が行われる場合である。具体例２は、コードを用いて、名刺情報管理表を参照して、受付処理が行われる場合である。具体例３は、コードを用いずに、名刺情報管理表を参照して、受付処理が行われる場合である。具体例４は、ユーザ端末に表示されたコードを用いて、名刺情報管理表を参照して、受付処理が行われる場合である。

なお、イベント会場の受け付け場所に設置された名刺撮影装置１のカメラ１１の電源はＯＮの状態であり、カメラ１１は、動画の撮影を続けている、とする。そして、名刺撮影装置１の画像送付部１４は、カメラ１１が取得している動画を名刺処理装置２に送信し続ける、とする。

そして、名刺処理装置２の動画受付部２２１は、名刺撮影装置１から動画を受信し続ける。次に、静止画取得部２３１は、受信された動画を構成するフレームのうち、例えば、６０枚に１枚のフレームを取得する。そして、台座１３の上に名刺等が置かれる前までは、判断部２３２は、取得されたフレームが特定の図柄（ここでは、網掛けの矩形の形状）が含まれる、と判断する。次に、変数「判断結果」に「条件を満たさない」旨の情報を代入する。次に、領域検出部２３３は、判断結果が「条件を満たさない」旨の情報であるので、次のフレームの処理に移行する。

（具体例１）
以上の名刺処理装置２の処理の後、ユーザ「Ａ山一郎」は、イベントに参加するために、イベント会場まで行き、その受け付け場所に設置された名刺撮影装置１の台座１３に、自分の名刺（図１５（ａ））を、名刺撮影装置１の台座１３の上に置いた、とする。

次に、名刺撮影装置１のカメラ１１は、ユーザ「Ａ山一郎」の名刺が置かれた台座１３を撮影した動画を取得し、画像送付部１４は当該動画を名刺処理装置２に送信する。

次に、名刺処理装置２の動画受付部２２１は、名刺撮影装置１から動画を受信する。次に、静止画取得部２３１は、６０枚に１枚の割合で、フレームを取得していく。

次に、判断部２３２は、ユーザ「Ａ山一郎」の名刺により図柄１３１が隠れた台座１３を撮影したフレームに対して、上述した判断処理を行い、「条件を満たす」と判断する。

次に、領域検出部２３３は、当該フレームから名刺領域を検出し、当該名刺領域の画像を切り出す。次に、領域検出部２３３は、当該切り出した画像に対して、補正を行い、長方形の名刺画像を得る。

次に、コード検知手段２３４３は、補正後の当該名刺画像がコードを含まない、と判断する。なお、ここでのコードは、ＱＲコードである。

次に、項目取得部２３４は、補正後の当該名刺画像に対して、以下のように、認識処理を行う。

つまり、予測手段２３４２は、図１４の学習器管理表を参照し、１番目の項目識別子「氏名」と対になる学習器識別子「学習器１」を取得し、当該「学習器１」の学習器を学習器格納部２１１から取得する。次に、予測手段２３４２は、名刺画像と学習器１とを用いて、機械学習の予測処理を行い、１番目の項目識別子「氏名」に対応する項目情報が表れている領域の領域情報（ｘ_１１，ｙ_１１）（ｘ_１２，ｙ_１２）を取得する。次に、項目取得手段２３４４は、領域情報（ｘ_１１，ｙ_１１）（ｘ_１２，ｙ_１２）により特定される領域に対して、文字認識処理を行い、名刺画像の中に記載されている文字列「Ａ山一郎」を取得し、項目識別子「氏名」と対にして、図示しないバッファに一時蓄積する。

また、予測手段２３４２は、図１４の学習器管理表を参照し、２番目の項目識別子「会社名」と対になる学習器識別子「学習器２」を取得し、当該「学習器２」の学習器を学習器格納部２１１から取得する。次に、予測手段２３４２は、名刺画像と学習器１とを用いて、機械学習の予測処理を行い、２番目の項目識別子「会社名」に対応する項目情報が表れている領域の領域情報（ｘ_２１，ｙ_２１）（ｘ_２２，ｙ_２２）を取得する。次に、項目取得手段２３４４は、領域情報（ｘ_２１，ｙ_２１）（ｘ_２２，ｙ_２２）により特定される領域に対して、文字認識処理を行い、名刺画像の中に記載されている文字列「ＡＢ工業株式会社」を取得し、項目識別子「会社名」と対にして、図示しないバッファに一時蓄積する。

同様に、予測手段２３４２は、名刺画像の中に記載されている電話番号の文字列「０９０・・・」を項目識別子「電話番号」と対にして、図示しないバッファに一時蓄積する。さらに、予測手段２３４２は、名刺画像の中に記載されているメールアドレスの文字列「ａｙａｍａ＠ａｂ・・・」を項目識別子「メールアドレス」と対にして、図示しないバッファに一時蓄積する。

なお、予測手段２３４２は、４つの各項目情報を取得する処理を並列に行う、とする。

次に、突合部２３５は、図示しないバッファに一時蓄積された４つの項目情報を用いて、突合処理を行う。つまり、突合部２３５は、図示しないバッファから４つの項目情報「＜氏名＞Ａ山一郎 ＜会社名＞ＡＢ工業株式会社 ＜電話番号＞０９０・・・ ＜メールアドレス＞ａｙａｍａ＠ａｂ・・・」を取得する。次に、突合部２３５は、４つの項目情報を用いて、図１２の突合情報管理表を検索する。そして、かかる４つの項目情報を含む突合情報を検索できたので、突合部２３５は、突合条件を満たす、と判断する。

次に、名刺処理部２３６は、以下のように名刺処理を行う。つまり、名刺処理部２３６は、検索した突合情報に対にして、受付フラグ「１」を蓄積する。かかる処理により、図１２の突合情報管理表の「ＩＤ＝１」の受付フラグが「１」に書き換わる。また、名刺処理部２３６は、例えば、取得された名刺画像、４つの項目情報「＜氏名＞Ａ山一郎 ＜会社名＞ＡＢ工業株式会社 ＜電話番号＞０９０・・・ ＜メールアドレス＞ａｙａｍａ＠ａｂ・・・」の全部または一部を用いて名刺情報を構成し、当該名刺情報を、名刺管理表（例えば、図１３の第一名刺管理表）に蓄積しても良い。かかる名刺情報の蓄積処理も、名刺処理である、と考えても良い。

（具体例２）
ユーザ「Ａ山一郎」のすぐ後ろで受け付けの手続きを待っていたユーザ「Ｂ川花子」は、名刺撮影装置１の台座１３に、自分の名刺（図１５（ｂ））を、名刺撮影装置１の台座１３の上に置いた、とする。なお、図１５（ｂ）のＱＲコードには、名刺ＩＤ「ＮＡ１００１」が埋め込まれている、とする。

次に、名刺撮影装置１のカメラ１１は、ユーザ「Ｂ川花子」の名刺が置かれた台座１３を撮影した動画を取得し、画像送付部１４は当該動画を名刺処理装置２に送信する。

次に、名刺処理装置２の動画受付部２２１は、名刺撮影装置１から動画を受信する。次に、静止画取得部２３１は、６０枚に１枚の割合で、フレームを取得していく。

次に、判断部２３２は、ユーザ「Ｂ川花子」の名刺により図柄１３１が隠れた台座１３を撮影したフレームに対して、上述した判断処理を行い、「条件を満たす」と判断する。

次に、領域検出部２３３は、当該フレームから名刺領域を検出し、当該名刺領域の画像を切り出す。次に、領域検出部２３３は、当該切り出した画像に対して、補正を行い、長方形の名刺画像を得る。

次に、コード検知手段２３４３は、補正後の当該名刺画像がコードを含む、と判断する。そして、コード検知手段２３４３等は、以下のようにコード処理を行う。つまり、コード検知手段２３４３は、当該名刺画像のＱＲコードから名刺ＩＤ「ＮＡ１００１」を取得する。

次に、項目取得手段２３４４は、取得された名刺ＩＤ「ＮＡ１００１」をキーとして、第一サーバ４の第一名刺管理表を検索し、名刺情報を取得する。なお、名刺情報は、「＜氏名＞Ｂ川花子 ＜会社名＞ＢＣＤ株式会社 ＜電話番号＞０９０・・・ ＜メールアドレス＞ｂｋａｗａ＠ｂｃ・・・」を含む。

また、項目取得手段２３４４は、第一名刺管理表の検索処理と並行して、取得された名刺ＩＤ「ＮＡ１００１」をキーとして、第二サーバ５の第二名刺管理表を検索する。しかし、項目取得手段２３４４は、第二名刺管理表には、名刺ＩＤ「ＮＡ１００１」に対応する名刺情報が格納されていなかった、とする。

次に、突合部２３５は、取得された４つの項目情報を用いて、突合処理を行う。つまり、突合部２３５は、４つの項目情報「＜氏名＞Ｂ川花子 ＜会社名＞ＢＣＤ株式会社 ＜電話番号＞０９０・・・ ＜メールアドレス＞ｂｋａｗａ＠ｂｃ・・・」を用いて、図１２の突合情報管理表を検索する。そして、かかる４つの項目情報を含む突合情報を検索できたので、突合部２３５は、突合条件を満たす、と判断する。

次に、名刺処理部２３６は、検索した突合情報に対にして、受付フラグ「１」を蓄積する。かかる処理により、図１２の突合情報管理表の「ＩＤ＝２」の受付フラグが「１」に書き換わる。

（具体例３）
ユーザ「Ｂ川花子」のすぐ後ろで受け付けの手続きを待っていたユーザ「Ｅ沢純一」は、名刺撮影装置１の台座１３に、自分の名刺（図１５（ｃ））を、名刺撮影装置１の台座１３の上に置いた、とする。

次に、名刺撮影装置１のカメラ１１は、ユーザ「Ｅ沢純一」の名刺が置かれた台座１３を撮影した動画を取得し、画像送付部１４は当該動画を名刺処理装置２に送信する。

次に、名刺処理装置２の動画受付部２２１は、名刺撮影装置１から動画を受信する。次に、静止画取得部２３１は、６０枚に１枚の割合で、フレームを取得していく。

次に、判断部２３２は、ユーザ「Ｅ沢純一」の名刺により図柄１３１が隠れた台座１３を撮影したフレームに対して、上述した判断処理を行い、「条件を満たす」と判断する。

次に、領域検出部２３３は、当該フレームから名刺領域を検出し、当該名刺領域の画像を切り出す。次に、領域検出部２３３は、当該切り出した画像に対して、補正を行い、長方形の名刺画像を得る。

次に、予測手段２３４２は、図１４の学習器管理表を参照し、１番目の項目識別子「氏名」と対になる学習器識別子「学習器１」を取得し、当該「学習器１」の学習器を学習器格納部２１１から取得する。次に、予測手段２３４２は、名刺画像と学習器１とを用いて、機械学習の予測処理を行い、１番目の項目識別子「氏名」に対応する項目情報が表れている領域の領域情報（ｘ_１１，ｙ_１１）（ｘ_１２，ｙ_１２）を取得する。次に、項目取得手段２３４４は、領域情報（ｘ_１１，ｙ_１１）（ｘ_１２，ｙ_１２）により特定される領域に対して、文字認識処理を行い、名刺画像の中に記載されている文字列「Ｅ沢純一」を取得する。

次に、項目取得手段２３４４は、取得された氏名「Ｅ沢純一」をキーとして、第二サーバ５の第二名刺管理表を検索し、名刺情報を取得する。なお、名刺情報は、例えば、「＜氏名＞Ｅ沢純一 ＜会社名＞ＥＦ電気株式会社 ＜電話番号＞０９０・・・ ＜メールアドレス＞ｊ＿ｅｚａｗａ＠ｅｆ・・・」を含む。

次に、突合部２３５は、取得された４つの項目情報を用いて、突合処理を行う。つまり、突合部２３５は、４つの項目情報、「＜氏名＞Ｅ沢純一 ＜会社名＞ＥＦ電気株式会社 ＜電話番号＞０９０・・・ ＜メールアドレス＞ｊ＿ｅｚａｗａ＠ｅｆ・・・」を用いて、図１２の突合情報管理表を検索する。そして、かかる４つの項目情報を含む突合情報を検索できたので、突合部２３５は、突合条件を満たす、と判断する。

次に、名刺処理部２３６は、以下のように名刺処理を行う。つまり、名刺処理部２３６は、検索した突合情報に対にして、受付フラグ「１」を蓄積する。かかる処理により、図１２の突合情報管理表の「ＩＤ＝５」の受付フラグが「１」に書き換わる。

（具体例４）
ユーザ「Ｅ沢純一」のすぐ後ろで受け付けの手続きを待っていたユーザ「Ｃ川博美」は、名刺撮影装置１の台座１３に、自分の名刺を識別するコードが表示された端末（図１５（ｄ））を、名刺撮影装置１の台座１３の上に置いた、とする。なお、図１５（ｄ）のＱＲコードには、名刺ＩＤ「ＮＡ１００２」が埋め込まれている、とする。また、図１５（ｄ）のＱＲコード等の、端末に表示されたコードであり、名刺情報を特定できるコードも、名刺であると解釈しても良いし、そのように解釈しなくても良い。

次に、名刺撮影装置１のカメラ１１は、ユーザ「Ｃ川博美」の名刺が置かれた台座１３を撮影した動画を取得し、画像送付部１４は当該動画を名刺処理装置２に送信する。

次に、名刺処理装置２の動画受付部２２１は、名刺撮影装置１から動画を受信する。次に、静止画取得部２３１は、６０枚に１枚の割合で、フレームを取得していく。

次に、判断部２３２は、ユーザ「Ｃ川博美」の名刺により図柄１３１が隠れた台座１３を撮影したフレームに対して、上述した判断処理を行い、「条件を満たす」と判断する。

次に、コード検知手段２３４３は、フレームの中にコードを含む、と判断する。そして、コード検知手段２３４３等は、以下のようにコード処理を行う。つまり、コード検知手段２３４３は、当該フレームのＱＲコードから名刺ＩＤ「ＮＡ１００２」を取得する。

次に、項目取得手段２３４４は、取得された名刺ＩＤ「ＮＡ１００２」をキーとして、第一サーバ４の第一名刺管理表を検索し、名刺情報を取得する。なお、名刺情報は、「＜氏名＞Ｃ川博美 ＜会社名＞ＣＤ商事株式会社 ＜電話番号＞０８０・・・ ＜メールアドレス＞ｃｇａｗａ＠ｃｄ・・・」を含む。

次に、突合部２３５は、取得された４つの項目情報を用いて、突合処理を行う。つまり、突合部２３５は、４つの項目情報「＜氏名＞Ｃ川博美 ＜会社名＞ＣＤ商事株式会社 ＜電話番号＞０８０・・・ ＜メールアドレス＞ｃｇａｗａ＠ｃｄ・・・」を用いて、図１２の突合情報管理表を検索する。そして、かかる４つの項目情報を含む突合情報を検索できたので、突合部２３５は、突合条件を満たす、と判断する。

次に、名刺処理部２３６は、検索した突合情報に対にして、受付フラグ「１」を蓄積する。かかる処理により、図１２の突合情報管理表の「ＩＤ＝３」の受付フラグが「１」に書き換わる。

以上、本実施の形態によれば、１または２以上の名刺が撮影された動画から取得した情報に基づいて取得した１以上の各名刺情報を用いた処理ができる。

また、本実施の形態によれば、名刺が撮影された動画から取得した情報を用いて、突合情報と突合し、突合結果を用いた処理ができる。例えば、イベントの受け付けの処理が容易にできる。

また、本実施の形態によれば、各種の処理の高速化によって、名刺が撮影された動画から取得した情報に基づいて、高速に名刺情報を取得できる。

また、本実施の形態によれば、名刺に印刷されたコードを用いて、当該名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができる。

また、本実施の形態によれば、機械学習の予測処理により、項目情報の領域情報を取得し、使用することにより、名刺が撮影された動画から、精度高く名刺情報を取得できる。

さらに、本実施の形態によれば、名刺を撮影し、当該撮影して得た動画を名刺処理装置２に渡せる名刺撮影装置１を提供できる。

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における名刺処理装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、１または２以上の各名刺を、順次、撮影した動画を受け付ける動画受付部と、前記動画から１または２以上の静止画を、順次、取得する静止画取得部と、前記静止画取得部が取得した１または２以上の各静止画から名刺領域を検出する領域検出部と、前記領域検出部が検出した１または２以上の各名刺領域の情報から１以上の項目情報を取得する項目取得部と、前記項目取得部が取得した１以上の項目情報を有する１または２以上の名刺情報を用いた処理である名刺処理を行う名刺処理部として機能させるためのプログラムである。

また、図１６は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の名刺処理装置２等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１６は、このコンピュータシステム３００の概観図であり、図１７は、システム３００のブロック図である。

図１６において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

図１７において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３００に、上述した実施の形態の名刺処理装置２等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３０１に、上述した実施の形態の名刺処理装置２等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる名刺処理装置２は、名刺が撮影された動画から取得した情報に基づいて取得した名刺情報を用いた処理ができるという効果を有し、名刺処理装置等として有用である。

１ 名刺撮影装置
２ 名刺処理装置
３ ユーザ管理サーバ
４ 第一サーバ
５ 第二サーバ
１１ カメラ
１２ 固定部
１３ 台座
１４ 画像送付部
２１ 格納部
２２ 受付部
２３ 処理部
３１ 突合情報格納部
４１ 第一名刺格納部
５１ 第二名刺格納部
２１１ 学習器格納部
２２１ 動画受付部
２３１ 静止画取得部
２３２ 判断部
２３３ 領域検出部
２３４ 項目取得部
２３５ 突合部
２３６ 名刺処理部
２３４１ 学習手段
２３４２ 予測手段
２３４３ コード検知手段
２３４４ 項目取得手段

Claims (16)

1. １または２以上の各名刺を、順次、撮影した動画を受け付ける動画受付部と、
   前記動画から１または２以上の静止画を、順次、取得する静止画取得部と、
   前記静止画取得部が取得した１または２以上の各静止画から名刺領域を検出する領域検出部と、
   前記領域検出部が検出した１または２以上の各名刺領域の情報から１以上の項目情報を取得する項目取得部と、
   前記項目取得部が取得した１以上の項目情報を有する１または２以上の名刺情報を用いた処理である名刺処理を行う名刺処理部とを具備する名刺処理装置。
2. ユーザごとの１以上の項目情報を有する１以上の突合情報が格納されている突合情報格納部を参照し、前記項目取得部が取得した１以上の項目情報に対応する突合情報が存在するか否かを判断する突合部をさらに具備し、
   前記名刺処理部は、
   前記突合部が存在すると判断した場合のみ、前記名刺情報を用いた名刺処理を行う、請求項１記載の名刺処理装置。
3. 前記動画を構成する静止画が名刺検出条件を満たすか否かを判断する判断部をさらに具備し、
   前記領域検出部は、
   前記判断部が前記名刺検出条件を満たすと判断した場合に、前記名刺検出条件を満たす前記静止画から前記名刺領域を検出する、請求項１または請求項２記載の名刺処理装置。
4. 前記名刺検出条件は、静止画の中に特定の図柄、特定の文字、または特定の色を有さないことを含む、請求項３記載の名刺処理装置。
5. 前記静止画取得部と、前記領域検出部と、前記項目取得部の各々が行う処理のうち、２以上の処理を並列に行う、請求項１から請求項４いずれか一項に記載の名刺処理装置。
6. 前記項目取得部は、
   前記領域検出部が検出した一の名刺領域から２以上の各項目情報を取得する処理を並行して行う、請求項１から請求項５いずれか一項に記載の名刺処理装置。
7. 前記静止画取得部は、
   前記動画が有するＮ（Ｎは２以上の自然数）の静止画からＮより少ない静止画を取得する、請求項１から請求項６いずれか一項に記載の名刺処理装置。
8. 前記項目取得部は、
   前記領域検出部が検出した前記名刺領域からコードを検知するコード検知手段と、
   前記コードに対応する名刺情報に含まれる１以上の項目情報を、１以上の名刺情報が格納されている第一名刺格納部から取得する項目取得手段とを具備し、
   前記名刺処理部は、
   前記項目取得部が取得した前記１以上の項目情報を有する名刺情報を用いた名刺処理を行う、請求項１から請求項７いずれか一項に記載の名刺処理装置。
9. １以上の名刺情報が格納されている第一名刺格納部と、１以上の名刺情報が格納されている第二名刺格納部を含む２以上の名刺データベースにアクセス可能であり、
   前記項目取得手段は、
   前記コードを用いて前記第一名刺格納部を検索し、当該コードに対応する名刺情報に含まれる１以上の項目情報を取得する、または前記コードを用いて前記第二名刺格納部を検索し、当該コードに対応する名刺情報に含まれる１以上の項目情報を取得する、請求項８記載の名刺処理装置。
10. ユーザごとの１以上の項目情報を有する１以上の突合情報が格納されている突合情報格納部を参照し、前記項目取得部が取得した１以上の項目情報に対応する突合情報が存在するか否かを判断する突合処理を行う突合部をさらに具備し、
    前記項目取得部は、
    前記領域検出部が検出した前記名刺領域からコードを検知するコード検知手段と、
    前記コードに対応する名刺情報に含まれる１以上の項目情報を、１以上の名刺情報が格納されている第一名刺格納部から取得する項目取得手段とを具備し、
    前記項目取得部は、
    前記領域検出部が検出した名刺領域に表出している１以上の項目情報を取得する処理を行い、
    前記突合部は、
    前記コードに基づいて取得された前記１以上の項目情報を用いて前記突合処理を行い、かつ前記名刺領域に表出している前記１以上の項目情報を用いて前記突合処理を行い、
    かつ、前記コードに基づいて前記１以上の項目情報を取得し、当該１以上の項目情報を用いて前記突合処理を行うこと、および前記名刺領域に表出している前記１以上の項目情報を取得し、当該１以上の項目情報を用いて前記突合処理を行うことを、並列して行い、
    前記名刺処理部は、
    前記突合部が、最初に、存在すると判断した場合に、前記名刺情報を用いた名刺処理を行う、請求項１記載の名刺処理装置。
11. 前記項目取得部は、
    名刺画像と当該名刺画像に含まれる項目情報の領域を特定する領域情報とを有する２以上の教師データを用いて、機械学習の学習処理により構成された学習器と、前記領域検出部が検出した前記名刺領域の画像情報とを用いて、機械学習の予測処理により、前記項目情報の領域情報を取得する予測手段と、
    前記予測手段が取得した前記領域情報が特定する領域から、前記項目情報を取得する項目取得手段とを具備する、請求項１から請求項１０いずれか一項に記載の名刺処理装置。
12. 前記名刺処理部は、
    受け付けを完了する処理を行う、請求項１から請求項１１いずれか一項に記載の名刺処理装置。
13. ２以上の各名刺を、順次、撮影し、動画を取得するカメラと、
    前記カメラが取得した前記動画を、請求項１から請求項１２いずれか一項に記載の名刺処理装置に渡す画像送付部とを具備する名刺撮影装置。
14. 前記カメラに正体する位置に設置された台座であり、予め決められた図柄または文字または色が表出した台座をさらに具備する請求項１３記載の名刺撮影装置。
15. 動画受付部と、静止画取得部と、領域検出部と、項目取得部と、名刺処理部とにより実現される名刺処理方法であって、
    前記動画受付部が、１または２以上の各名刺を、順次、撮影した動画を受け付ける動画受付ステップと、
    前記静止画取得部が、前記動画から１または２以上の静止画を、順次、取得する静止画取得ステップと、
    前記領域検出部が、前記静止画取得ステップで取得された１または２以上の各静止画から名刺領域を検出する領域検出ステップと、
    前記項目取得部が、前記領域検出ステップで検出された１または２以上の各名刺領域の情報から１以上の項目情報を取得する項目取得ステップと、
    前記名刺処理部が、前記項目取得ステップで取得された１以上の項目情報を有する１または２以上の名刺情報を用いた処理である名刺処理を行う名刺処理ステップとを具備する名刺処理方法。
16. コンピュータを、
    １または２以上の各名刺を、順次、撮影した動画を受け付ける動画受付部と、
    前記動画から１または２以上の静止画を、順次、取得する静止画取得部と、
    前記静止画取得部が取得した１または２以上の各静止画から名刺領域を検出する領域検出部と、
    前記領域検出部が検出した１または２以上の各名刺領域の情報から１以上の項目情報を取得する項目取得部と、
    前記項目取得部が取得した１以上の項目情報を有する１または２以上の名刺情報を用いた処理である名刺処理を行う名刺処理部として機能させるためのプログラム。

Images