JP2017126267A - 画像処理システム、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】環境の変化によらず、重送を正しく検出することが可能な重送検出装置、重送検出方法及び制御プログラムを提供する。
【解決手段】画像処理システム１は、基準画像を投影する画像投影装置２００と、基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像生成装置１００を有し、画像生成装置は、少なくとも基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部１２２と、二次元画像データから三次元計測用パラメータを用いて平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部１２４と、複数の三次元画像データに基づいて三次元平面データを生成する三次元平面データ生成部１２５と、三次元平面データに基づいて三次元計測用パラメータを補正する補正部１２６を有する。
【選択図】図２Ｂ

Description

本開示は、画像処理システム、画像処理方法及びコンピュータプログラムに関し、特に、二次元画像から三次元計測用パラメータを用いて三次元画像を生成する画像処理システム、画像処理方法及びコンピュータプログラムに関する。

近年、ＥＣ（Electronic Commerce）サイト、オークションサイト等において、立体的な形状を有する商品が出品される場合に、サイトの閲覧者が商品の形状を把握し易いように、商品の画像として三次元画像が掲載されることがある。商品の出品者は、例えば、所定の投影画像を投影するプロジェクタと、その投影画像が投影された商品を撮像するカメラを用いることにより、商品の三次元画像を作成することができる。

一般に、二次元画像から三次元画像を作成するためには、プロジェクタの光学系パラメータ、カメラの光学系パラメータ、及び、プロジェクタの光学系とカメラの光学系の位置関係を表すパラメータ等の三次元計測用パラメータが必要となる。しかしながら、プロジェクタ及びカメラの使用状況（装置の個体差、配置位置、使用温度等）に応じた適切な三次元計測用パラメータを使用しなければ、適切な三次元画像を得ることができない可能性がある。

所定のパターンを投影する投影手段と、所定のパターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置が開示されている。この三次元計測装置は、撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された所定のパターンの撮像画素面上の位置情報を検出する。そして、三次元計測装置は、検出した位置情報を用いて、計測時前に予め検出した投影画素面上の所定のパターンと計測時における投影画素面上の所定のパターンとの対応関係を算出し、算出した対応関係を用いて計測誤差を校正する（特許文献１を参照）。

また、三次元計測を行うために計測対象物に対してパターンを投影する投影装置の温度依存パラメータを決定する情報処理装置が開示されている。この情報処理装置は、投影装置の温度依存パラメータを温度の関数とした関係を保持し、温度入力手段によって入力された投影装置の温度と、保持しておいた関係とに基づき、投影装置の温度依存パラメータを決定する（特許文献２を参照）。

特開２０１３−４０８４８号公報 特開２０１５−１１１１０１号公報

二次元画像から三次元画像を生成する画像処理システムでは、三次元計測用パラメータを使用状況に応じてより簡便に補正できることが求められている。

本発明の目的は、三次元計測用パラメータを使用状況に応じてより簡便に補正し、ユーザの利便性を向上させることができる画像処理システム、画像処理方法及びコンピュータプログラムを提供することにある。

本実施形態の一側面に係る画像処理システムは、基準画像を投影する画像投影装置と、基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像生成装置と、を有し、画像生成装置は、少なくとも基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部と、二次元画像データから、三次元計測用パラメータを用いて、平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部と、生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成する三次元平面データ生成部と、三次元平面データに基づいて、三次元計測用パラメータを補正する補正部と、を有する。

本実施形態の他の側面に係る画像処理システムは、基準画像を投影する画像投影装置と、基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像生成装置と、画像生成装置と通信する情報処理装置と、を有し、画像生成装置は、少なくとも基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部を有し、情報処理装置は、画像生成装置から二次元画像データを受信する受信部と、二次元画像データから、三次元計測用パラメータを用いて、平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部と、生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成する三次元平面データ生成部と、三次元平面データに基づいて、三次元計測用パラメータを補正する補正部と、補正した三次元計測用パラメータを画像生成装置に送信する送信部と、を有する。

本実施形態のさらに他の側面に係る画像処理システムは、基準画像を投影する画像投影装置と、基準画像が投影された物体を撮像する画像生成装置と、三次元計測用パラメータを用いて三次元画像を生成する情報処理装置と、を有し、画像生成装置は、少なくとも基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部を有し、情報処理装置は、画像生成装置から二次元画像データを受信する受信部と、二次元画像データから、三次元計測用パラメータを用いて、平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部と、生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成する三次元平面データ生成部と、三次元平面データに基づいて、三次元計測用パラメータを補正する補正部と、を有する。

また、本実施形態の一側面に係る画像処理方法は、基準画像を投影する画像投影装置と、基準画像が投影された物体を撮像する画像生成装置と、を有し、三次元計測用パラメータを用いて三次元画像を生成する画像処理システムにおける画像処理方法であって、少なくとも基準画像が投影された平面を撮像した二次元画像データを取得し、二次元画像データから、三次元計測用パラメータを用いて、平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成し、生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成し、三次元平面データに基づいて、三次元計測用パラメータを補正する、ことを含む。

また、本実施形態の一側面に係るコンピュータプログラムは、基準画像を投影する画像投影装置を有し、基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像処理システムが有するコンピュータのコンピュータプログラムであって、少なくとも基準画像が投影された平面を撮像した二次元画像データから、三次元計測用パラメータを用いて、平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成し、生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成し、三次元平面データに基づいて、三次元計測用パラメータを補正する、ことをコンピュータに実行させる。

本発明によれば、画像処理システム、画像処理方法及びコンピュータプログラムは、三次元計測用パラメータを使用状況に応じてより簡便に補正し、ユーザの利便性を向上させることが可能となる。

実施形態に従った画像処理システム１の概略構成を示す図である。 基準画像の一例を示す模式図である。 基準画像を画像生成装置１００が撮像する様子を示す模式図である。 画像生成装置１００のハードウェア構成図である。 第１記憶装置１１０及び第１ＣＰＵ１２０の概略構成を示す図である。 画像投影装置２００のハードウェア構成図である。 画像生成装置１００による初期処理の動作を示すフローチャートである。 三次元画像データについて説明するための模式図である。 三次元平面データについて説明するための模式図である。 補正処理の動作の例を示すフローチャートである。 他の実施形態に係る画像生成装置１３０のハードウェア構成図である。 処理回路１４０の概略構成を示す図である。 他の実施形態に係る画像処理システム２の概略構成を示す図である。 情報処理装置６００のハードウェア構成図である。 第３記憶装置６１０及び第３ＣＰＵ６２０の概略構成を示す図である。 他の実施形態に係る情報処理装置６３０のハードウェア構成図である。 第３処理回路６４０の概略構成を示す図である。

以下、本開示の一側面に係る画像処理システム、画像処理方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像生成装置１００、画像投影装置２００、載置台３００、設置台４００及び支持部材５００等を有する。

画像生成装置１００は、載置台３００に載置された対象物体の上方に配置され、画像投影装置２００により基準画像が投影された対象物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する装置である。画像生成装置１００は、例えばカメラ等を有する多機能携帯電話（いわゆるスマートフォン）、タブレットＰＣ（Personal Computer）、携帯情報端末等である。画像生成装置１００が撮像する物体は、例えば立体的な３次元の形状を有する物体である。

画像投影装置２００は、載置台３００に載置された対象物体の上方に配置され、載置台３００の載置面（対象物体）に向けて基準画像を投影する装置であり、例えばプロジェクタである。

載置台３００は、画像生成装置１００が撮像する対象物体を載置する台である。載置台３００の載置面は平面を有する。

設置台４００は、画像生成装置１００を設置する台である。設置台４００は、台座４０１、接続部材４０２及び設置部材４０３からなるコの字形状を有する。台座４０１は、平面形状を有し、ネジ等により載置台３００の所定位置３０１に取り付けられる。なお、台座４０１は、所定位置３０１に取り付けられずに、単に載置されていてもよい。接続部材４０２は、平面形状を有し、台座４０１から鉛直方向上方に向けて伸びている。設置部材４０３は、平面形状を有し、接続部材４０２の鉛直方向上方の端部に、台座４０１が取り付けられている方向と同じ方向に向けて取り付けられている。画像生成装置１００は、載置台３００に載置された対象物体を撮像できるように、即ち撮像方向が鉛直方向下方となり且つ撮像範囲に設置部材４０３が含まれないように設置部材４０３上に載置される。

支持部材５００は、画像投影装置２００を支持する部材である。支持部材５００は、Ｌ字形状を有し、ネジ等により載置台３００の所定位置３０２に取り付けられ、載置台３００から鉛直方向上方に向けて伸びている。支持部材５００の、載置台３００に取り付けられる端部と反対側の端部には、ネジ等により画像投影装置２００が取り付けられる。画像投影装置２００は、載置台３００に載置された対象物体に向けて投影画像を投影できるように、即ち投影方向が鉛直方向下方となるように支持部材５００に取り付けられる。

図１に示すように、設置台４００及び支持部材５００がそれぞれ載置台３００の予め定められた所定位置３０１及び３０２に配置されることにより、画像生成装置１００、画像投影装置２００及び載置台３００の配置位置は固定される。これにより、画像生成装置１００の撮像装置の光学中心及び撮像方向と、画像投影装置２００の光学中心及び投影方向と、載置台３００の載置面との位置関係は略一定に保たれる。

なお、支持部材５００は、載置台３００に取り付けられるのではなく、設置台４００に取り付けられてもよい。また、画像生成装置１００と設置台４００は、例えばオーバーヘッド型のスキャナ装置等を用いて一体に構成されてもよい。

図２Ａは、画像投影装置２００により投影される基準画像の一例を示す模式図である。

図２Ａに示すように、基準画像７００は、縞模様の画像である。なお、基準画像は、格子模様等の縞模様以外の画像でもよい。なお、後述の実施形態では、基準画像として縞模様の画像を用いる場合を例に説明する。

図２Ｂは、画像投影装置２００により投影された基準画像７００を画像生成装置１００が撮像する様子を示す模式図である。

図２Ｂに示すように、画像投影装置２００が基準画像７００を投影する載置台３００上の位置と、画像生成装置１００が撮像する載置台３００上の位置が略一致するように、画像生成装置１００及び画像投影装置２００の光学中心及び投影方向は設定されている。これにより、画像生成装置１００は、画像投影装置２００が投影した基準画像７００の全体を撮像することができる。

図３は、画像生成装置１００のハードウェア構成図である。図２に示すように、画像生成装置１００は、第１通信回路１０１、撮像装置１０２、入力装置１０３、表示装置１０４、第１記憶装置１１０及び第１ＣＰＵ（Central Processing Unit）１２０等を有する。以下、画像生成装置１００の各部について詳細に説明する。

第１通信回路１０１は、無線信号を送受信するアンテナと、無線ＬＡＮ（Local Area Network）等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インターフェース回路とを有する。第１通信回路１０１は、不図示のアクセスポイントを介して画像投影装置２００と通信し、第１ＣＰＵ１２０から出力された情報を画像投影装置２００に送信し、画像投影装置２００から受信した情報を第１ＣＰＵ１２０に出力する。なお、第１通信回路１０１は、アクセスポイントを介さずに画像投影装置２００と直接通信してもよい。また、第１通信回路１０１は、近距離無線通信により、画像投影装置２００と通信してもよい。

撮像装置１０２は、対象物体を撮像する撮像センサを有する。この撮像センサは、撮像素子と、撮像素子に対象物体の像を結像する光学系を備える。各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。撮像素子は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。撮像装置１０２は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、入力画像と称する）を生成する。この入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。撮像装置１０２は、生成した入力画像を第１ＣＰＵ１２０に出力する。

入力装置１０３は、タッチパッド等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を第１ＣＰＵ１２０に出力する。

表示装置１０４は、液晶、有機ＥＬ（Electro−Luminescence）等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第１ＣＰＵ１２０から出力された画像データを表示する。

第１記憶装置１１０は、ＲＡＭ（Random Access Memory）等の揮発性半導体メモリ、ＲＯＭ（Read Only Memory）等の不揮発性半導体メモリ等を有する。また、第１記憶装置１１０には、画像生成装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル、各種画像等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１１０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。

また、第１記憶装置１１０には、二次元画像から三次元画像を生成するための三次元計測用パラメータの初期値が記憶される。三次元計測用パラメータの詳細については後述する。三次元計測用パラメータの初期値は、画像処理システム１の製品出荷時又は使用環境への設置時等に予め計測され、設定される。

第１ＣＰＵ１２０は、第１通信回路１０１、撮像装置１０２、入力装置１０３、表示装置１０４及び第１記憶装置１１０と接続され、これらの各部を制御する。第１ＣＰＵ１２０は、第１通信回路１０１を介した画像投影装置２００とのデータ送受信制御、撮像装置１０２の画像生成制御、入力装置１０３の入力制御、表示装置１０４の表示制御、第１記憶装置１１０の制御等を行う。

図４は、第１記憶装置１１０及び第１ＣＰＵ１２０の概略構成を示す図である。

図４に示すように、第１記憶装置１１０には、投影制御プログラム１１１、二次元画像データ取得プログラム１１２、エッジ画素抽出プログラム１１３、三次元画像データ生成プログラム１１４、三次元平面データ生成プログラム１１５、補正プログラム１１６及び三次元画像生成プログラム１１７等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第１ＣＰＵ１２０は、第１記憶装置１１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第１ＣＰＵ１２０は、投影制御部１２１、二次元画像データ取得部１２２、エッジ画素抽出部１２３、三次元画像データ生成部１２４、三次元平面データ生成部１２５、補正部１２６及び三次元画像生成部１２７として機能する。

図５は、画像投影装置２００のハードウェア構成図である。図５に示すように、画像投影装置２００は、第２通信回路２０１、投影装置２０２、第２記憶装置２１０及び第２ＣＰＵ２２０等を有する。以下、画像投影装置２００の各部について詳細に説明する。

第２通信回路２０１は、画像生成装置１００の第１通信回路１０１と同様のインターフェース回路を有する。第２通信回路２０１は、画像生成装置１００と通信し、第２ＣＰＵ２２０から出力された情報を画像生成装置１００に送信し、画像生成装置１００から受信した情報を第２ＣＰＵ２２０に出力する。

投影装置２０２は、光源、光学系等を備え、第２ＣＰＵ２２０から出力された画像を載置台３００の載置面（対象物体）に向けて投影する。

第２記憶装置２１０は、ＲＡＭ等の揮発性半導体メモリ、ＲＯＭ等の不揮発性半導体メモリ等を有する。また、第２記憶装置２１０には、画像投影装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル、各種画像等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶装置２１０にインストールされてもよい。

第２ＣＰＵ２２０は、第２通信回路２０１、投影装置２０２及び第２記憶装置２１０と接続され、これらの各部を制御する。第２ＣＰＵ２２０は、第２通信回路２０１を介した画像生成装置１００とのデータ送受信制御、投影装置２０２の画像投影制御、第２記憶装置２１０の制御等を行う。

図６は、画像生成装置１００による初期処理の動作を示すフローチャートである。以下、図６に示したフローチャートを参照しつつ、初期処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１１０に記憶されているプログラムに基づき主に第１ＣＰＵ１２０により画像生成装置１００の各要素と協働して実行される。

第１ＣＰＵ１２０は、位相シフト法に従って３次元計測を行う。そのために、投影制御部１２１は、まず、載置台３００の載置面（対象物体）に向けて基準画像を投影することを要求するための投影制御信号を第１通信回路１０１を介して画像投影装置２００に送信する（ステップＳ１０１）。投影制御信号には、基準画像が含まれる。

画像投影装置２００の第２ＣＰＵ２２０は、第２通信回路２０１を介して投影制御信号を受信すると、投影制御信号に含まれる基準画像を第２記憶装置２１０に記憶し、投影装置２０２に投影させる。なお、画像投影装置２００の第２記憶装置２１０に基準画像を予め記憶しておき、第１ＣＰＵ１２０は、基準画像の代わりに基準画像の識別情報を含む投影制御信号を送信してもよい。

次に、撮像装置１０２は、少なくとも基準画像が投影された平面を撮像した二次元画像データを生成し、第１ＣＰＵ１２０に出力する。二次元画像データ取得部１２２は、二次元画像データを取得し、第１記憶装置１１０に記憶する（ステップＳ１０２）。例えば、二次元画像データは、対象物体が載置されていない載置台３００の撮像面を撮像した画像である。なお、二次元画像データには、少なくとも基準画像が投影された平面が含まれていればよく、載置台３００の載置面の一部が含まれていれば、載置台３００に載置された対象物体も含まれていてもよい。また、画像処理システム１は、載置台３００を有していなくてもよく、二次元画像データは、平面を有する机等を撮像した画像でもよい。

次に、エッジ画素抽出部１２３は、二次元画像データから水平方向及び垂直方向におけるエッジ画素を抽出する。エッジ画素抽出部１２３は、二次元画像データの水平方向及び垂直方向の何れかにおいてエッジ画素として抽出された画素からなる画像をエッジ画像として生成し、第１記憶装置１１０に記憶する（ステップＳ１０３）。

エッジ画素抽出部１２３は、二次元画像データ内の水平方向に隣接する各画素の画素値の差分を算出し、算出した差分の絶対値が閾値を越える場合、その画素をエッジ画素とする。また、エッジ画素抽出部１２３は、二次元画像データについて、垂直方向にも同様の処理を行い、エッジ画素を抽出する。

次に、三次元画像データ生成部１２４は、抽出された各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素をラベリングにより一つのグループとしてまとめる（ステップＳ１０４）。三次元画像データ生成部１２４は、水平方向、垂直方向又は斜め方向（８近傍）に相互に隣接するエッジ画素を連結していると判定する。なお、三次元画像データ生成部１２４は、水平方向又は垂直方向のみ（４近傍）に相互に隣接するエッジ画素を連結していると判定してもよい。

次に、三次元画像データ生成部１２４は、二次元画像データ内の各画素と、基準画像内の各画素との対応付けを実行する（ステップＳ１０５）。三次元画像データ生成部１２４は、二次元画像データ及び基準画像において、水平方向の一端側から順に、二次元画像データから抽出した各グループを基準画像内の縞模様（白色部分と黒色部分）の境界部分に対応させていく。次に三次元画像データ生成部１２４は、各グループの各画素について、二次元画像データの垂直方向の両端までの距離の比率を算出し、算出した比率が、基準画像の垂直方向の両端までの距離の比率と同一である、基準画像内の対応する境界部分の画素と対応付ける。

次に、三次元画像データ生成部１２４は、二次元画像データから、基準画像が投影された平面上の複数の画素を抽出する（ステップＳ１０６）。

対象物体の三次元画像を生成する利用者は、対象物体全体が画像生成装置１００によって撮像されるように、画像生成装置１００の画像読取領域の中央部に対象物体を載置する傾向にあり、画像読取領域の縁部の近傍に対象物体が載置される可能性は低い。したがって、画像生成装置１００の画像読取領域の縁部の近傍には、対象物体が載置されておらず、載置台３００（又は机）の載置面（平面）が写っている可能性が高い。そこで、三次元画像データ生成部１２４は、画像生成装置１００の画像読取領域の縁部の近傍領域に位置するエッジ画素を、基準画像が投影された平面上の画素として抽出する。近傍領域は、例えば二次元画像データの縁部から所定範囲内（例えば50mmに相当する距離内）に設定される。

なお、二次元画像データが、対象物体が載置されていない載置台３００を撮像した画像である場合、三次元画像データ生成部１２４は、エッジ画素抽出部１２３が抽出した全てのエッジ画素を、基準画像が投影された平面上の画素として抽出してもよい。このように、三次元画像データ生成部１２４は、エッジ画素抽出部１２３が抽出したエッジ画素の少なくとも一部を、基準画像が投影された平面上の複数の画素として使用する。

次に、三次元画像データ生成部１２４は、二次元画像データから、基準画像が投影された平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成し、第１記憶装置１１０に記憶する（ステップＳ１０７）。

三次元画像データ生成部１２４は、二次元画像データから、三次元計測用パラメータを用いて、三次元画像データを生成する。三次元計測用パラメータには、画像生成装置１００が有する撮像光学系の第１パラメータと、画像投影装置２００が有する投影光学系の第２パラメータと、撮像光学系と投影光学系の位置関係を表す第３パラメータとが含まれる。

以下では、三次元空間における三次元座標（即ち三次元世界座標）を(x,y,z)とし、撮像装置１０２の撮像面又は投影装置２０２の投影面上の二次元座標を(u,v)とする。撮像光学系の第１パラメータには、撮像光学系の焦点距離f_x,c,f_y,cと、主点c_x,c,c_y,cと、半径方向の歪み係数k_1,c,k_2,c,k_3,cと、円周方向の歪み係数p_1,c,p_2,cとが含まれる。同様に、投影光学系の第２パラメータには、投影光学系の焦点距離f_x,p,f_y,pと、主点c_x,p,c_y,pと、半径方向の歪み係数k_1,p,k_2,p,k_3,pと、円周方向の歪み係数p_1,p,p_2,pとが含まれる。また、撮像光学系と投影光学系の位置関係を表す第３パラメータには、並進ベクトルTと回転行列Rとが含まれる。なお、焦点距離f_x,c,f_y,c,f_x,p,f_y,pの単位は、撮像装置１０２の撮像面又は投影装置２０２の投影面上の画素数である。

撮像光学系について、レンズ歪みを考慮したピンホールカメラモデルにおいて、三次元空間における座標(x_c,y_c,z_c)と、撮像面における座標(u_c,v_c)との間には、以下の式（１）のような写像関係が成立する。

ここで、

である。式（３）のベクトルL_c=(x_c',y_c',1)は、撮像装置１０２の光学中心から、撮像面における座標(u_c,v_c)に対応する三次元空間内の点への方向を示すベクトルを表す。このベクトルL_cは、撮像光学系の第１パラメータを用いて式（１）を解くことにより算出される。

同様に、投影光学系について、三次元空間における座標(x_p,y_p,z_p)と、投影面における座標(u_p,v_p)との間には、以下の式（４）のような写像関係が成立する。

ここで、

である。式（６）のベクトルL_p=(x_p',y_p',1)は、投影装置２０２の光学中心から、投影面における座標(u_p,v_p)に対応する三次元空間内の点への方向を示すベクトルを表す。このベクトルL_pは、投影光学系の第２パラメータを用いて式（４）を解くことにより算出される。

図７は、三次元画像データについて説明するための模式図である。

図７において、領域７０１は載置台３００の載置面であり、s点７０２は載置面上の点である。また、c点７１１は撮像装置１０２の光学中心であり、平面７１２は投影装置２０２の撮像面であり、p点７２１は投影装置２０２の光学中心であり、平面７２２は投影装置２０２の投影面である。撮像面７１２上のs_c点７１３と、投影面７２２上のs_p点７２３とが、それぞれ載置面７０１上のs点７０２に対応している。図７において、s_c点７１３の撮像面上の二次元座標を(u_c,v_c)とし、s_p点７２３の投影面上の二次元座標を(u_p,v_v)とし、s点７０２の三次元空間における三次元座標を(x_c,y_c,z_c)(=(x_p,y_p,z_p))とする。

また、M_cは、撮像装置１０２の光学中心のc点７１１から撮像面７１２上のs_c点７１３を介して三次元空間におけるs点７０２へ向かうベクトルであり、m_cは、M_cの単位方向ベクトルである。一方、M_pは、投影装置２０２の光学中心のp点７２１から投影面７２２上のs_p点７２３を介して三次元空間におけるs点７０２へ向かうベクトルであり、m_pは、M_pの単位方向ベクトルである。

撮像装置１０２の光学中心から、撮像面上の点に対応する三次元空間内の点への方向を示すベクトルは式（３）により算出されるので、単位方向ベクトルm_cは、式（３）のベクトルL_cを用いて以下の式（７）により算出される。

一方、投影装置２０２の光学中心から、投影面上の点に対応する三次元空間内の点への方向を示すベクトルは式（６）により算出されるので、単位方向ベクトルm_cは、式（６）のベクトルL_pを用いて以下の式（８）により算出される。

Tは、撮像装置１０２の光学中心のc点７１１から投影装置２０２の光学中心のp点７２１へ向かう並進ベクトルであり、以下の式（９）により表される。

ここで、T_x,T_y,T_zは、それぞれ、撮像装置１０２の光学中心のc点７１１から投影装置２０２の光学中心のp点７２１への三次元座標におけるx方向、y方向,z方向の距離である。

Rは、撮像装置１０２の光軸を投影装置２０２の光軸に変換するための回転行列であり、以下の式（１０）により表される。

ここで、(α,β,γ)は、撮像装置１０２の光軸に対する投影装置２０２の光軸のオイラー角である。

式（６）のベクトルL_pは、投影装置２０２の光学中心p点７２１から投影装置２０２の光軸方向に見たベクトルを示す。一方、三次元画像データは、撮像装置１０２の光学中心c点７１１から撮像装置１０２の光軸方向に見た座標系で算出されるため、単位方向ベクトルm_pは、式（８）のように、撮像装置１０２における座標系にあわせて変換されている。

並進ベクトルTと、単位方向ベクトルm_cとがなす角度θ_cは、内積の関係から、以下の式（１１）により算出される。

同様に、並進ベクトルTの逆ベクトル-Tと、単位方向ベクトルm_pとがなす角度θ_pは、内積の関係から、以下の式（１２）により算出される。

そして、ベクトルM_cのスカラー量は、c点、p点、s点を頂点とする三角形に対して三角測量の原理を適用することによって、並進ベクトルT、角度θ_c、角度θ_pを用いて以下の式（１３）により算出される。

三次元画像データ生成部１２４は、基準画像が投影された平面上の複数の画素について、上記のようにして算出したM_cのスカラー量と単位方向ベクトルm_cから、三次元画像データを生成することができる。

次に、三次元平面データ生成部１２５は、三次元画像データ生成部１２４により生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成し、第１記憶装置１１０に記憶する（ステップＳ１０８）。

図８は、三次元平面データについて説明するための模式図である。

図８において、点８０１〜８１０は、それぞれ載置面７０１上の点に対応して算出された三次元空間上の点（三次元画像データ）である。三次元平面データ生成部１２５は、各三次元画像データ８０１〜８１０からの距離８１１〜８２０の総和が最小となる平面８３０を算出する。

三次元平面データ生成部１２５は、各三次元画像データ８０１〜８１０に対して最小二乗法を用いて平面８３０を算出する。算出される平面８３０は、以下の式（１４）で表される。

ここで、a,b,cは係数であり、各三次元画像データ８０１〜８１０と、算出する平面８３０との距離８１１〜８２０の二乗の和が最小となるように算出される。

次に、補正部１２６は、三次元平面データ生成部１２５により生成された三次元平面データと、三次元画像データ生成部１２４により生成された各三次元画像データとの距離の総和が所定値以下であるか否かを判定する（ステップＳ１０９）。

補正部１２６は、以下の式（１５）により、三次元平面データと各三次元画像データとの距離の総和Wを算出する。

ここで、(x_i,y_i,z_i)は、それぞれ三次元画像データ生成部１２４により生成された三次元画像データの三次元座標であり、nは、三次元画像データ生成部１２４により生成された三次元画像データの数である。

総和Wが小さい場合、平面を撮像した二次元画像データから三次元計測用パラメータを用いて算出した三次元画像データは、略平面上に分布していることになる。したがって、三次元計測用パラメータは、画像生成装置１００及び画像投影装置２００の使用状況に応じた適切な値になっていると考えられる。一方、総和Wが大きい場合、平面を撮像した二次元画像データから三次元計測用パラメータを用いて算出した三次元画像データは、平面上に分布していないことになる。したがって、三次元計測用パラメータは、適切な値になっていないと考えられる。

所定値は、工場出荷時に実際に平面を撮像して得られた三次元平面データと各三次元画像データとの距離の総和に基づいて設定される。所定値は、例えば工場出荷時に実際に平面を撮像して得られた三次元平面データと各三次元画像データとの距離の総和に１０００を乗じた値等に設定される。

距離の総和が所定値以下である場合、補正部１２６は、現在の三次元計測用パラメータが適切であると判定し、一連のステップを終了する。

一方、距離の総和が所定値より大きい場合、補正部１２６は、現在の三次元計測用パラメータが適切でないと判定して、補正処理を実行し（ステップＳ１１０）、一連のステップを終了する。補正部１２６は、補正処理において、三次元平面データに基づいて、三次元計測用パラメータを補正する。

図９は、補正処理の動作の例を示すフローチャートである。図９に示す動作のフローは、図６に示すフローチャートのステップＳ１１０において実行される。

まず、補正部１２６は、三次元計測用パラメータの中から補正するパラメータを選択する（ステップＳ２０１）。

補正部１２６は、補正するパラメータを一つずつ選択する。なお、補正部１２６は、補正するパラメータを複数まとめて選択してもよい。上記したように、三次元計測用パラメータには複数のパラメータが含まれており、全てのパラメータを同時に変更していくと、補正処理に係る処理時間が増大する可能性がある。そこで、補正部１２６は、選択したパラメータ毎にステップＳ２０２〜Ｓ２０９の処理を実行する。これにより、補正部１２６は、補正処理に係る処理時間を低減させることができる。

補正部１２６は、最初に、撮像光学系と投影光学系の位置関係を表す第３パラメータを選択する。そして、補正部１２６は、第３パラメータの補正が完了してから、撮像光学系の第１パラメータ及び投影光学系の第２パラメータを選択する。さらに、補正部１２６は、第１パラメータの内、レンズ歪みに関するパラメータである歪み係数k_1,c,k_2,c,k_3,c,p_1,c,p_2,cの補正が完了してから他のパラメータである焦点距離f_x,c,f_y,c及び主点c_x,c,c_y,cを選択する。同様に、補正部１２６は、第２パラメータの内、歪み係数k_1,p,k_2,p,k_3,p,p_1,p,p_2,pの補正が完了してから他のパラメータである焦点距離f_x,c,f_y,c及び主点c_x,c,c_y,cを選択する。

これにより、補正部１２６は、使用状況による影響を受けやすいパラメータを先に補正してから、使用状況による影響を受けにくいパラメータを補正することができる。即ち、補正部１２６は、使用状況による変動幅の大きいパラメータを先に補正してから、使用状況による変動幅の小さいパラメータを補正するので、三次元計測用パラメータを効率良く且つ精度良く補正することができる。

次に、補正部１２６は、選択したパラメータを変更する（ステップＳ２０２）。補正部１２６は、最急降下法、最小勾配法、共役勾配法等の公知の最適化問題の解法を利用して、三次元平面データと各三次元画像データとの距離の総和Wが最小となるように、選択したパラメータを変更していく。

次に、三次元画像データ生成部１２４は、二次元画像データから、基準画像が投影された平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する（ステップＳ２０３）。三次元画像データ生成部１２４は、二次元画像データから、変更後の三次元計測用パラメータを用いて、図６のステップＳ１０７と同様にして、三次元画像データを生成する。

次に、三次元平面データ生成部１２５は、生成された複数の三次元画像データに基づいて、三次元空間内の平面を表す三次元平面データを生成する（ステップＳ２０４）。三次元平面データ生成部１２５は、図６のステップＳ１０８と同様にして、三次元平面データを生成する。

次に、補正部１２６は、選択したパラメータについて、三次元平面データと各三次元画像データとの距離の総和が最小となるパラメータを検出できたか否かを判定する（ステップＳ２０５）。補正部１２６は、図６のステップＳ１０９と同様にして、三次元平面データと各三次元画像データとの距離の総和を算出し、総和が最小となるパラメータを検出できたか否かを判定する。

補正部１２６は、三次元平面データと各三次元画像データとの距離の総和が最小となるパラメータを検出できていない場合、処理をステップＳ２０２へ戻し、ステップＳ２０２〜Ｓ２０４の処理を繰り返す。

一方、補正部１２６は、三次元平面データと各三次元画像データとの距離の総和が最小となるパラメータを検出できた場合、その総和が所定値以下であるか否かを判定する（ステップＳ２０６）。

補正部１２６は、三次元平面データと各三次元画像データとの距離の総和が所定値以下である場合、三次元計測用パラメータの補正を完了することに決定する（ステップＳ２０７）。

このように、補正部１２６は、全ての三次元計測用パラメータを補正していなくても、三次元平面データと各三次元画像データとの距離の総和が所定値以下となった時点で補正処理を完了し、以後の補正処理を省略する。これにより、補正部１２６は、補正処理の高速化を図ることができる。

特に、上記したように、補正部１２６は、第３パラメータの補正が完了してから、撮像光学系の第１パラメータ及び投影光学系の第２パラメータを選択する。即ち、補正部１２６は、第３パラメータの補正により、三次元平面データと各三次元画像データとの距離の総和が所定値以下になった場合、第１パラメータ及び第２パラメータの補正を省略する。さらに、補正部１２６は、第１パラメータ及び第２パラメータについて、レンズ歪みに関するパラメータの補正が完了してから、他のパラメータを選択する。即ち、補正部１２６は、レンズ歪みに関するパラメータの補正により、三次元平面データと各三次元画像データとの距離の総和が所定値以下になった場合、他のパラメータの補正を省略する。補正部１２６は、変動幅の大きいパラメータから順に補正していくので、補正処理を短時間に完了させる可能性を向上させることができる。

次に、補正部１２６は、変更した三次元計測用パラメータを補正後の三次元計測用パラメータとして第１記憶装置１１０に記憶し（ステップＳ２０８）、一連のステップを終了する。

なお、補正後の三次元計測用パラメータは、三次元画像生成部１２７が三次元画像を生成する際に使用される。三次元画像生成部１２７は、二次元画像データ取得部１２２が取得した二次元画像データの全ての画素に対して、補正後の三次元計測用パラメータを用いて三次元画像データを生成することにより、三次元画像を生成する。

一方、補正部１２６は、三次元平面データと各三次元画像データとの距離の総和が所定値より大きい場合、ステップＳ２０１において全ての三次元計測用パラメータを選択したか否かを判定する（ステップＳ２０９）。

補正部１２６は、まだ選択していない三次元計測用パラメータが存在する場合、処理をステップＳ２０１へ戻し、ステップＳ２０１〜Ｓ２０８の処理を繰り返す。このように、補正部１２６は、三次元平面データと各三次元画像データとの距離の総和が最も小さくなるように三次元計測用パラメータを補正する。

一方、補正部１２６は、全ての三次元計測用パラメータを選択している場合、三次元計測用パラメータを補正しないことを決定し（ステップＳ２１０）、一連のステップを終了する。この場合、補正部１２６は、三次元計測用パラメータの補正に失敗したことを表示装置１０４を介して利用者に通知してもよい。このように、補正部１２６は、三次元平面データと各三次元画像データとの距離の総和の最小値が所定値より大きい場合、三次元計測用パラメータを補正しない。したがって、補正部１２６は、平面上の画素を抽出した領域に立体物が載置されている場合のように、現在の使用状況が補正に適していない場合、三次元計測用パラメータを補正しない。これにより、補正部１２６は、三次元計測用パラメータを誤って異常な値に変更してしまうことを抑制することができる。

なお、補正部１２６は、三次元平面データと各三次元画像データとの距離の総和が所定値以下とならなかった場合、その総和が最小となるパラメータの組合せになるように三次元計測用パラメータを補正してもよい。また、補正部１２６は、その総和が所定値以下とならなかった場合でも、その総和が所定値より大きい第２所定値以下となっている場合には、その総和が最小となるパラメータの組合せになるように三次元計測用パラメータを補正してもよい。

以上詳述したように、図６、９に示したフローチャートに従って動作することによって、画像処理システム１は、三次元画像データ及び三次元画像データから生成した三次元平面データに基づいて、三次元計測用パラメータを補正する。画像処理システム１は、寸法が定められた特定の校正用具、投影画像等を用いることなく三次元計測用パラメータを補正することができるため、手間のかかる校正作業をユーザに行わせることなく三次元計測用パラメータを補正することができる。したがって、画像処理システム１は、三次元計測用パラメータをより簡便に補正し、ユーザの利便性を向上させることが可能となった。

また、画像処理システム１は、画像生成装置１００及び画像投影装置２００の使用状況に応じた適切な三次元計測用パラメータを使用して三次元画像を取得できるようになり、三次元画像の復元性を向上させることが可能となった。これにより、画像処理システム１は、用紙の形状変化による撓み、遠近差による歪み等についても高精度に補正することが可能となり、光学文字認識（ＯＣＲ）等の高い画質が要求される処理に対しても三次元画像を使用することが可能となった。

図１０は、他の実施形態に係る画像生成装置１３０のハードウェア構成図である。

画像生成装置１３０は、画像生成装置１００が有する各部に加えて、処理回路１４０を有する。処理回路１４０は、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等であり、第１ＣＰＵ１２０の代わりに、初期処理及び補正処理を実行する。

図１１は、処理回路１４０の概略構成を示す図である。

処理回路１４０は、投影制御回路１４１、二次元画像データ取得回路１４２、エッジ画素抽出回路１４３、三次元画像データ生成回路１４４、三次元平面データ生成回路１４５、補正回路１４６及び三次元画像生成回路１４７等を有する。なお、これらの各部は、それぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

投影制御回路１４１は、投影制御部の一例であり、投影制御信号を第１通信回路１０１を介して画像投影装置２００に送信する。二次元画像データ取得回路１４２は、二次元画像データ取得部の一例であり、撮像装置１０２から二次元画像データを受信し、第１記憶装置１１０に記憶する。エッジ画素抽出回路１４３は、エッジ画素抽出部の一例であり、第１記憶装置１１０から二次元画像データを取得し、取得した二次元画像データからエッジ画像を生成し、第１記憶装置１１０に記憶する。

三次元画像データ生成回路１４４は、三次元画像データ生成部の一例であり、第１記憶装置１１０からエッジ画像を取得し、取得したエッジ画像から三次元画像データを生成し、第１記憶装置１１０に記憶する。三次元平面データ生成回路１４５は、三次元平面データ生成部の一例であり、第１記憶装置１１０から三次元画像データを取得し、取得した三次元画像データから三次元平面データを生成し、第１記憶装置１１０に記憶する。補正回路１４６は、補正部の一例であり、第１記憶装置１１０から三次元画像データ及び三次元平面データを取得し、取得した各データから三次元計測用パラメータを補正し、第１記憶装置１１０に記憶する。三次元画像生成回路１４７は、三次元画像生成部の一例であり、第１記憶装置１１０から二次元画像データ及び三次元計測用パラメータを取得し、取得したから各データから三次元画像を生成し、第１記憶装置１１０に記憶する。

以上詳述したように、画像生成装置１３０においても、画像生成装置１００と同様に、三次元計測用パラメータを使用状況に応じてより簡便に補正し、ユーザの利便性を向上させることが可能となった。

図１２は、他の実施形態に係る画像処理システム２の概略構成を示す図である。

画像処理システム２は、画像生成装置１００の代わりに、画像生成装置１５０を有し、さらに、情報処理装置６００を有する。

画像生成装置１５０の第１通信回路１０１は、さらに情報処理装置６００と通信する。また、画像生成装置１５０は、画像生成装置１００が有する各部の内、エッジ画素抽出部１２３、三次元画像データ生成部１２４、三次元平面データ生成部１２５及び補正部１２６を有さない。

図１３は、情報処理装置６００のハードウェア構成図である。

図１３に示すように、情報処理装置６００は、第３通信回路６０１、第３入力装置６０３、第３表示装置６０４、第３記憶装置６１０及び第３ＣＰＵ６２０等を有する。以下、情報処理装置６００の各部について詳細に説明する。

第３通信回路６０１は、画像生成装置１５０の第１通信回路１０１と同様のインターフェース回路を有する。第３通信回路６０１は、画像生成装置１５０と通信し、第３ＣＰＵ６２０から出力された情報を画像生成装置１５０に送信し、画像生成装置１５０から受信した情報を第３ＣＰＵ６２０に出力する。

第３入力装置６０３は、画像生成装置１５０の入力装置１０３と同様のインターフェース回路を有し、利用者の操作に応じた信号を第３ＣＰＵ６２０に出力する。

第３表示装置６０４は、画像生成装置１５０の表示装置１０４と同様のインターフェース回路を有し、第３ＣＰＵ６２０から出力された画像データを表示する。

第３記憶装置６１０は、ＲＡＭ等の揮発性半導体メモリ、ＲＯＭ等の不揮発性半導体メモリ等を有する。また、第３記憶装置６１０には、情報処理装置６００の各種処理に用いられるコンピュータプログラム、データベース、テーブル、各種画像等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第３記憶装置６１０にインストールされてもよい。

第３ＣＰＵ６２０は、第３通信回路６０１、第３入力装置６０３、第３表示装置６０４及び第３記憶装置６１０と接続され、これらの各部を制御する。第３ＣＰＵ６２０は、第３通信回路６０１を介した画像生成装置１５０とのデータ送受信制御、第３入力装置６０３の入力制御、第３表示装置６０４の表示制御、第３記憶装置６１０の制御等を行う。

図１４は、第３記憶装置６１０及び第３ＣＰＵ６２０の概略構成を示す図である。

図１４に示すように、第３記憶装置６１０には、受信プログラム６１２、第３エッジ画素抽出プログラム６１３、第３三次元画像データ生成プログラム６１４、第３三次元平面データ生成プログラム６１５、第３補正プログラム６１６及び送信プログラム６１７等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第３ＣＰＵ６２０は、第３記憶装置６１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第３ＣＰＵ６２０は、受信部６２２、第３エッジ画素抽出部６２３、第３三次元画像データ生成部６２４、第３三次元平面データ生成部６２５、第３補正部６２６及び送信部６２７として機能する。

画像処理システム２は、画像処理システム１と同様に、図６に示した初期処理及び図９に示した補正処理を実行する。但し、画像処理システム２では、画像生成装置１５０が初期処理のステップＳ１０１〜Ｓ１０２のみを実行し、情報処理装置６００が初期処理のステップＳ１０３〜Ｓ１１０及び補正処理のステップＳ２０１〜Ｓ２１０を実行する。

ステップＳ１０２において、画像生成装置１５０の二次元画像データ取得部１２２は、取得した二次元画像データを第１通信回路１０１を介して情報処理装置６００に送信する。一方、情報処理装置６００の受信部６２２は、画像生成装置１５０から第３通信回路６０１を介して二次元画像データを受信し、受信した二次元画像データを第３記憶装置６１０に記憶する。そして、情報処理装置６００の各部が、初期処理のステップＳ１０３〜Ｓ１１０及び補正処理のステップＳ２０１〜Ｓ２１０を実行し、送信部６２７は、補正した三次元計測用パラメータを第３通信回路６０１を介して画像生成装置１５０に送信する。画像生成装置１５０の三次元画像生成部１２７は、第１通信回路１０１を介して情報処理装置６００から受信した補正後の三次元計測用パラメータを用いて三次元画像を生成する。

以上詳述したように、画像処理システム２においても、画像処理システム１と同様に、三次元計測用パラメータを使用状況に応じてより簡便に補正し、ユーザの利便性を向上させることが可能となった。

また、画像処理システム２において、クラウドコンピューティングの形態でサービスを提供できるように、ネットワーク上に複数の情報処理装置６００を分散して配置し、各情報処理装置６００が協同して、初期処理、補正処理等を分担してもよい。これにより、画像処理システム２は、複数の画像生成装置１５０に対して、効率よく初期処理、補正処理を実行できる。

図１５は、他の実施形態に係る情報処理装置６３０のハードウェア構成図である。

情報処理装置６３０は、情報処理装置６００が有する各部に加えて、第３処理回路６４０を有する。第３処理回路６４０は、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等であり、第３ＣＰＵ６２０の代わりに、初期処理及び補正処理を実行する。

図１６は、第３処理回路６４０の概略構成を示す図である。第３処理回路６４０は、受信回路６４２、第３エッジ画素抽出回路６４３、第３三次元画像データ生成回路６４４、第３三次元平面データ生成回路６４５、第３補正回路６４６及び送信回路６４７等を有する。なお、これらの各部は、それぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

受信回路６４２は、画像生成装置１５０から第３通信回路６０１を介して二次元画像データを受信し、受信した二次元画像データを第３記憶装置６１０に記憶する。第３エッジ画素抽出回路６４３、第３三次元画像データ生成回路６４４、第３三次元平面データ生成回路６４５及び第３補正回路６４６は、画像生成装置１３０のエッジ画素抽出回路１４３、三次元画像データ生成回路１４４、三次元平面データ生成回路１４５及び補正回路１４６と同様に動作する。但し、各回路は、第３記憶装置６１０から各データを取得し、第３記憶装置６１０に各データを記憶する。送信回路６４７は、補正した三次元計測用パラメータを第３通信回路６０１を介して画像生成装置１５０に送信する。

以上詳述したように、情報処理装置６３０においても、情報処理装置６００と同様に、三次元計測用パラメータを使用状況に応じてより簡便に補正し、ユーザの利便性を向上させることが可能となった。

なお、画像処理システム２において、画像生成装置１５０の代わりに、情報処理装置６００が三次元計測用パラメータを用いて三次元画像を生成してもよい。その場合、画像生成装置１５０は三次元画像生成部１２７を有さず、情報処理装置６００が送信部６２７の代わりに三次元画像生成部を有する。そして、情報処理装置６００の三次元画像生成部は、画像生成装置１５０の二次元画像データ取得部１２２から二次元画像データを受信し、補正後の三次元計測用パラメータを用いて三次元画像を生成する。

同様に、情報処理装置６３０が三次元計測用パラメータを用いて三次元画像を生成してもよい。その場合、画像生成装置１３０は三次元画像生成回路１４７を有さず、情報処理装置６３０が送信回路６４７の代わりに三次元画像生成回路を有する。そして、情報処理装置６３０の三次元画像生成回路は、画像生成装置１３０の二次元画像データ取得回路１４２から二次元画像データを受信し、補正後の三次元計測用パラメータを用いて三次元画像を生成する。

これらの場合も、画像処理システム２は、三次元計測用パラメータを使用状況に応じてより簡便に補正し、ユーザの利便性を向上させることが可能となる。

１、２ 画像処理システム
１００、１３０、１５０ 画像生成装置
１２２ 二次元画像データ取得部
１２３ エッジ画素抽出部
１２４ 三次元画像データ生成部
１２５ 三次元平面データ生成部
１２６ 補正部
２００ 画像投影装置
６００、６３０ 情報処理装置
６２２ 受信部
６２３ 第３エッジ画素抽出部
６２４ 第３三次元画像データ生成部
６２５ 第３三次元平面データ生成部
６２６ 第３補正部
６２７ 送信部

Claims (10)

1. 基準画像を投影する画像投影装置と、
   前記基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像生成装置と、を有し、
   前記画像生成装置は、
   少なくとも前記基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部と、
   前記二次元画像データから、前記三次元計測用パラメータを用いて、前記平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部と、
   生成された前記複数の三次元画像データに基づいて、前記三次元空間内の平面を表す三次元平面データを生成する三次元平面データ生成部と、
   前記三次元平面データに基づいて、前記三次元計測用パラメータを補正する補正部と、を有する、
   ことを特徴とする画像処理システム。
2. 前記二次元画像データからエッジ画素を抽出するエッジ画素抽出部をさらに有し、
   前記三次元画像データ生成部は、前記エッジ画素の少なくとも一部を前記平面上の複数の画素として使用する、請求項１に記載の画像処理システム。
3. 前記補正部は、前記三次元平面データと前記三次元画像データのそれぞれとの距離の総和が最も小さくなるように前記三次元計測用パラメータを補正する、請求項１または２に記載の画像処理システム。
4. 前記補正部は、前記三次元平面データと前記三次元画像データのそれぞれとの距離の総和の最小値が所定値より大きい場合、前記三次元計測用パラメータを補正しない、請求項３に記載の画像処理システム。
5. 前記三次元計測用パラメータは、前記画像生成装置が有する撮像光学系の第１パラメータと、前記画像投影装置が有する投影光学系の第２パラメータと、前記撮像光学系と前記投影光学系の位置関係を表す第３パラメータとを含む、請求項４に記載の画像処理システム。
6. 前記補正部は、前記第３パラメータの補正により、前記平面と前記三次元画像データのそれぞれとの距離の総和が前記所定値以下になった場合、前記第１パラメータ及び前記第２パラメータの補正を省略する、請求項５に記載の画像処理システム。
7. 基準画像を投影する画像投影装置と、
   前記基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像生成装置と、
   前記画像生成装置と通信する情報処理装置と、を有し、
   前記画像生成装置は、少なくとも前記基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部を有し、
   前記情報処理装置は、
   前記画像生成装置から前記二次元画像データを受信する受信部と、
   前記二次元画像データから、前記三次元計測用パラメータを用いて、前記平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部と、
   生成された前記複数の三次元画像データに基づいて、前記三次元空間内の平面を表す三次元平面データを生成する三次元平面データ生成部と、
   前記三次元平面データに基づいて、前記三次元計測用パラメータを補正する補正部と、
   前記補正した三次元計測用パラメータを前記画像生成装置に送信する送信部と、を有する、
   ことを特徴とする画像処理システム。
8. 基準画像を投影する画像投影装置と、
   前記基準画像が投影された物体を撮像する画像生成装置と、
   三次元計測用パラメータを用いて三次元画像を生成する情報処理装置と、を有し、
   前記画像生成装置は、少なくとも前記基準画像が投影された平面を撮像した二次元画像データを取得する二次元画像データ取得部を有し、
   前記情報処理装置は、
   前記画像生成装置から前記二次元画像データを受信する受信部と、
   前記二次元画像データから、前記三次元計測用パラメータを用いて、前記平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成する三次元画像データ生成部と、
   生成された前記複数の三次元画像データに基づいて、前記三次元空間内の平面を表す三次元平面データを生成する三次元平面データ生成部と、
   前記三次元平面データに基づいて、前記三次元計測用パラメータを補正する補正部と、を有する、
   ことを特徴とする画像処理システム。
9. 基準画像を投影する画像投影装置と、前記基準画像が投影された物体を撮像する画像生成装置と、を有し、三次元計測用パラメータを用いて三次元画像を生成する画像処理システムにおける画像処理方法であって、
   少なくとも前記基準画像が投影された平面を撮像した二次元画像データを取得し、
   前記二次元画像データから、前記三次元計測用パラメータを用いて、前記平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成し、
   生成された前記複数の三次元画像データに基づいて、前記三次元空間内の平面を表す三次元平面データを生成し、
   前記三次元平面データに基づいて、前記三次元計測用パラメータを補正する、
   ことを含むことを特徴とする画像処理方法。
10. 基準画像を投影する画像投影装置を有し、前記基準画像が投影された物体を撮像し、三次元計測用パラメータを用いて三次元画像を生成する画像処理システムが有するコンピュータのコンピュータプログラムであって、
    少なくとも前記基準画像が投影された平面を撮像した二次元画像データから、前記三次元計測用パラメータを用いて、前記平面上の複数の画素に対応する三次元空間内の複数の三次元画像データを生成し、
    生成された前記複数の三次元画像データに基づいて、前記三次元空間内の平面を表す三次元平面データを生成し、
    前記三次元平面データに基づいて、前記三次元計測用パラメータを補正する、
    ことを前記コンピュータに実行させることを特徴とするコンピュータプログラム。

Images