JP2019144154A

JP2019144154A - 三次元計測装置

Info

Publication number: JP2019144154A
Application number: JP2018029615A
Authority: JP
Inventors: 佐藤　幸男; Yukio Sato; 幸男佐藤; 英人亀嶋; Hideto Kameshima; 裕志西尾; Hiroshi Nishio; 亘平池; Kohei Ike
Original assignee: SPACE VISION KK
Current assignee: SPACE VISION KK
Priority date: 2018-02-22
Filing date: 2018-02-22
Publication date: 2019-08-29
Anticipated expiration: 2038-02-22
Also published as: JP6793302B2

Abstract

【課題】被写体人物の顔位置を規定する機構を用いなくても、顔を適切な計測位置に容易に位置合わせできる三次元計測装置を提供する【解決手段】この装置は、開口部１２６及び１３６内の投光器から顔に構造化光を投光し、開口部１１２、１１４、１１６、１２２、１２４、１３２、１３４内のカメラで撮像し、得られた画像群を組み合わせて顔の三次元形状を計算する。この装置は、表示部１０２の左右の開口部１１２及び１１４内のカメラが撮像した画像を、顔が適切な計測位置にある時に目の像同士が一致する位置関係で重ね合わせて重ね合わせ画像を生成する。表示部１０２は重ね合わせ画像を表示する。人物の顔が適切な位置にないときは重ね合わせ画像内の顔画像は目等の部位が二重写しの不自然な顔画像になるが、適切な位置に来たときには自然に近い顔画像になる。人物は表示部１０２の画像を見ながら顔の位置を調整する。調整後、三次元計測を開始する。【選択図】図１

Description

本発明は、三次元計測装置に関する。

認証目的のために、顔の二次元画像の代わりに又はそれに加えて、顔の三次元形状を測定して利用する応用例が増えている。また、医療や美容分野、あるいは眼鏡等の顔に装着する器具の製作、調整等のために、顔の三次元形状を計測して利用するシステムも開発されている。このように顔の三次元形状計測は様々な分野に応用されつつある。

顔には、目、鼻、口のように顔のほぼ正面にあるパーツだけでなく、耳のように顔のほぼ側面にあるパーツや、顎の下側のように顔の下面にあるパーツなども含まれる。正面以外のパーツも含んだ顔の広い範囲の三次元形状を得るために、複数の三次元形状計測装置を用いて異なる複数の方向から顔の三次元計測を行い、それら複数の方向からの三次元計測結果を合成することが行われている（例えば特許文献１）。

異なる複数の方向からの三次元計測結果を合成する方式では、計測対象の顔は、それら各方向を担当する三次元形状計測装置の視野が重なる範囲に位置している必要がある。この要件を満たすために、特許文献１のシステムでは、左右２つの三次元形状計測装置に対する固定的な位置に被計測者が腰掛ける座席を設けることで、被計測者の顔がそれら２つの装置の視野が重なる範囲に位置することを保証する。

また、特許文献２には、人物のポートレート写真を適切に撮影するシステムにおいて、人物の顔がカメラに対して適切な位置や向きとなるようガイダンスを行う仕組みが開示されている。この仕組みでは、ステレオカメラ等で被写体の顔を撮像し、その顔のカメラからの距離や画面内での大きさ、画面内での位置の偏り等を求め、それらの情報からガイダンス情報を生成する。

特開２００５−１０６４９１号公報特開２００３−０４３２６３号公報

装置に対して固定された座席に被写体の人物を座らせることで顔の位置決めを行う方式は、システムの規模が大きくなってしまう。例えば、三次元計測装置を、小型の、例えば可搬型の装置として実装する場合、顔の位置決めにそのような方式を用いることは適切とはいえない。

本発明は、人物の顔の位置を拘束又は規定する座席等の外部機構を用いなくても、人物が自分の顔の位置を適切な計測位置に対して容易に位置合わせできるよう支援する装置を提供することを目的とする。

本発明の一つの側面で提供する三次元計測装置は、顔に対して三次元計測のための構造化光を前記顔に投光する投光器と、前記三次元計測のために前記顔をそれぞれ異なる位置から撮像する複数の三次元計測用のカメラと、を含み、前記三次元計測のための所定の計測位置に位置する前記構造化光が投光された顔を前記複数の三次元計測用のカメラが撮像した画像から、前記顔の三次元形状を求める三次元計測装置であって、異なる位置から前記顔を撮像する少なくとも２つの位置合わせ用カメラと、前記少なくとも２つの位置合わせ用カメラの撮像した画像を、それら各画像内の複数の基準位置同士が重なり合うよう重ね合わせて重ね合わせ画像を生成する重ね合わせ手段であって、前記複数の基準位置の各々は、前記顔が前記三次元計測のための所定の計測位置に位置するときに前記少なくとも２つの位置合わせ用カメラの撮像する画像上で前記顔の複数の基準部位の各々の像が存在する位置である、重ね合わせ手段と、前記重ね合わせ画像を表示する表示手段と、を含む。

この発明において、表示手段は、重ね合わせ画像に対して、上下及び左右の方向に関する顔の適切な位置の範囲を示すガイド枠を重ねて表示するようにしてもよい。

また、三次元計測装置は、少なくとも２つの位置合わせ用のカメラのうちの２つのカメラの撮像した２つの画像をそれら２つの画像内の複数の基準位置同士が重なり合うよう位置合わせした状態でのずらし量を０とした場合に、それら２つの画像の内の一方の画像を他方の画像に対してずらして、それら２つの画像上の顔の複数の基準部位の像同士が重なったときのずらし量τcを計算し、求めたずらし量τcが所定の閾値以下となった場合に、顔が所定の計測位置に位置していると判定する判定手段、を更に含んでもよい。

また本発明の別の側面に係る三次元計測装置は、顔に対して三次元計測のための構造化光を前記顔に投光する投光器と、前記三次元計測のために前記顔をそれぞれ異なる位置から撮像する複数の三次元計測用のカメラと、を含み、前記三次元計測のための所定の計測位置に位置する前記構造化光が投光された顔を前記複数の三次元計測用のカメラが撮像した画像から、前記顔の三次元形状を求める三次元計測装置であって、異なる位置から前記顔を撮像する２つの位置合わせ用カメラと、前記２つの位置合わせ用のカメラが撮像した２つの画像をそれら２つの画像内の複数の基準位置同士が重なり合うよう位置合わせした状態でのずらし量を０とした場合に、前記２つの画像の内の一方の画像を他方の画像に対してずらして、それら２つの画像上の前記顔の前記複数の基準部位の像同士が重なったときのずらし量τcを計算し、求めたずらし量τcが所定の閾値以下となった場合に、前記顔が前記所定の計測位置に位置していると判定する判定手段と、を含む。

また、三次元計測装置は、ずらし量τcが正値であるか負値であるかに応じて、所定の計測位置に顔を位置合わせするために顔を三次元計測装置に対して近づけるか遠ざけるかを案内する案内手段、を更に含んでいてもよい。

また判定手段は、一方の画像を他方の画像に対してずらしてそれら画像同士、又はそれら画像のうち複数の基準部位の像を含む特定の部分同士、の相関を計算し、その相関が最大となったときに２つの画像上の複数の基準部位の像同士が重なったとみなしてもよい。

また、三次元計測装置は、２つの計測手段のカメラの撮像した２つの画像をそれら２つの画像内の複数の基準位置同士が重なり合うように重ね合わせた重ね合わせ画像を表示する表示手段であって、重ね合わせ画像に対して、上下及び左右の方向に関する顔の適切な位置の範囲を示すガイド枠を重ねて表示する表示手段と、表示手段に表示される重ね合わせ画像内の顔の像がガイド枠に収まる位置まで顔を動かすことを促す第１の案内を人物に対して行い、第１の案内の後人物からの開始指示を受けると、顔を所定の計測位置に位置合わせするための案内を案内手段に実行させる制御手段、を更に含んでいてもよい。

本発明によれば、人物の顔の位置を拘束又は規定する座席等の外部機構を用いなくても、人物が自分の顔の位置を適切な計測位置に対して容易に位置合わせできるよう支援することができる。

実施形態の三次元顔計測装置の外観の斜視図である。実施形態の三次元顔計測装置の外観の正面図である。正面、左側、右側の計測ユニットの視野の重なりを模式的に示す図である。被写体人物の顔の位置と、正面左カメラの画像平面上でのその被写体人物の目の像の位置との関係を示す図である。被写体人物の顔の位置と、正面左カメラ及び正面右カメラの画像平面上でのその被写体人物の目の像の位置との関係を示す図である。正面左カメラ及び正面右カメラの画像における目の適切な位置を模式的に示す図である。正面左カメラ及び正面右カメラの画像同士を目の適切な位置が一致するように重ね合わせたガイド画像を模式的に示す図である。ガイド画像において、左右のカメラに由来する目の像の位置がほぼ一致した時の状態を模式的に示す図である。正面左カメラ及び正面右カメラの画像のうち一方を左右反転させ、目の適切な位置同士が一致するように重ね合わせた別のガイド画像を模式的に示す図である。実施形態の三次元顔計測装置の機能ブロック図である。実施形態の三次元顔計測装置が実行する処理の手順の一例を示す図である。上下及び左右方向についての顔の位置合わせの基準となるガイド枠をガイド画像に合成した画像の例を示す図である。正面右カメラが撮影した画像の両目付近の高さの輝度分布を例示する図である。正面左カメラが撮影した画像の両目付近の高さの輝度分布を例示する図である。正面左カメラ及び正面右カメラの画像の輝度分布の相関が最も大きくなった状態を例示する図である。変形例１の三次元顔計測装置の機能ブロック図である。

図１に本実施形態の三次元顔計測装置の外観の斜視図を、図２に正面図を示す。

この三次元顔計測装置（以下単に「装置」とも呼ぶ）は、平板形状であり、例えばそのサイズは横幅４０〜１００ｃｍ程度、縦３０〜７０ｃｍ程度、厚さ３〜７ｃｍ程度である（この数値はあくまで一例）。この装置は持ち運び可能であり、例えば壁掛け等の態様で使用場所に設置される。

この装置の正面の上部中央には表示部１０２が設けられており、その左右と下に照明部１０４、１０６、１０８が設けられている。照明部１０４〜１０８は、被写体の顔のテクスチャ画像を撮像する際に用いられる照明光を投射する。

また、表示部１０２の周囲近傍には、正面用の三次元計測ユニットのための３つの開口部１１２〜１１６が設けられている。

下側中央の照明部１０８の左右にある他より大きい開口部１２６及び１３６は、三次元計測のための構造化光（例えば空間コード化法のパターン光や光切断法のスリット光）を投光する投光器のために、装置の正面側の外板に設けられた開口である。開口部１２６及び１３６の奥の装置内部に、それぞれ投光器が設けられている。本実施形態では、被写体が表示部１０２を正面から見た状態で自分の顔を位置決めし、位置決めされた顔を計測する。それら投光器は、左右の開口部１２６及び１３６を介して、計測対象の顔に対し左右両側から、かつ顔を幾分下から上に見上げる向きに構造化光を投光する。これにより、構造化光が投射されない死角の部分を減らし、顔形状の特徴の１つである顎やその下側に構造化光が投射されるようにしている。

表示部１０２の左右の開口部１１２及び１１４と、下側の開口部１１６とは、三次元計測のためのカメラのための開口部である。それら開口部１１２〜１１６の各々の奥の装置内部には、撮像素子等を備えたカメラが設けられている。左右の開口部１１２及び１１４は、表示部１０２を挟んで左右対称の位置にあり、下側の開口部１１６はその左右対称の対称軸上に位置する。これらカメラは、各々、照明部１０４〜１０８の照明光や、開口部１２６及び１３６を介して投光器から構造化光が投影された顔を、対応する開口部１１２、１１４、１１６を介して撮像する。なお、開口部１１２〜１１６、１２６、１３６は、ほこり等が装置内部に入り込まないよう透明な保護板で覆われている（この点は、後述する開口部１２２、１２４及び１３２、１３４についても同様）。

開口部１１２及び１１６に対応するカメラ及び開口部１２６及び１３６に対応する構造化光投光器の組み合わせにより三次元計測が行われる。同様に、開口部１１４及び１１６に対応するカメラ及び開口部１２６及び１３６に対応する構造化光投光器の組み合わせにより三次元計測が行われる。これらにより、顔の中央から左右に少しずつずれた方向から顔を見たときの三次元形状がそれぞれ求められる。なお、更に開口部１１２及び１１４に対応する２つのカメラの組により三次元計測を行ってもよい。これら開口部１１２、１１４、及び１１６に設けられたカメラが、表示部１０２の正面にある顔をほぼ正面方向から三次元計測する計測ユニットを構成する。この計測ユニットのことを、正面計測ユニットと呼ぶ。

表示部１０２の左側の照明部１０６の下側の、投光器のある開口部１２６の両脇に、開口部１２２、１２４が設けられている。開口部１２２及び１２４の奥の装置内部には、それぞれ、撮像素子等を備えたカメラが設けられている。これらカメラは、開口部１２６及び１３６を介して投光器から構造化光が投影された顔を、それぞれ開口部１２２及び１２４を介して撮像する。これら開口部１２２及び１２４に対応する２つのカメラは、表示部１０２の正面にある顔を左下方から顔の中央部に向かって三次元計測する計測ユニットを構成する。この計測ユニットのことを、左側計測ユニットと呼ぶ。この計測ユニットにより、顎の左下側の形状を含む、被写体の顔の左側の形状が計測される。

同様に、表示部１０２の右側の照明部１０４の下側の、投光器のある開口部１３６の両脇に、２つの開口部１３２、１３４が設けられている。開口部１３２及び１３４の奥にはカメラがそれぞれ設けられている。これら開口部１３２及び１３４に対応する２つのカメラは、表示部１０２の正面にある顔を右下方から顔の中央部に向かって三次元計測する計測ユニットを構成する。この計測ユニットのことを、右側計測ユニットと呼ぶ。この計測ユニットにより、顎の右下側の形状を含む、被写体の顔の右側の形状が計測される。

この例では、左側計測ユニットと右側計測ユニットとは表示部１０２を挟んで左右対称の配置関係にあり、それぞれの視野も左右対称の関係にある。この装置は、正面計測ユニットにより求められる少なくとも２つの三次元形状データ（開口部１１２，１１６のカメラのペアに対応するものと、開口部１１４、１１６のカメラのペアに対応するものを含む）と、左側及び右側の計測ユニットがそれぞれ計測した三次元形状データと、を組み合わせることで、被写体の顔の三次元形状データを構成する。

この装置において被写体の顔の三次元形状を適切に計測するには、正面、左側、及び右側の計測ユニットの視野が重なる適切な位置に顔を位置合わせする必要がある。図３に模式的に示すように、正面計測ユニットのカメラＣＭの視野１５０（開口部１１２〜１１６の３つのカメラの平均的な視野）、左側計測ユニットのカメラＣＬの視野１５４（開口部１２２、１２４の２つのカメラの平均的な視野）、及び右側計測ユニット（開口部１３２、１３４の２つのカメラの平均的な視野）のカメラＣＲの視野１５２は、それぞれ表示部１０２の正面のある距離範囲で重なっている。３つの計測ユニットの視野１５０〜１５４が重なった範囲内の顔位置Ａに被写体の顔があれば、その顔は３つの計測ユニットのすべてで適切に三次元形状を計測できる。これに対し、３つの計測ユニットの視野１５０〜１５４が重なった範囲よりも装置に近い側の顔位置Ｘ、あるいは遠い側の顔位置Ｙに被写体の顔があると、顔の一部が３つの計測ユニットのうちの一以上の視野から外れてしまうため、適切な三次元計測結果が得られなくなる。

そこで、本実施形態では、被写体の顔の位置を固定する座席等の固定具を用いずに、被写体の人物自身が表示部１０２に表示される画像を見ながら自分の顔を動かして、適切な顔位置Ａに顔を位置合わせする。この位置合わせの支援のために、本実施形態では、表示部１０２の左右の開口部１１２及び１１４に対応する２つのカメラが撮像した画像を用いる。

本実施形態の位置合わせ支援の原理を説明する。

はじめに左側の開口部１１２に対応するカメラ１台のみの場合を考える。図４は被写体である人物の顔の両目EyeL, EyeRが、その左側のカメラ（Camera）Ｌの画像平面Image Plane上の点PL-L, PL-Rに投影されている様子を模式的に示す。これら点PL-L, PL-Rは、被写体の顔がカメラＬを含む計測システムに対して適切な顔位置Ａにあるときの両目EyeL, EyeRの画像平面上の投影位置である。カメラＬの焦点距離Focus及び画像中心Image Centerがあらかじめ分かっており、適切な顔位置Ａにおける両目EyeL, EyeRの三次元空間上での座標を定義すれば、適切な顔位置Ａでの両目EyeL, EyeRを画像平面上に投影した点PL-LおよびPL-Rの座標が計算できる。以下、この点PL-LおよびPL-Rのことを、（カメラＬの）画像平面上での目の適切な位置と呼ぶこととする。

しかし、両目EyeL，EyeRに対応するカメラＬの画像平面上での点が、適切な位置PL-L，PL-Rにあったとしても、それだけでは被写体の顔が適切な顔位置Ａにあるとは限らない。被写体の両目EyeLとEyeRとの間の距離は通常は未知であるので、現在の顔の位置が適切な顔位置Ａであるのか、顔位置Bのような適切でない位置であるのかは、カメラＬの画像のみでは分からない。

次に、図５を参照して、左側の開口部１１２に対応するカメラＬと右側の開口部１１４に対応するカメラＲの２台のカメラが存在している場合を考える。右側のカメラＲについても、被写体の顔が適切な顔位置Ａにあるときの画像平面上での目の適切な位置PR-L, PR-Rが計算できる。図５に示すとおり、適切な顔位置Ａ以外の別の顔位置、例えば顔位置B又はCに顔が存在する場合、両目EyeL及びEyeRのカメラＬ及びＲの画像平面上への投影点は、カメラＬの画像平面上の目の適切な位置PL-L及びPL-R、並びにカメラＲの画像平面上の目の適切な位置PR-L及びPR-Rのうちの１つ以上と一致しない。逆に、両目EyeL及びEyeRのカメラＬ及びＲの画像平面への投影点が、それら画像平面上での目の適切な位置PL−L，PL-R，PR-L及びPR-Rの全てと一致するのは、被写体の顔が顔位置Ａにあるときのみである。

以上のことから、カメラＬ及びＲの撮影した画像上での被写体の両目EyeL及びEyeRの位置（４つの投影点）が、適切な位置PL-L，PL-R，PR-L及びPR-Rの全てに一致するように顔の位置を調整することで、被写体の顔を適切な顔位置Ａに位置合わせできることが分かる。

そこで本実施形態では、顔の中で比較的認識しやすい両目EyeL及びEyeRを顔位置合わせのための基準部位として用い、カメラＬ及びＲの撮影した画像中での基準部位である両目の位置が適切な位置PL-L，PL-R，PR-L及びPR-Rに実質的に一致するか確認することで、顔が適切な位置Ａにあるかどうかを判定可能とする。各画像上の位置PL-L，PL-R，PR-L及びPR-Rは、顔が計測のための適切な顔位置Ａに位置するときに、カメラＬ及びＲの画像内で基準部位EyeL及びEyeRの像が位置する位置であり、これらの位置を基準位置とも呼ぶ。

一つの例では、カメラＬ及びＲの撮影した画像を表示部１０２に表示し、被写体の人物自身がその表示部１０２に表示された画像を確認しながら、あたかも“鏡を見ているように”自然に顔の位置合わせができるようにする。

図６はカメラＬの画像における目の適切な位置PL-L, PL-R、およびカメラＲの画像における目の適切な位置PR-L, PR-Rの模式図である。例えば、顔が右（Right）又は左（Left）に動くと、カメラＲ及びＬの画像内の顔の像は、その動きの向きと同じ方向に動く。一方、カメラＬとカメラＲはカメラの光軸方向が異なるため、顔を前（Front）又は後（Back）に移動させたときの画像上での顔位置の変化方向はカメラＬとカメラＲで逆向きとなる。例えば、顔が前方に移動すると、カメラＲの画像内の顔位置は右に移動し、カメラＬの画像内での顔位置は左に移動する。

ここでいう顔を動かす場合の「前後」の方向とは、表示部１０２を見ている被写体の人物から見た前及び後の方向である。また別観点からいえば、「前後」方向は、三次元顔計測装置（より厳密には表示部１０２）の正面の方向であり、「前」方向又は「前方」はその正面方向に沿って表示部１０２に近づく方向であり、「後ろ」方向又は「後方」はその正面方向に沿って表示部１０２から遠ざかる方向である。また上下方向、及び左右方向とは、表示部１０２を見ている被写体の人物からみて上下の方向、及び、左右の方向である。

さて、この例ではカメラＬの画像とカメラＲの画像を、図７のように目の適切な位置PL-L及びPR-Lと、PL-R及びPR-Rとが各々一致するように重ね合わせ、この重ね合わせた画像（ガイド画像と呼ぶ）を表示部１０２に表示する。

ここで重ね合わせた画像（ガイド画像）におけるPL-LおよびPL-Rの画像座標をPLとし、PR-LおよびPR-Rの画像座標をPRとする。顔が適切な顔位置Ａに存在しない場合、両目の位置はカメラＬのPL-L, PL-RおよびカメラＲのPR-L, PR-Rと一致しない。したがってこの場合、重ね合わせた画像においても図７のように両目の位置はPL及びPRと一致せず目が二重写しに見えるため、違和感の高い画像となる。一方、顔が適切な顔位置Ａに存在する場合は図８のように重ね合わせた画像上でも、カメラＬ及びＲの画像における左目及び右目がPLおよびPRにおいてそれぞれ重なり合うため、最も違和感が少ない画像となる。

以上をまとめると、この例ではまず２つのカメラＬ及びＲの撮影した画像を前述の通り重ね合わせた図７のような画像を表示部１０２に表示して被写体人物に提示する。次に被写体人物は提示された画像を見ながら顔を前後左右に動かし、図８のように両目が重なる最も違和感の少なくなる顔位置を探す。このようにして決定された顔位置が適切な顔位置Ａとなっている。

なお、より違和感の低い重ね合わせ画像を生成するため、元のカメラ画像に対して左右反転、回転、射影変換などの加工を行った後に重ね合わせを行ってもよい。

また、この例では図７に示したとおり、顔を前後方向に移動させるとカメラＬおよびカメラＲの画像上で左右逆方向に移動するので、重ね合わせた画像上での変化も大きいが、顔を左右方向に移動させた場合は両画像ともに同じ方向へ移動するため、重ね合わせた画像上の変化は比較的少ない。

しかし図９のようにカメラＬ及びカメラＲの画像のうちいずれか一方のみ左右反転するとこの関係性も逆転し、顔を左右方向に移動させた方が重ね合わせた画像上での変化が大きくなる。したがって顔位置の前後方向と左右方向のどちらを合わせることがより重要なのかにより画像の重ね合わせ時に元のカメラ画像の一方を左右反転するか否かを決めてもよい。または左右反転をする場合、しない場合の両方の重ね合わせ画像を同時に提示すれば前後、左右とも精密に合わせることができる。例えば表示部１０２の表示領域を第１及び第２の領域に二分割し、第１の領域には左右反転無しで重ね合わせた画像を、第２の領域には一方を左右反転して重ね合わせた画像を、それぞれ表示する構成とすればよい。

図１０に、この例における三次元顔計測装置の機能ブロック図を示す。これは、図１、図２に外観を示した装置の機能構成を例示するものである。

図１０において、正面左カメラ２１２及び正面右カメラ２１４は、それぞれ図１に示した表示部１０２の左側及び右側の開口部１１２及び１１４内のカメラである。また、正面下カメラ２１６は、表示部１０２の下側の開口部１１６内のカメラである。また、左側第１カメラ２２２及び左側第２カメラ２２４は、左側の投光器の開口部１２６の両脇にある２つの開口部１２２及び１２４内のカメラであり、右側第１カメラ２３２及び右側第２カメラ２３４は、右側の投光器の開口部１３６の両脇にある２つの開口部１３２及び１３４内のカメラである。

ガイド画像生成部３００は、正面左カメラ２１２及び正面右カメラ２１４が位置合わせモード時に撮像した画像から、顔の位置合わせのために表示部１０２に表示するガイド画像を生成する。ガイド画像は、最も単純な例では、正面左カメラ２１２の撮像した画像及び正面右カメラ２１４が撮像した画像を単に重ね合わせた画像である。なお、正面左カメラ２１２及び正面右カメラ２１４の画像を、射影変換等により共に正面方向から見た場合の画像へと変換し、重ね合わせることで、ガイド画像を生成してもよい。位置合わせモード時には、開口部１２６及び１３６内の投光器は三次元計測用の構造化光は投光せず、照明部１０４〜１０８が照明光を投光している状態で、正面左カメラ２１２及び正面右カメラ２１４が撮像を行う。

三次元顔形状構成部３０２は、計測モードにおける正面計測ユニット、左側計測ユニット、右側計測ユニットの各カメラの画像を組み合わせ、空間コード化法等の三次元計測アルゴリズムを適用することで三次元形状データを生成する。計測モードでは、開口部１２６及び１３６内の投光器から被写体の顔に構造化光が投影され、この状態の顔を各カメラ２１２、２１４、２１６、２２２、２２４、２３２、２３４が撮像する。そして、三次元顔形状構成部３０２は、正面左カメラ２１２と正面下カメラ２１６の画像の組から１つの三次元形状データを生成し、正面右カメラ２１４と正面下カメラ２１６の画像の組から１つの三次元形状データを生成する。また三次元顔形状構成部３０２は、左側第１カメラ２２２と左側第２カメラ２２４が撮像した画像の組から１つの三次元形状データを生成し、更に、右側第１カメラ２３２と右側第２カメラ２３４が撮像した画像の組から１つの三次元形状データを生成する。そして、三次元顔形状構成部３０２は、正面の３つのカメラの画像から求めた２つの三次元形状データと、左側のカメラのペアから求めた１つの三次元形状データと、右側のカメラのペアから求めた１つの三次元形状データとを組み合わせることで、顔の正面に加えて顎や耳なども含む顔の三次元形状データを構成する。ワールド座標系に対する各カメラ２１２〜２１６、２２２〜２２４、２３２〜２３４の個別の座標系の関係は既知なので、それら各カメラの個別の座標系での画像を、同一のワールド座標系に座標変換して三次元系計測アルゴリズムを適用することで、同じ座標系での三次元形状データが得られ、それら三次元形状データを合成すればよい。

計測制御部３０４は、被写体人物の三次元顔形状データを生成するために、この装置内の各機能要素を制御する。計測制御部３０４は、被写体人物の顔の計測を行う場合、まず位置合わせモードの処理を実行し、次に計測モードの処理を実行する。位置合わせモードでは、計測制御部３０４は、正面左カメラ２１２及び正面右カメラ２１４を制御してガイド画像のため撮像を行わせ、それら２つのカメラ２１２及び２１４が撮像した画像を合成してガイド画像を生成し、表示部１０２に表示させる。また、計測モードでは、計測制御部３０４は、開口部１２６及び１３６に設けられた投光器に構造化光を投光させ、各カメラ２１２〜２１６、２２２〜２２４、２３２〜２３４に撮像を実行させ、三次元顔形状構成部３０２にそれら各カメラの画像から三次元形状データを生成させる。

次に、図１１を参照して、本実施形態の三次元顔計測装置による顔形状計測の手順の一例を説明する。

この手順は、例えば被写体の人物等が当該装置に計測の開始を指示した際に始まる。この開始の指示は、例えば当該装置に設けられた計測開始ボタンを押下したり、音声で開始を指示したりすることで行えばよい（後者の場合、装置は、音声による計測開始指示を認識するために、マイクや指示内容に認識のためのソフトウエアを備える）。

処理が開始されると、まず計測制御部３０４は、位置合わせモードの制御を行う。すなわち、計測制御部３０４は、照明部１０４〜１０８を点灯させ（Ｓ１０）、正面左カメラ２１２及び正面右カメラ２１４に位置合わせモードでの撮像（すなわち構造化光を投光せずに撮像結果の動画を出力）を指示する。ガイド画像生成部３００は、正面左カメラ２１２及び正面右カメラ２１４のカメラの画像から上述のガイド画像を生成し、表示部１０２に表示する（Ｓ１２）。ガイド画像は例えば動画として表示部１０２に表示される。被写体人物は、表示部１０２に表示されたガイド画像を見ながら顔の位置を動かし、ガイド画像上で自分の顔の両目のブレがもっとも少ない、最も違和感の少ない画像状態となる位置を見つける。装置内に音声出力機構を設け、Ｓ１２の実行時に計測制御部３０４が「画面上で目が二重写しにならない位置に顔を動かしてください」等の案内音声を出力してもよい。あるいは、同様の案内を表示部１０２に文字として表示してもよい。計測制御部３０４は、被写体人物から三次元計測の開始が指示されるのを待つ（Ｓ１４）。

顔の位置合わせが完了すると、被写体人物は、当該装置に対して三次元計測の開始指示を音声又はボタン押下等により入力する。すると、Ｓ１４の判定結果がＹｅｓとなり、計測制御部３０４は計測モードに遷移する。計測モードでは、計測制御部３０４は、開口部１２６及び１３６に設けられた投光器に構造化光を投光させると共に、各カメラ２１２〜２１６、２２２〜２２４、２３２〜２３４に撮像を実行させる（Ｓ１６）。そして、三次元顔形状構成部３０２が、それらカメラが撮像した画像を、正面左カメラ２１２と正面下カメラ２１６とのペア、正面右カメラ２１４と正面下カメラ２１６とのペアといったペア毎に組み合わせて三次元計測アルゴリズムを適用する。これによりペア毎の三次元形状データが生成される。三次元顔形状構成部３０２は、それらペア毎の三次元形状データを合成することで、被写体人物の顔の三次元形状データを完成させる（Ｓ１８）。なお、三次元計測処理の中で、構造化光を投光せずに照明部１０４〜１０８を点灯させて撮影を行うことで、顔のテクスチャ画像を取得し、このテクスチャ画像から得たテクスチャ情報を三次元形状データと合成してもよい。

以上に説明したように、本実施形態では、表示部１０２に表示されたガイド画像上の両目の表示状態を被写体人物自身が見ながら、適切な顔位置に自分の顔を位置合わせすることができる。

以上では、ガイド画像の生成のために正面左カメラ２１２及び正面右カメラ２１４という２台のカメラを用いたが、ガイド画像の生成のために別の２台のカメラのペア（例えば左側第１カメラ２２２と右側第１カメラ２３２のペア等）を用いてもよい。また、３台以上のカメラを用いてガイド画像を生成してもよい。３台以上のカメラを用いる場合、ガイド画像生成部３００は、それぞれのカメラの画像平面における目の適切な位置PL-LとPR-L、PL-RとPR-R、がそれぞれ重なるように、それらカメラの画像を重ね合わせたガイド画像を生成し、表示部１０２に表示する。また、以上の例では、正面左カメラ２１２及び正面右カメラ２１４等のように三次元計測のために用いられるカメラを用いて位置合わせ用のガイド画像を生成したが、位置合わせ専用のカメラを別途設け、これら専用のカメラが撮影した画像からガイド画像を生成してもよい。

また、以上の例では、ガイド画像生成のために複数のカメラの画像を重ね合わせる際の基準として両目の適切な位置PL-L、PR-L、PL-R、PR-Rを用いたが、これは一例に過ぎない。この代わりに、又はこれに加えて、目以外の部位、例えば鼻や顎の輪郭等を重ね合わせの基準に用いてもよい。この場合、ガイド画像生成時の複数の画像の重ね合わせは、それら画像内のそれら複数の基準の部位の平均位置を一致させる方式、それら複数の基準部位の適切な位置が一致するようにそれら画像を射影変換等により変形してから重ね合わせる方式、等で行えばよい。画像の重ね合わせの際にそれら複数の基準点のすべてを同等に取り扱うのではなく、重要度に応じて重み付けを行ってもよい。例えば、画像間での同じ基準部位同士の位置ずれと重みとの積の総和が最も小さくなるようにそれら複数の画像を重ね合わせる等である。

また、上記実施形態において、表示部１０２に表示されるガイド画像に対して、顔の位置合わせのためのガイド表示を合成して表示してもよい。

例えば、図１２に示すように、ガイド画像生成部３００が、ガイド画像１７０内にガイド枠１７２を表示する。ガイド枠１７２は、標準的な大きさの顔が適切な顔位置Ａに位置するときの、ガイド画像１７０内の重ね合わされた顔画像の存在範囲よりも少し大きい範囲を囲む枠線である。被写体人物は、表示部１０２に表示されるガイド画像１７０内の、重ね合わされて二重写しになった顔画像がそのガイド枠１７２におおよそ収まるように自分の顔の位置を調整する。顔画像がガイド枠１７２にほぼ収まる状態となると、被写体の顔が、少なくとも左右及び上下方向についてある程度適切な範囲に位置することとなる。この後、被写体人物は、顔を表示部１０２に向かっておおよそ前又は後ろに動かし、更に必要であれば上下や左右方向にも顔の位置を微調整して、両目の部分の違和感が最も少なくなる位置を探す。

顔位置合わせの手順の一例として、第１段階で表示部１０２に表示される顔の画像がガイド枠１７２に収まるように被写体人物に顔の位置を調整させ、次に第２段階として、左右の正面左カメラ２１２及び正面右カメラ２１４の画像を重ね合わせたガイド画像による前後方向の顔位置合わせを実行させてもよい。この場合、第１段階では、正面左カメラ２１２及び正面右カメラ２１４の画像を重ね合わせたガイド画像の代わりに、正面下カメラ２１６の画像を表示部１０２に表示してもよい。そして、被写体の人物は、第１段階の位置合わせが完了した場合、その旨を三次元顔計測装置に音声等で通知し、この通知に応じて装置が第２段階のためのガイド画像を表示部１０２に表示するようにしてもよい。

この例では、ガイド枠１７２を基準とする位置合わせにより左右及び上下方向についてある程度正しい範囲に顔を位置決めしたあとは、前後方向の位置合わせに注力できるので、ガイド枠１７２がない場合よりも顔の位置合わせの作業が容易になる。

＜変形例１＞
上述の実施形態では、被写体の人物がガイド画像を見ながら自分の顔を動かし、適切に位置合わせできたかを判断した。これに対して、この変形例では、三次元顔計測装置が演算により被写体の顔の位置が適切であるかを判定する。また、顔の位置が適切な顔位置からずれている場合には、装置が顔をどちらに動かせばよいかを案内する。

以下に説明する手法は、左右（水平）方向及び上下方向については被写体の顔の位置が既に適切に位置合わせされていることを前提とする。この前提のもとで、前後方向（装置に対して近づく又は遠ざかる方向）についての顔の位置合わせを装置が支援し、適切に位置合わせされたかどうかを判定する。左右及び上下方向についての顔の位置合わせは、例えば、被写体の人物自身が、上述した例のようにガイド枠１７２を見ながら顔の位置を調整すると行った方法で位置合わせしておけばよい。

この変形例の方法を以下に説明する。

図１３の（ａ）は、正面右カメラ２１４（カメラＲ）が撮影した画像を示す。この画像内の、両目（EyeR, EyeL）付近のｙ座標、y = y_iRにおける輝度値の分布をプロットしたものが、図１３の（ｂ）に示すグラフである。人間の瞳孔が黒いため、このグラフが両目部分で輝度が下がった輝度分布になる。この輝度分布をf_R(x)とする。同様に図１４の（ａ）は、正面左カメラ２１２（カメラＬ）が撮影した画像を示し、同図（ｂ）は、y = y_iLにおける輝度分布を模式に示す。この輝度分布をf_L(x)とする。図１５は輝度分布f_R(x)と、輝度分布f_L(x)をx方向にτだけずらした輝度分布f_L(x+τ)を重ねた様子を示している。図１５においてずらし量τは輝度分布f_R(x) と輝度分布f_L(x+τ)それぞれのEyeLおよびEyeRのx座標が一致するように決められている。このときカメラＬおよびカメラＲの画像は図８のように両目が一致した状態、すなわち顔が適切な顔位置Ａに位置している状態であるので、この状態でのτの値は理論的な計算または実測により求めることができる。そこでこの状態でのτを基準値、例えば０と定義する。

次に実際に被写体の人物を撮影した画像に対する輝度分布f_R(x)とf_L(x+τ)の相関
を計算し、この相関が最大となるときのずらし量τの値τcを求める。ここで、ずらし量τは、左側のカメラＬの輝度分布f_L(x)をｘ方向にずらしたときのずらし量である。

このとき輝度分布f_R(x)とf_L(x+τ)は、図１５のように各々のEyeR, EyeLの位置が一致した状態と考えられる。なおf_L(x+τ)というのは図６のカメラＬの画像を左右方向にずらし量τだけ平行移動した場合の輝度分布である。なお、顔が適切な顔位置Ａに位置しているときには、相関最大時のずらし量τcは０となる。

以上をまとめると、この変形例では、まずカメラＲの画像とカメラＬの画像との式（１）の相関値が最大となるときのずらし量であるτcを計算する。図６のカメラＬの画像に示す通り、τcが基準値に対して正値であれば顔の位置を後方へ、負値であれば顔を前方へ移動させるよう被写体人物に案内を行う。

ガイド枠１７２を参照して上下及び左右方向に適切に位置決めされた顔が前後方向に移動した場合、目（更には顔）の像は、カメラＬの画像内とカメラＲの画像内とで互いに逆向きに移動する。また、顔が前方に移動した場合と後方に移動した場合とで、目の像がカメラＬ及びＲの各々の画像内でそれぞれどちらの方向に移動するかは既知である。また、被写体の顔が適切な顔位置Ａにあるときには、相関最大時のずらし量τcは基準値すなわち例えば０となる。これらのことから、相関最大時のずらし量τcが基準値に対して正値及び負値の場合に、顔が適切な顔位置Ａより前方又は後方のそれぞれどちらに位置するのかは既知であり、それは正値の場合と負値の場合で逆である。したがって、相関最大時のずらし量τcの正負の符号が分かれば、その符号から顔を前後のいずれに移動させればよいかが判定できる。図６の例は、上下左右に適切に位置決めされた顔が前方に移動した場合に、カメラＬの画像内の顔は左方（ｘ軸の負の方向）に、カメラＲの画像内の顔は右方に移動するという関係が成り立っている場合の例である。

その後再度カメラＲ、カメラＬから画像を取得し、式（１）の相関値が最大となるずらし量τcを求め、そのτcの符号に応じて上述と同様の顔の前後移動の案内を行う。これを繰り返し、相関最大時のずらし量τcが実質上０であるとみなせる（より具体的には、０に近い所定の閾値以下である）状態になれば、被写体人物に顔が適切な顔位置Ａに位置合わせされたと判断し、顔をそれ以上動かす必要がない旨を被写体人物に案内する。

図１６に、この変形例のための三次元顔計測装置の機能構成を例示する。図１０に示した上記実施形態の三次元顔計測装置内の要素と同様の要素には、同一符号を付して説明を省略する。

図１６に示す三次元顔計測装置は、図１０の装置におけるガイド画像生成部３００の代わりに、顔位置案内部３１０を有する。計測制御部３０４は、被写体人物が計測の開始を指示すると、正面左カメラ２１２及び正面右カメラ２１４を位置合わせモードで動作させる。顔位置案内部３１０は、正面左カメラ２１２及び正面右カメラ２１４からそれぞれ画像を受け取り、上述のように両画像の目付近の高さの輝度分布同士の相関演算を行い、相関値が最大となるずらし量τを計算する。そして、そのτの値の基準値に対する正負に応じて顔を前後いずれの方向に動かすかの案内を行う。この案内では、τの絶対値の大きさに応じて、顔を前後に動かす量の程度（「少し」、「大きく」等）を示してもよい。案内の方法は特に限定されない。例えば案内は音声で行ってもよいし、表示部１０２に案内のメッセージを表示することにより行ってもよい。そして、顔位置案内部３１０は、ずらし量τが十分小さい値（閾値以下）になったときに、計測を開始するので顔を動かさないよう案内し、計測制御部３０４に位置合わせ完了を通知する。計測制御部３０４は、この通知を受けて、開口部１２６及び１３６内の投光器や、カメラ２１２〜２１６、２２２〜２２４、２３２〜２３４を計測モードで動作させる。三次元顔形状構成部３０２は、各カメラ２１２〜２１６、２２２〜２２４、２３２〜２３４が撮像した画像から三次元形状データを生成し、それら三次元形状データを合成して、最終的な顔形状データを生成する。

以上の変形例の説明では、目付近の画像（輝度分布）の相関を使用すると記載した。ここで、目付近というのは、左右方向と上下方向について適切に顔の位置合わせが済んでいるという前提であれば、図５に示した、適切な目の位置PL-L, PL-R, PR-L, PR-Rのy座標を参照して特定すればよい。

また、変形例の手法は、目付近に限らず、鼻、口、輪郭などの部位を基準部位として使用しても実現可能である。この場合、正面左カメラ２１２及び正面右カメラ２１４の画像のうち、基準部位を含む部分同士の相関が最大となるずらし量τcを求めればよい。また、顔の特定範囲ではなく、顔全体に対して相関をとれば、目等の各部位の位置を求める必要がない。

＜変形例２＞
上述の変形例は、正面左カメラ２１２及び正面右カメラ２１４の画像の相関を用いて、顔位置の移動方向の案内や、適切な顔位置かどうかの判定を行った。これに対して、この変形例２では、正面左カメラ２１２及び正面右カメラ２１４のそれぞれの画像から、公知の画像の特徴抽出技術を用いて、顔の中の特徴部位（目、鼻、口、輪郭等）の座標を求め、両画像の間でのそれら特徴部位の座標の差を求める。この差は、変形例におけるずらし量τと同様に用いることができる。画像からの顔の特徴部位の抽出は、公知の画像処理技術、例えばエッジ検出等による特徴点抽出、テンプレートマッチング、ディープラーニング等によって行えばよい。

また、変形例１及び２では、２台のカメラの画像を用いたが、３台以上のカメラを用いて同様の処理を行ってもよい。すなわち、３台以上のカメラのうちの２台ずつの組合せ毎に、上述の方法で、それら組合せの画像同士の相関が最大になるときの一方の画像のずらし量τに相当する評価値を求める。特徴点の数とカメラの数の組み合わせにより、τに相当する評価値が複数得られることになるが、例えば投票（最も多い顔の移動方向を採用する）や評価値の大小（絶対値が最も大きい評価値による移動方向を採用する）などの方法で適切に移動方向を決定すればよい。

また、上記実施形態のガイド画像の表示と、変形例１又は２による案内とを組み合わせてもよい。被写体人物がガイド画像生成部３００の生成したガイド画像を見ながら顔の位置を合わせていくのと並行して、顔位置案内部３１０が案内を行う方式である。顔位置案内部３１０は、顔を前後のどちらに動かすかの案内、及び、顔が適切な位置に位置合わせされたこと（ずらし量τcが閾値以下となったこと）を示す案内、のうちの少なくとも一方を行えばよい。

また、顔位置案内部３１０は、ずらし量τc（相関値が最大のとき、又は２つの画像から認識した基準部位の像がほぼ重なるとき、のずらし量）の大きさ（絶対値）に応じて、前又は後ろにどの程度顔を動かすべきかを案内してもよい。この場合、ずらし量τcの大きさと、顔を動かす程度の情報（例えば何センチメートル等の数値、あるいは「少し」、「大きく」などの程度を表す言葉）との対応関係の情報を顔位置案内部３１０に設定しておき、顔位置案内部３１０はその情報に従って案内を行えばよい。

１０２表示部、１０４，１０６，１０８照明部、１１２，１１４，１１６，１２２，１２４，１２６，１３２，１３４，１３６開口部、１２０，１３０開口部セット、１７０ガイド画像、１７２ガイド枠、２１２正面左カメラ、２１４正面右カメラ、２１６正面下カメラ、２２２左側第１カメラ、２２４左側第２カメラ、２３２右側第１カメラ、２３４右側第２カメラ、３００ガイド画像生成部、３０２三次元顔形状構成部、３０４計測制御部、３１０顔位置案内部。

Claims

顔に対して三次元計測のための構造化光を前記顔に投光する投光器と、
前記三次元計測のために前記顔をそれぞれ異なる位置から撮像する複数の三次元計測用のカメラと、
を含み、前記三次元計測のための所定の計測位置に位置する前記構造化光が投光された顔を前記複数の三次元計測用のカメラが撮像した画像から、前記顔の三次元形状を求める三次元計測装置であって、
異なる位置から前記顔を撮像する少なくとも２つの位置合わせ用カメラと、
前記少なくとも２つの位置合わせ用カメラの撮像した画像を、それら各画像内の複数の基準位置同士が重なり合うよう重ね合わせて重ね合わせ画像を生成する重ね合わせ手段であって、前記複数の基準位置の各々は、前記顔が前記三次元計測のための所定の計測位置に位置するときに前記少なくとも２つの位置合わせ用カメラの撮像する画像上で前記顔の複数の基準部位の各々の像が存在する位置である、重ね合わせ手段と、
前記重ね合わせ画像を表示する表示手段と、
を含む三次元計測装置。
前記表示手段は、前記重ね合わせ画像に対して、上下及び左右の方向に関する前記顔の適切な位置の範囲を示すガイド枠を重ねて表示する、ことを特徴とする請求項１に記載の三次元計測装置。
前記少なくとも２つの位置合わせ用のカメラは、前記表示手段の正面方向に対して左側と右側にそれぞれ設けられた位置合わせ用のカメラである、請求項１又は２に記載の三次元計測装置。
前記三次元計測装置は、
前記表示手段の正面方向に対して左側と右側にそれぞれ設けられた位置合わせ用のカメラのうちの一方のカメラが撮像した画像と、他方のカメラが撮像した画像を左右反転した画像と、を重ね合わせた第２の重ね合わせ画像を生成する手段、を更に備え、
前記表示手段は、前記重ね合わせ画像と前記第２の重ね合わせ画像とを表示する、
ことを特徴とする請求項３に記載の三次元計測装置。
前記少なくとも２つの位置合わせ用のカメラのうちの２つが撮像した２つの画像をそれら２つの画像内の複数の基準位置同士が重なり合うよう位置合わせした状態でのずらし量を０とした場合に、前記２つの画像の内の一方の画像を他方の画像に対してずらして、それら２つの画像上の前記顔の前記複数の基準部位の像同士が重なったときのずらし量τcを計算し、求めたずらし量τcが所定の閾値以下となった場合に、前記顔が前記所定の計測位置に位置していると判定する判定手段、
を更に含む請求項１〜４のいずれか１項に記載の三次元計測装置。
前記ずらし量τcが正値であるか負値であるかに応じて、前記所定の計測位置に前記顔を位置合わせするために前記顔を前記三次元計測装置に対して近づけるか遠ざけるかを案内する案内手段、を更に備える請求項５に記載の三次元計測装置。
前記複数の三次元計測用のカメラのうちの少なくとも２つを、前記少なくとも２つの位置合わせ用カメラとしても用いる、請求項１〜６のいずれか１項に記載の三次元計測装置。
顔に対して三次元計測のための構造化光を前記顔に投光する投光器と、
前記三次元計測のために前記顔をそれぞれ異なる位置から撮像する複数の三次元計測用のカメラと、
を含み、前記三次元計測のための所定の計測位置に位置する前記構造化光が投光された顔を前記複数の三次元計測用のカメラが撮像した画像から、前記顔の三次元形状を求める三次元計測装置であって、
異なる位置から前記顔を撮像する２つの位置合わせ用カメラと、
前記２つの位置合わせ用のカメラが撮像した２つの画像をそれら２つの画像内の複数の基準位置同士が重なり合うよう位置合わせした状態でのずらし量を０とした場合に、前記２つの画像の内の一方の画像を他方の画像に対してずらして、それら２つの画像上の前記顔の前記複数の基準部位の像同士が重なったときのずらし量τcを計算し、求めたずらし量τcが所定の閾値以下となった場合に、前記顔が前記所定の計測位置に位置していると判定する判定手段と、
を含む三次元計測装置。
前記判定手段は、前記一方の画像を前記他方の画像に対してずらしてそれら画像同士、又はそれら画像のうち前記複数の基準部位の像を含む特定の部分同士、の相関を計算し、その相関が最大となったときに２つの画像上の前記複数の基準部位の像同士が重なったとみなす、請求項８に記載の三次元計測装置。
前記ずらし量τcが正値であるか負値であるかに応じて、前記所定の計測位置に前記顔を位置合わせするために前記顔を前記三次元計測装置に対して近づけるか遠ざけるかを案内する案内手段、を更に備える請求項８又は９に記載の三次元計測装置。
前記２つの計測手段の前記カメラの撮像した２つの画像をそれら２つの画像内の複数の基準位置同士が重なり合うように重ね合わせた重ね合わせ画像を表示する表示手段であって、前記重ね合わせ画像に対して、上下及び左右の方向に関する前記顔の適切な位置の範囲を示すガイド枠を重ねて表示する表示手段と、
前記表示手段に表示される前記重ね合わせ画像内の前記顔の像が前記ガイド枠に収まる位置まで前記顔を動かすことを促す第１の案内を人物に対して行い、前記第１の案内の後前記人物からの開始指示を受けると、前記顔を前記所定の計測位置に位置合わせするための案内を前記案内手段に実行させる制御手段、
を更に含む請求項１０に記載の三次元計測装置。
前記複数の三次元計測用のカメラのうちの２つを、前記２つの位置合わせ用カメラとしても用いる、請求項８〜１１のいずれか１項に記載の三次元計測装置。