JP2021189946A - 検出装置、検出方法及び検出プログラム - Google Patents

Abstract

【課題】２次元の画像から人物の社会的距離を検出することが可能な検出装置、検出方法及び検出プログラムを提供する。【解決手段】検出装置１０は、カメラにより撮像された２次元の画像に基づいて、画像に含まれる人物の骨格情報を推定する推定部１１と、推定された人物の骨格情報に基づいて、カメラのカメラパラメータを算出する算出部１２と、算出されたカメラパラメータを用いて、人物の社会的距離を検出する検出部１３と、を備える。【選択図】図１

Description

本発明は、検出装置、検出方法及び検出プログラムに関する。

新型コロナウイルス感染症の感染が世界中に広がっており、社会や経済へ大きな影響を及ぼしている。新型コロナウイルス感染症などの感染経路の一つである飛沫感染を防ぐため、人と人の間の物理的距離である社会的距離（ソーシャルディスタンス）を確保することが必要とされている。

関連する技術として、例えば、特許文献１が知られている。特許文献１には、通行人行動解析システムにおいて、空間内を通行する通行人の位置座標を求めて、通行人同士の接近距離や混雑度等を算出することが記載されている。その他、カメラキャリブレーションに関連する技術として、特許文献２や３が知られている。

特開２００５−３４６６１７号公報 特許第６０１１５４８号公報 国際公開第２０１５／０４５８３４号

上記特許文献１に記載の技術によれば、空間内の人物の位置座標から人物間の距離を算出することができ得る。しかしながら、特許文献１などの関連する技術では、距離画像を入力することが前提となっているため、２次元の画像（画像平面）から人物の位置及び距離を算出することが考慮されていない。このため、特許文献１などの関連する技術では、２次元の画像から人物の社会的距離を検出することは困難であるという問題がある。

本開示は、このような課題に鑑み、２次元の画像から人物の社会的距離を検出することが可能な検出装置、検出方法及び検出プログラムを提供することを目的とする。

本開示に係る検出装置は、カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定する推定部と、前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出する算出部と、前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する検出部と、を備えるものである。

本開示に係る検出方法は、カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定し、前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出し、前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出するものである。

本開示に係る検出プログラムは、カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定し、前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出し、前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する、処理をコンピュータに実行させるための検出プログラムである。

本開示によれば、２次元の画像から人物の社会的距離を検出することが可能な検出装置、検出方法及び検出プログラムを提供することができる。

実施の形態に係る検出装置の概要を示す構成図である。 実施の形態１に係る社会的距離分析システムの構成を示す構成図である。 実施の形態１に係る社会的距離分析装置の動作を示すフローチャートである。 実施の形態１に係る社会的距離分析装置が処理する画像の例を示す図である。 実施の形態１に係る関節検出処理の検出例を示す図である。 実施の形態１に係る危険性判定処理を示すフローチャートである。 実施の形態１に係る判定結果表示処理を示すフローチャートである。 実施の形態１に係る社会的距離分析装置の表示例を示す図である。 実施の形態１に係る社会的距離分析装置の表示例を示す図である。 実施の形態２に係るカメラ座標系と世界座標系との関係を示す図である。 実施の形態２に係るカメラキャリブレーション部の構成を示す構成図である。 実施の形態２に係るカメラキャリブレーション部の動作を示すフローチャートである。 実施の形態３に係る社会的距離分析装置の動作を示すフローチャートである。 実施の形態４に係る社会的距離分析装置の動作を示すフローチャートである。 実施の形態５に係るカメラ座標系と世界座標系との関係を示す図である。 実施の形態５に係るカメラキャリブレーション部の構成を示す構成図である。 実施の形態５に係るカメラキャリブレーション部の動作を示すフローチャートである。 実施の形態６に係る社会的距離分析装置の動作を示すフローチャートである。 実施の形態７に係る社会的距離分析装置の動作を示すフローチャートである。 実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。

以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。

（実施の形態の概要）
図１は、実施の形態に係る検出装置の概要を示している。図１に示すように、実施の形態に係る検出装置１０は、推定部１１、算出部１２、検出部１３を備えている。

推定部１１は、カメラにより撮像された２次元の画像に基づいて、画像に含まれる人物の骨格情報を推定する。算出部１２は、推定された人物の骨格情報に基づいて、カメラのカメラパラメータを算出する。検出部１３は、算出されたカメラパラメータを用いて、人物の社会的距離を検出する。

このように、実施の形態では、２次元の画像から人物の骨格情報を推定し、推定した人物の骨格情報に基づいてカメラパラメータを算出し、カメラパラメータを用いて人物の社会的距離を検出する。これにより、２次元の画像平面の情報のみから人物の社会的距離を検出することができる。特に、画像から推定される人物の骨格情報に基づいてカメラパラメータを算出することで、カメラパラメータを精度よく算出することができ、社会的距離の検出精度を向上することが可能となる。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係る社会的距離分析システム１の構成例を示している。社会的距離分析システム１は、カメラの映像から歩行等している人物間に社会的距離が取られているかを計測し、計測結果を表示することで、公共空間等における感染症の感染拡大を防ぐためのシステムである。図２に示すように、社会的距離分析システム１は、社会的距離分析装置１００及びカメラ２００を備えている。

カメラ２００は、所定の監視位置等に設置され、監視空間（撮像空間）の人物を撮像する監視カメラ等の撮像部である。カメラ２００は、向きと設置箇所が固定されたカメラでもよいし、ＰＴＺ（Pan Tilt Zoom）カメラのように向きが変更可能なカメラでもよいし、ドローン等の移動体に搭載された移動可能なカメラでもよい。カメラ２００と社会的距離分析装置１００の間は、任意のネットワークを介して通信可能に接続されている。なお、カメラ２００と社会的距離分析装置１００を一つの装置としてもよい。

社会的距離分析装置１００は、カメラ２００の画像に基づいて人物の社会的距離を分析する分析装置であり、分析結果を表示する表示装置でもある。社会的距離分析装置１００は、画像に基づいて人物の社会的距離を検出する検出装置であるとも言える。社会的距離分析装置１００は、入力部１０１、取得部１０２、カメラキャリブレーション部１０３、人関節検出部１０４、座標算出部１０５、記憶部１０６、社会的距離判定部１０７、表示部１０８を備えている。なお、各部（ブロック）の構成は一例であり、後述の方法（動作）が可能であれば、その他の各部で構成されてもよい。また、社会的距離分析装置１００は、例えば、プログラムを実行するパーソナルコンピュータやサーバ等のコンピュータ装置で実現されるが、１つの装置で実現してもよいし、複数の装置で実現してもよい。例えば、記憶部１０６や表示部１０８を外部の装置としてもよい。

入力部１０１は、社会的距離分析装置１００を操作するユーザから入力された情報を取得する入力インタフェースである。例えば、ユーザは、監視カメラの画像から社会的距離が確保されていない人物を監視する監視者である。入力部１０１は、例えば、ＧＵＩ（Graphical User Interface）であり、キーボードやマウス、タッチパネル等の入力装置から、ユーザの操作に応じた情報が入力される。例えば、入力部１０１は、カメラキャリブレーション部１０３のカメラパラメータ算出処理に必要な情報を受け付け、また、表示部１０８の表示処理のためのユーザ操作を受け付ける。

取得部１０２は、カメラ２００が撮像した人物を含む２次元の画像を取得する。取得部１０２は、例えば、所定の期間にカメラ２００が撮像した、人物を含む画像（時系列の複数の画像を含む映像）を取得する。なお、カメラ２００からの取得に限らず、予め用意された人物を含む画像をデータベース等から取得してもよい。

カメラキャリブレーション部（算出部）１０３は、カメラ２００から取得された画像に基づき、カメラ２００のカメラパラメータを算出する（カメラキャリブレーションを行う）。カメラパラメータ（撮像パラメータ）は、３次元の実世界空間における長さを２次元の画像平面における長さに変換するためのパラメータである。カメラパラメータは、カメラの焦点距離、レンズ歪、光学中心座標等の内部パラメータと、カメラの位置（並進ベクトル）や角度（回転行列）等の外部パラメータを含む。カメラキャリブレーション部１０３は、算出したカメラパラメータ（位置、角度、焦点距離等）を記憶部１０６に格納する。

カメラキャリブレーション部１０３は、画像から抽出される法線ベクトル（基準平面（地面）に対し垂直な線分）に基づいて、カメラパラメータを算出する。法線ベクトルを用いる算出方法として、例えば、特許文献２に記載のキャリブレーション方法を使用してもよいし、その他の方法でもよい。カメラキャリブレーション部１０３は、画像から抽出される法線ベクトルの長さと与えられる基準の長さとに基づいて、カメラパラメータを算出する。例えば、法線ベクトルは、人関節検出部１０４により検出された人物の関節点間の骨線分（骨格情報）から取得されるが、ユーザの入力により指定されてもよい。法線ベクトルに用いる骨線分は、人物の骨格に含まれるいずれの骨の線分でもよい。足元の骨の線分（足首から膝の間の線分）でもよいが、人物が歩行している時に垂直に近い状態で安定している線分が好ましいため、例えば、背骨の線分（腰から首の間の線分）を用いる。また、与えられる基準の長さは、算出に用いる線分に対応した長さであり、例えば、人物の身長や各骨の長さ（平均値等）である。算出に用いる基準の長さは、ユーザから入力してもよいし、予め記憶部１０６に記憶されていてもよい。なお、法線ベクトルは、地面に対し垂直であればよいため、人物の骨格に限らず、車やトラックなどの垂直線を使用してもよい。さらに、画像内の人物等の移動を止めた状態で校正物体（予め長さが分かっている物体）を撮像することで、カメラパラメータを算出してもよい。また、カメラ２００がＰＴＺカメラのようにカメラの角度やズーム値が変更可能なカメラの場合、基準位置から変更された差分値を取得して、カメラパラメータに反映させてもよい。

人関節検出部（推定部）１０４は、カメラ２００から取得された画像に基づき、２次元の画像内の人物の関節点を検出（推定）する。例えば、人関節検出部１０４は、機械学習を利用したＯｐｅｎＰｏｓｅ等の関節推定技術（骨格推定技術）を用いる。人関節検出部１０４は、関節推定技術を用いて、画像内で認識される人物の各部の特徴に基づき、人物の関節であると推定される関節点（キーポイント）を検出し、さらに、検出した関節点を結ぶ骨線分（ボーンリンク）を抽出する。人関節検出部１０４は、画像に基づいて関節点や骨線分を含む骨格情報を生成する。なお、検出される関節点及び骨線分は、関節推定技術により推定される関節点及び骨線分であり、実際の人物の関節及び骨と一致しない場合がある。人関節検出部１０４は、人物の足元から頭部までの関節点及び骨線分を含む骨格構造を検出しているとも言える。人関節検出部１０４は、時系列の複数の画像（フレーム）内の人物を認識し、各画像内で認識される全ての人物の関節点及び骨線分を検出する。

座標算出部１０５は、算出されたカメラパラメータを用いることで、検出された関節点や骨線分の座標（骨格情報）から、人物の３次元の実世界空間（世界座標空間）の座標（位置）を算出する。算出する座標は、人物の社会的距離範囲の中心点の座標（中心座標）である。中心点は、人関節検出部１０４が検出した関節点間の骨線分に含まれる任意の点である。中心点は、人物の足元から頭部における関節点または骨線分の任意の点でもよいし、その他、人物の中で抽出可能な垂直線の点でもよい。中心点は、カメラキャリブレーションと同様、足元の骨の線分に含まれる点でもよいが、人物が歩行している時に垂直に近い状態で安定している線分の点が好ましいため、例えば、背骨の線分に含まれる点とする。座標算出部１０５は、各画像（フレーム）内の全ての人物の中心座標を算出し、算出結果を時系列に記憶部１０６に格納する。

記憶部１０６は、社会的距離分析装置１００の動作（処理）に必要な情報（データ）を記憶する。例えば、記憶部１０６は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等である。例えば、記憶部１０６は、カメラキャリブレーション部１０３が算出したカメラパラメータや座標算出部１０５が算出した時系列の座標算出結果を記憶する。記憶部１０６は、カメラパラメータ記憶部であり、また、座標算出結果記憶部であるとも言える。記憶部１０６は、その他必要に応じて、取得部１０２が取得した画像（映像）や、人関節検出部１０４が処理した関節点や骨線分の情報、関節推定用の機械学習データ、人物の身長や各骨の長さの平均値、社会的距離の長さ等を記憶する。

社会的距離判定部（決定部）１０７は、算出された人物の位置（中心座標）に基づいて、人物の社会的距離の確保状態（感染の危険性）を判定する。社会的距離判定部１０７は、人物の社会的距離（範囲）を検出する検出部であるとも言える。例えば、社会的距離判定部１０７は、人物の中心座標（中心点）から所定の長さの範囲を社会的距離範囲に決定する。社会的距離の所定の長さは、ユーザにより入力されてもよいし、予め記憶部１０６に記憶されていてもよい。社会的距離判定部１０７は、人物の位置（中心座標）間の距離（社会的距離）に基づいて、感染の危険性を判定する。例えば、社会的距離判定部１０７は、人物間の距離が所定の距離よりも近いか否かに応じて、感染の危険性を判定する。また、人物の社会的距離範囲と他の人物の社会的距離範囲とが重なるか否かに応じて、感染の危険性を判定してもよいし、人物の社会的距離範囲に他の人物が含まれるか否かに応じて、感染の危険性を判定してもよい。さらに、距離に加えて時間を考慮して社会的距離を判定してもよい。社会的距離判定部１０７は、一つの基準により２段階のアラート要否を判定してもよいし、複数の基準により多段階のアラートレベルを判定してもよい。

表示部１０８は、社会的距離分析装置１００の動作（処理）の結果等を表示画面に表示する。例えば、表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ装置である。表示部１０８は、ＧＵＩの表示画面にカメラ２００が撮像した画像（映像）や社会的距離判定部１０７の判定結果等を表示する。例えば、表示部１０８は、２次元の上面図（平面図）や３次元の俯瞰図により、人物の社会的距離範囲を判定結果（アラート要否やアラートレベル）に応じて表示する。表示部１０８は、社会的距離判定部１０７による感染の危険性（社会的距離の確保状態）の判定結果に応じて、人物の社会的距離範囲の表示態様を変更する。例えば、表示態様として、感染の危険性に応じて社会的距離範囲の色、形、大きさ等を変更してもよい。さらに、社会的距離範囲を点滅表示した場合に点滅間隔を変更してもよい。本実施の形態では、一例として、複数の人物間の距離に応じて社会的距離範囲の色を変更する。例えば、感染の危険性が高くなるにしたがって（アラートレベルにしたがって）強調されるように、色などを変えて社会的距離範囲を表示する。また、表示部１０８は、社会的距離範囲として、人物の位置を中心とする所定の形状の領域を表示する。社会的距離を特定できる領域であればよく、例えば、上面視で円形状、半円形状、扇形状、楕円形状等の領域で表示してもよい。本実施の形態では、一例として、所定の大きさ（半径）の円形状の領域を表示する。感染の危険性に応じて社会的距離範囲の表示態様を変更することにより、人物の社会的距離を適切に把握することが可能となり、また、感染の危険性が高い（社会的距離が確保されていない）人物を明確に識別することができる。

なお、表示部１０８は、社会的距離の確保状態の判定結果を出力する出力部の一例である。例えば、画面表示に加えて、または、画面表示に代えて、感染の危険性（社会的距離の確保状態）の判定結果を音やその他の通知方法（ネットワークを介したメールなど）で出力してもよい。音を出力する場合、表示態様と同様に、感染の危険性に応じて出力態様（警告音の音量、音程、間隔、音声メッセージの種類等）を変更してもよい。

図３は、本実施の形態に係る社会的距離分析装置１００の動作を示している。図３に示すように、社会的距離分析装置１００は、カメラ２００から画像（映像）を取得する（Ｓ１０１）。取得部１０２は、カメラキャリブレーションのために人物（撮像空間）を撮像した画像を取得し、また、社会的距離判定のために人物（撮像空間）を撮像した画像を取得する。カメラキャリブレーションのための画像と社会的距離判定のための画像は、同じカメラ２００が撮像した画像であればよく、撮像したタイミングは同じでもよいし異なってもよい。すなわち、第１の期間（１０秒〜６０秒程度）に撮像された映像からカメラキャリブレーションを行い、次に第２の期間に撮像された映像から社会的距離を判定してもよいし、同じ期間に撮像された映像からカメラキャリブレーションを行うとともに社会的距離を判定してもよい。少なくとも、社会的距離の判定（座標算出）においてカメラパラメータを使用する前までに、カメラキャリブレーションが行われていればよい。図４は、カメラ２００から取得する画像の例を示している。図４の例は、撮像空間を６人の人物が歩行している場合の画像である。

続いて、カメラキャリブレーション処理（Ｓ１０２〜Ｓ１０３）が行われ、また、社会的距離判定処理（Ｓ１０４〜Ｓ１０８）が行われる。カメラキャリブレーション処理の一例として、人物の関節点間の骨線分を用いる例を説明する。カメラキャリブレーション処理では、まず、社会的距離分析装置１００は、カメラ２００から取得した画像に基づいて人物の関節点を検出する（Ｓ１０２）。人関節検出部１０４は、ＯｐｅｎＰｏｓｅ等の関節推定技術を用いて、画像平面内の各人物の関節点を検出し、検出した関節点を結ぶ骨線分を抽出する。

続いて、社会的距離分析装置１００は、検出された骨線分を用いてカメラパラメータを算出する（Ｓ１０３）。例えば、カメラキャリブレーション部１０３は、算出に用いる法線ベクトルとして人物の背骨の線分を選択する。画像内の一人の人物の背骨の線分を選択してもよいし、複数の人物の背骨の線分を選択してもよい。複数の背骨の線分を選択した場合、線分（ベクトル）の平均を求めてもよい。また、背骨の線分を用いてもよいし、背骨の線分から人物の身長（骨格全体）を推定して、推定した身長に対応する線分（中心線分）を用いてもよい。カメラキャリブレーション部１０３は、人物の背骨の線分と背骨の長さ（または身長）の平均値からカメラパラメータを算出する。

例えば、特許文献２のように、法線ベクトル（背骨の線分）を地面（基準面）に対する垂直な投影用平面に投影し、投影された法線ベクトルの地面に対する垂直性に基づいて、カメラパラメータを求めてもよい。投影用平面に投影された法線ベクトルの垂直性を評価することで、回転行列（カメラの角度）を求めることができる。また、回転行列を用いて、２次元画像の法線ベクトルを３次元空間に投影した長さと、実世界における長さ（骨の長さの平均値）との差から、並進ベクトル（カメラの位置）や焦点距離を求めることができる。

一方、社会的距離判定処理では、まず、社会的距離分析装置１００は、取得した画像に基づいて人物の関節点を検出する（Ｓ１０４）。Ｓ１０２と同様に、人関節検出部１０４は、カメラ２００から取得した画像内の各人物の関節点及び骨線分を検出する。

続いて、社会的距離分析装置１００は、算出されたカメラパラメータを用いて、検出された骨線分における人物の中心点の座標（中心座標）を算出する（Ｓ１０５）。例えば、座標算出部１０５は、人物の背骨の線分（腰から首）に含まれる点を人物の中心点として選択する。この例では、腰の関節点（背骨の線分の下端点）を中心点として選択する。社会的距離分析装置１００は、カメラパラメータを用いて、２次元の画像平面における背骨の線分（腰の関節点）の座標を３次元の実世界空間（世界座標空間）の座標（ｘ、ｙ、ｚ）に変換する。線分（ベクトル）の始点座標及び終点座標を３次元座標に変換して中心座標を求めてもよいし、線分の始点座標または終点座標を３次元座標に変換して中心座標を求めてもよい。

図５は、図４の画像から人物の関節点及び骨線分を検出した例を示している。図５に示すように、画像内の６人の人物それぞれの関節点及び骨線分を検出する。時系列の複数の画像（フレーム）から人物の関節点及び骨線分を検出することで、歩行（移動）している状態の人物の関節点及び骨線分を検出する。図５の例では、画像内の６人のそれぞれについて、背骨の線分から腰の中心点の３次元座標を算出する。

続いて、社会的距離分析装置１００は、算出された人物の中心座標から人物の社会的距離範囲を決定する（Ｓ１０６）。社会的距離判定部１０７は、人物の中心座標から、所定の長さ（例えば１ｍ〜２ｍ）の３次元空間の範囲を社会的距離範囲とする。この例では、社会的距離範囲は、中心点から所定の長さを半径とする上面視で円形状の領域である。図５の例では、画像内の６人のそれぞれについて、中心座標から社会的距離範囲の円形状の領域を決定する。

続いて、社会的距離分析装置１００は、人物の中心座標（位置）に基づいて、人物の感染の危険性を判定する（Ｓ１０７）。図６は、本実施の形態に係る危険性判定処理の具体例を示している。図６は、一つの基準により２段階のアラート要否を判定する例である。図６に示すように、社会的距離判定部１０７は、人物間の距離を取得し（Ｓ２０１）、取得した距離が所定の距離よりも短いか否か判定する（Ｓ２０２）。社会的距離判定部１０７は、人物の中心座標と他の人物の中心座標との間の３次元の実世界空間（世界座標空間）における距離を算出する。

社会的距離判定部１０７は、人物間の距離が所定の距離よりも短い場合、アラート要（感染の危険性が高い、社会的距離が確保されていない）と判断し（Ｓ２０３）、また、人物間の距離が所定の距離よりも長い場合、アラート不要（感染の危険性が低い、社会的距離が確保されている）と判断する（Ｓ２０４）。判定基準となる所定の距離は、社会的距離範囲で用いた距離（例えば１ｍ〜２ｍ）と同じでもよいし、さらに長い距離でもよい。図５の例では、画像内の６人それぞれの間の距離を算出し、各人物間のアラート要否を判断する。

また、決定した社会的距離範囲に基づいてアラートの要否を判定してもよい。例えば、人物の社会的距離範囲と他の人物の社会的距離範囲とが重なる場合、アラート要と判断し、人物の社会的距離範囲と他の人物の社会的距離範囲とが重ならない場合、アラート不要と判断してもよい。また、人物の社会的距離範囲に他の人物が含まれる場合、アラート要と判断し、人物の社会的距離範囲に他の人物が含まれない場合、アラート不要と判断してもよい。

さらに、社会的距離判定部１０７は、画像（フレーム）ごとに、人物間の距離から感染の危険性を判定してもよいし、複数の画像（フレーム）の位置を時系列方向に解析し、解析された人物の移動を考慮して、感染の危険性を判定してもよい。例えば、一定期間、人物間の距離が所定の距離よりも短い状態が続く場合（人物が滞留している場合）、アラート要と判断してもよい。これにより、一時的にすれ違う人物を判定から除外することができる。

続いて、社会的距離分析装置１００は、危険性の判定結果を表示する（Ｓ１０８）。図７は、本実施の形態に係る判定結果表示処理の具体例を示している。図７に示すように、表示部１０８は、社会的距離判定部１０７の判定結果を取得し（Ｓ３０１）、取得した判定結果がアラート要か否か判定する（Ｓ３０２）。表示部１０８は、判定結果がアラート要の場合（感染の危険性が高い場合）、アラート要とされた人物の社会的距離範囲を赤色で表示し（Ｓ３０３）、判定結果がアラート不要の場合（感染の危険性が低い場合）、アラート不要とされた人物の社会的距離範囲を青色で表示する（Ｓ３０４）。

図８及び図９は、アラート不要及びアラート要の場合の表示例を示している。図８及び図９に示すように、表示部１０８は、表示画面（表示ウィンドウ）Ｗ１に３次元の俯瞰図Ｖ１及び２次元の上面図Ｖ２を表示する。すなわち、表示画面Ｗ１は、俯瞰図Ｖ１を表示する俯瞰図表示領域と上面図Ｖ２を表示する上面図表示領域を有し、表示部１０８は、それぞれの領域に社会的距離の判定結果を表示する。俯瞰図Ｖ１と上面図Ｖ２は、複数の画像（映像）や社会的距離範囲を時系列に同期して表示することができる。表示部１０８は、俯瞰図Ｖ１及び上面図Ｖ２の両方を表示してもよいし、いずれか一方を表示してもよい。

俯瞰図Ｖ１は、カメラ２００（所定の視点）から見た撮像空間の３次元表示図である。表示部１０８は、俯瞰図Ｖ１に、入力された映像（画像）を表示するとともに、その映像に人物の社会的距離範囲を合成して３次元形式で表示する。なお、複数のカメラの映像をもとに、視点を変更できるようにしてもよい。俯瞰図Ｖ１には、映像内の全ての人物について、算出した中心座標に対応する３次元位置に人物の中心点Ｐ１（例えば丸印）を表示し、中心点Ｐ１から決定した社会的距離範囲に対応する３次元範囲に人物の社会的距離範囲Ｄ１を表示する。この例では、社会的距離範囲Ｄ１は、上記社会的距離範囲の決定処理のように、人物の中心点Ｐ１を中心とする所定の大きさの円形状（円板状）の領域である。社会的距離範囲の表示例として、円形状の領域の輪郭線を表示するが、円形状の領域内を輪郭線と同じ色やその他のパターンで表示してもよい。なお、所定の距離の範囲を円板状に限らず、球状に３次元表示してもよい。俯瞰図Ｖ１には、上面視で円形状となる社会的距離範囲Ｄ１を、その位置に応じた大きさ及び形状で３次元表示する。また、俯瞰図Ｖ１では、映像内で移動する人物の位置に合わせて中心点Ｐ１及び社会的距離範囲Ｄ１を表示する。なお、俯瞰図Ｖ１に、各人物から検出した関節点や骨線分を表示してもよい。

上面図Ｖ２は、俯瞰図Ｖ１と同じ撮像空間を上面から見た２次元平面図である。表示部１０８は、上面図Ｖ２に、入力された映像（画像）内の人物の位置及び社会的距離範囲のイメージを２次元形式で表示する。なお、人物に加えて、他の物体のイメージを表示してもよいし、俯瞰図と同様に映像を表示してもよい。上面図Ｖ２には、俯瞰図と同様、映像内の全ての人物について、算出した中心座標に対応する２次元位置に人物の中心点Ｐ２（例えば×印）を表示し、中心点Ｐ２から決定した社会的距離範囲に対応する２次元範囲に円形状の社会的距離範囲Ｄ２を表示する。俯瞰図Ｖ１と同様、社会的距離範囲の表示例として、円形状の領域の輪郭線を表示するが、円形状の領域内を輪郭線と同じ色やその他のパターンで表示してもよい。また、上面図Ｖ２では、俯瞰図Ｖ１と同様、映像内で移動する人物の位置に合わせて中心点Ｐ２及び社会的距離範囲Ｄ２を表示する。

例えば、図８及び図９では、人物間の距離に応じて表示する色（表示態様）を変更する。図８では、全ての人物Ａ１〜Ａ６の間の距離が所定の距離よりも離れている。このため、俯瞰図Ｖ１及び上面図Ｖ２では、人物Ａ１〜Ａ６の社会的距離範囲Ｄ１及びＤ２と中心点Ｐ１及びＰ２を青色で表示する。一方、図９では、人物Ａ３〜Ａ６の間の距離が所定の距離よりも離れているものの、人物Ａ１及び物Ａ２の距離が所定の距離よりも近い（社会的距離範囲の一部が重なっている）。このため、俯瞰図Ｖ１及び上面図Ｖ２では、人物Ａ３〜Ａ６の社会的距離範囲Ｄ１及びＤ２と中心点Ｐ１及びＰ２を青色で表示し、人物Ａ１及び人物Ａ２の社会的距離範囲Ｄ１及びＤ２と中心点Ｐ１及びＰ２を赤色で表示する。なお、この例では、感染の危険性が高い／低いことを明確に示すために赤色（強調色）／青色を使用しているが、感染の危険性を識別できれば、その他の色を使用してもよい。また、２色に限らず、距離や社会的距離範囲の重なりに応じて多段階にグラデーション表示してもよい。表示態様として、色に限らず、点滅間隔等を変更してもよい。例えば、アラーム要の場合に点滅表示するようにし、距離が近づくにしたがって（アラートレベルが高くなるにしたがって）点滅間隔を短くしてもよい。さらに、感染の危険性が高いことを示す矢印等のマークや文字列を表示してもよい。人物間の距離の数値を表示してもよい。また、感染の危険性が高い社会的距離範囲の人物の色等を変えてもよい。

上記危険性の判定処理のように、社会的距離範囲に基づいた危険性に応じて色（表示態様）を変更してもよい。例えば、第１の人物の社会的距離範囲と第２の人物の社会的距離範囲とが重なる場合、第１の人物と第２の人物の社会的距離範囲を赤色で表示し、第１の人物の社会的距離範囲と第２の人物の社会的距離範囲とが重ならない場合、第１の人物と第２の人物の社会的距離範囲を青色で表示してもよい。さらに、それらの社会的距離範囲の重なる量に応じて色を変更してもよい。また、第１の人物の社会的距離範囲に第２の人物が含まれる場合、第１の人物の社会的距離範囲を赤色で表示し、第１の人物の社会的距離範囲に第２の人物が含まれない場合、第１の人物の社会的距離範囲を青色で表示してもよい。さらに、複数の人物の密度に応じて色を変更してもよい。例えば、所定の領域内に含まれる人物の数や、人物の社会的距離範囲が重なる数（重なる面積）や、人物の社会的距離範囲に含まれる他の人物の数に応じて、色を変更してもよい。

また、図８及び図９の例では、俯瞰図Ｖ１において、中心点Ｐ１及び円形状の社会的距離範囲Ｄ１を人物の腰の位置（高さ）に表示する。すなわち、人物の足元よりも高い位置に浮いた状態で、中心点Ｐ１及び社会的距離範囲Ｄ１を表示する。顔に近いほど飛沫感染の可能性は高いため、人物のより高い位置で社会的距離範囲を表示することで、より感染の危険性に適した表示とすることができる。例えば、中心点Ｐ１及び社会的距離範囲Ｄ１を表示する腰の高さは、関節検出において検出した腰の関節点の高さであり、人物の座標を算出した高さである。座標の算出に背骨の線分を使用するため、背骨の下端（腰）の高さを用いてもよいし、背骨（腰から首）の任意の高さを用いてもよい。背骨や腰の位置は人物の歩行時に安定しているため、背骨や腰を中心として表示することで、より社会的距離範囲を把握しやすく表示することができる。

以上のように、本実施の形態では、カメラで撮像した画像からカメラキャリブレーションを行うとともに、人物の位置及び社会的距離を検出し、検出した結果を表示画面に表示する。関節推定技術を利用することで、撮像した画像から自動的にカメラキャリブレーション及び人物の距離（位置）検出を行うことが可能となる。特に、画像から抽出される人物の骨線分を法線ベクトルとしてカメラパラメータを算出することにより、簡易に精度よくカメラパラメータを算出することができる。したがって、３次元座標の座標変換精度を向上することができ、正確に社会的距離を検出することができる。

（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１の社会的距離分析装置におけるカメラキャリブレーション部の一例について説明する。

＜カメラ座標系と世界座標系の関係＞
図１０を用いて、本実施の形態におけるカメラ２００の「カメラ座標系」と「世界座標系」との関係について説明する。この例では、カメラ２００は、「世界座標系」における撮影対象エリアを撮影して画像Ｆ１を形成する。

図１０に示すように、カメラ座標系の原点は、世界座標系のｚ軸上に位置し、世界座標系の座標［０，０，ｈ］（＝ｃ）を有している。すなわち、カメラ２００の位置は、世界座標系のｚ座標の１次元で表すことができ、また、カメラ２００についての並進ベクトルＴも、１次元という少ないパラメータで表現することができる。

また、カメラ座標系のｚ_ｃ軸は、カメラ２００の光軸に対応する。そして、世界座標系のｘｙ平面に対するｚ_ｃ軸の投影は、世界座標系のｙ軸と重なる。すなわち、世界座標系の＋ｚ方向から見たときに、カメラ座標系のｚ_ｃ軸と世界座標系のｙ軸とは重なるようになっている。すなわち、カメラ２００のヨー回転（つまり、ｙ_ｃ軸周りの回転）が制限されている。これにより、カメラ２００の回転行列は、ロール回転（ｚ_ｃ軸周りの回転）及びピッチ回転（ｘ_ｃ軸周りの回転）の２次元で表すことができ、また、カメラ２００の回転行列Ｒも２次元という少ないパラメータで表現することができる。

なお、本実施の形態では、世界座標系の３次元座標は明示的には与えられないため、世界座標系とカメラ座標系を任意に定義付けしてよい。そのため、図１０に示すように、世界座標系及びカメラ座標系を設定しても、一般性は失われない。

＜カメラキャリブレーション部の構成例＞
図１１は、本実施の形態に係るカメラキャリブレーション部の構成例を示している。図１１に示すように、本実施の形態に係るカメラキャリブレーション部１０３は、法線ベクトル取得部１１１と、正規化座標変換部１１２と、外部パラメータ算出部１１３とを有している。

法線ベクトル取得部１１１は、カメラ２００によって「世界座標空間」が撮影された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。複数の「画像平面内法線ベクトル」は、「世界座標空間」における「基準平面」に対する複数の「世界座標空間内法線ベクトル」にそれぞれ対応する。「世界座標空間」は、世界座標系によって規定される空間である。「基準平面」は、例えば地面又は床等の水平面であってもよい。図１０の例では、画像Ｆ１において、世界座標系のｎ個の世界座標空間内法線ベクトル（Ｍ_１〜Ｍ_ｎ）のそれぞれに対応する、ｎ個の画像平面内法線ベクトル（ｍ_１〜ｍ_ｎ）を取得する。

例えば、法線ベクトル取得部１１１は、複数の「画像平面内法線ベクトル」として、実施の形態１のように、人関節検出部１０４により検出された画像平面における複数の人物の関節点間の骨線分を取得する。上記のように、地面に対し垂直に近い線分として、人物の背骨の線分を使用することが好ましい。なお、「世界座標空間内法線ベクトル」は、上記の水平面に対して垂直に延びる、その他の線分であってもよい。また、取得された複数の画像平面内法線ベクトルに対応する、複数の「世界座標空間内法線ベクトル」の世界座標空間における長さは、互いに異なっていてもよい。カメラ２００が撮像した１または複数の画像から異なる複数の人物における複数の背骨の線分を取得してもよいし、複数の画像から同じの人物における複数の背骨の線分を取得してもよい。例えば、１０秒〜６０秒の間に撮像された映像から複数の人物における複数の背骨の線分を取得する。上記のように、基準の長さとして、人物の骨の長さ（もしくは身長）が入力されるため、人物の背骨の線分の実空間における長さ（高さ）が既知であるとして算出に用いてもよい。例えば、背骨の長さの平均値を、複数の人物の背骨の線分の実空間における長さであるとしてもよい。また、世界座標空間内法線ベクトルの始点及び終点は、基準平面上にあってもよいし基準平面上でなくてもよい。図１０に示した例では、世界座標空間内法線ベクトルの始点は、基準平面上にある。背骨の線分の場合、背骨の線分の始点は基準平面（地面）よりも上方となる。

正規化座標変換部１１２は、法線ベクトル取得部１１１にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である、「画像平面内始点座標」及び「画像平面内終点座標」を、カメラ２００の「内部パラメータ」に基づいて、正規化座標である、「正規化始点座標」及び「正規化終点座標」へ変換する。例えば、カメラ２００の「内部パラメータ」は、記憶部１０６に予め記憶されている。ここで、正規化座標変換部１１２は、「画像平面内始点座標」及び「画像平面内終点座標」を斉次化する。具体的には、「画像平面内始点座標」及び「画像平面内終点座標」は、図１０のｍ_ｉ及びｍ_ｉ’に示すように、３次元に斉次化される。すなわち、「画像平面内始点座標」及び「画像平面内終点座標」は、２次元の画像座標にスケールの不定性を加えた３次元座標で表される。

外部パラメータ算出部１１３は、正規化座標変換部１１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出する。ここで、「評価関数」は、世界座標空間における上記「基準平面」に対する法線周りの回転パラメータについて過決定となる関数である。

例えば、外部パラメータ算出部１１３は、正規化座標変換部１１２にて各画像平面内法線ベクトルについて得られた正規化始点座標のベクトルと正規化終点座標のベクトルとのクロス積とカメラ２００についての回転行列におけるｚ_ｃ軸周りの回転ベクトルとの内積である、スカラー３重積を、複数の画像平面内法線ベクトルについて算出する。そして、外部パラメータ算出部１１３は、算出した複数のスカラー３重積の総和を上記の評価関数として用いて、該総和を最少化することが期待される所望のｚ_ｃ軸周りの回転ベクトルを算出する。そして、外部パラメータ算出部１１３は、算出した所望のｚ_ｃ軸周りの回転ベクトルに基づいて回転行列を算出する。そして、外部パラメータ算出部１１３は、算出した回転行列を出力すると共に、算出した所望のｚ_ｃ軸周りの回転ベクトルをカメラ２００についての並進ベクトルとして出力する。

ここで、１つの画像平面内法線ベクトルからｚ_ｃ軸周りの回転ベクトルに対する１つの拘束条件が得られる。このため、２つ以上の画像平面内法線ベクトルを用いることにより、ｚ_ｃ軸周りの回転ベクトルが計算可能となる。さらに、上記の通り、ｙ_ｃ軸周りの回転角度は、ゼロとおける。このため、計算されたｚ_ｃ軸周りの回転ベクトルから、ｚ_ｃ軸周りの回転角度及びｘ_ｃ軸周りの回転角度が推定可能であるため、３×３の回転行列の全体を復元することができる。また、図１０を参照して説明したカメラ座標系と世界座標系との関係では、カメラ２００の並進ベクトルは、回転行列のz_ｃ軸周りの回転ベクトルの定数倍に等しい。さらに、世界座標空間内法線ベクトルの３次元座標が未知なことを利用すると、カメラ２００の高さ（ｚ座標）を１としてもよい。すなわち、並進ベクトルは、回転行列の第３列として計算すればよい。なお、この外部パラメータ算出部１１３による外部パラメータの算出については、後に詳しく説明する。

このように本実施の形態では、カメラキャリブレーション部において、人物の背骨の線分等に対応する各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、回転ベクトル及び回転行列を算出する。「評価関数」は、世界座標空間における上記「基準平面」に対する法線周りの回転パラメータについて過決定となる関数である。このような構成により、外部パラメータを精度良く算出することができる。

例えば、上記の特許文献２に記載の関連するカメラキャリブレーション方法では、画像から水平面に垂直な線分を検出し、検出した複数の垂直線分を仮想平面に投影し、仮想平面上での各線分の平行性を最小化する評価関数を用いて回転行列を算出している。しかしながら、この方法では、評価関数の最小化において観測線分の増加に伴い未知数の方が多くなる、いわゆる劣決定問題になる可能性がある。劣決定問題の場合、観測する線分の数を増やしても拘束式の数が常に不足し、理論上の最適解が無限個存在するため、現実的に不可能なカメラパラメータも最適解になってしまう。すなわち、算出される外部パラメータの精度が劣化する可能性がある。本実施の形態によれば、このような劣決定問題を回避して、外部パラメータの算出精度を向上することができる。

＜カメラキャリブレーション部の動作例＞
図１２は、本実施の形態に係るカメラキャリブレーション部の動作例を示している。

図１２に示すように、法線ベクトル取得部１１１は、カメラ２００で撮影された画像から、複数の画像平面内法線ベクトル（例えば背骨の線分）を取得する（Ｓ４０１）。

正規化座標変換部１１２は、各画像平面内法線ベクトルの画像平面内始点座標及び画像平面内終点座標を、カメラ２００の内部パラメータに基づいて、正規化始点座標及び正規化終点座標へ変換する（Ｓ４０２）。

外部パラメータ算出部１１３は、各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出する（Ｓ４０３）。

ここで、外部パラメータ算出部１１３による外部パラメータの算出について具体例を用いて詳しく説明する。なお、以下の説明では、図１０に示した記号を用いる。すなわち、カメラ２００は、世界座標系のｚ軸上のｃ＝［０，０，ｈ］^Ｔに位置している。また、世界座標系のｘｙ平面に対するｚ_ｃ軸の投影は、世界座標系のｙ軸と重なっている。また、ｉ番目の世界座標空間内法線ベクトルの始点Ｍ_ｉ＝［ｘ_ｉ，ｙ_ｉ，０］^Ｔ及び終点Ｍ_ｉ’＝［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］^Ｔは、それぞれ、画像平面上では、ｍ_ｉ＝［ｕ_ｉ，ｖ_ｉ，１］^Ｔ及びｍ_ｉ’＝［ｕ_ｉ’，ｖ_ｉ’，１］^Ｔとして観測されている。ここで、ｍ_ｉ及びｍ_ｉ’は、内部パラメータにより正規化された斉次座標系で表されている。また、上添え字のＴは、ベクトル又は行列の転置を表している。

まず、解くべき問題の定義を行うことにする。

カメラ２００の回転行列Ｒは、上記の通り、ｙ_ｃ軸周りの回転角度をゼロとおけるため、ｘ_ｃ軸周りの回転角度θ_ｘ及びｚ_ｃ軸周りの回転角度θ_ｚを用いて、次の式（１）によって表すことができる。

また、カメラ２００の並進ベクトルtは、カメラ２００の位置ｃと回転行列Ｒとを用いて、次の式（２）によって表すことができる。

ここで、ｒ_ｊは、回転行列Ｒの第ｊ列目のベクトルを表している。すなわち、式（２）は、並進ベクトルtが、ｚ_ｃ軸周りの回転ベクトルの定数倍であることを示している。

上記の式（１）及び式（２）を用いると、ｉ番目の世界座標空間内法線ベクトルと画像平面内法線ベクトルとの射影関係は、次の式（３）によって表される。

ここで、本実施の形態では、世界座標系を任意に設定できるため、世界座標空間内法線ベクトルの始点及び終点の３次元座標ｘ_ｉ，ｙ_ｉ，ｚ_ｉ（２≦ｉ≦ｎ）とカメラの高さｈとの間には、定数倍の不定性が存在する。すなわち、世界座標空間に対する既知の情報（例えば、ある１つの世界座標空間内法線ベクトルのメートル単位での長さ）が与えられない限り、世界座標空間における絶対的な位置関係は不明で、相対的な位置関係のみが求められる。換言すれば、相対的な大きさは、任意に決定できる。そこで、カメラの高さをｈ＝１とおくと、式（３）は、次の式（４）のように表すことができる。

式（４）より、ｎ個の画像平面内法線ベクトルを取得できた場合、その未知数の個数は、２＋３ｎ個である（ｘ_ｃ軸周りの回転角度θ_ｘ及びｚ_ｃ軸周りの回転角度θ_ｚ、並びに、各世界座標空間内法線ベクトルの始点及び終点の３次元座標ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）。一方、１つの画像平面内法線ベクトルから得られる条件数は、４個（ｕ_ｉ，ｖ_ｉ，ｕ_ｉ’，ｖ_ｉ’）であるため、ｎ個の画像平面内法線ベクトルを取得できた場合の条件数は、４ｎ個である。すなわち、ｎが２以上のとき、条件数が未知数を上回る（４ｎ＞２＋３ｎ）ことになり、問題を解くことが可能になる。

続いて、式（４）を解くことにより、回転行列Ｒ及び並進ベクトルｔを算出する方法について説明する。

射影的奥行きλ、λ’を用いて、式（４）の両辺の不定性を除くと、次の式（５）で表される。

式（５）における上式と下式との差分は、次の式（６）によって表される。

式（６）は、３つのベクトルｍ_ｉ、ｍ_ｉ’及びｒ_３が、互いに線形従属であることを示している。すなわち、式（７）に示すように、これら３つのベクトルのスカラー３重積は、ゼロである。

１つの画像平面内法線ベクトル毎に、式（７）が得られる。

従って、２つの画像平面内法線ベクトルが取得できた場合、ｒ_３は、次の式（８）に表すように、ベクトルのクロス積を用いて、算出することができる。

また、ｎ個の画像平面内法線ベクトルが取得できた場合、次の式（９）に示す最小二乗法によって、ｒ_３は算出することができる。

以上のように、回転行列Ｒの第３列目ｒ_３を算出することができる。

上記の式（１）に示したように、回転行列Ｒの第３列目ｒ_３は、θ_ｘ及びθ_ｚを用いて陽に表されている。すなわち、ｒ_３の各成分から逆三角関数を用いて、θ_ｘ及びθ_ｚを算出することができる。回転行列Ｒは、ｘ_ｃ軸周りの回転及びｚ_ｃ軸周りの回転のみで表されているため、θ_ｘ及びθ_ｚを算出できれば、回転行列Ｒの全成分を算出することができる。

ここで、式（８）及び式（９）は、２つ以上の画像平面内法線ベクトルを取得できれば、回転行列を推定可能であることを示している。また、取得される画像平面内法線ベクトルの数が増えても、その未知数は、回転行列の第３列のみである。式（９）は、数値的に安定な線形最小二乗法であり、nが大きいほど安定する。従って、上記の特許文献２で用いられている評価関数と異なり、取得する画像平面内法線ベクトルの数が多ければ、より高精度に回転行列を求めることができる。

並進ベクトルtは、回転行列Ｒの第３列ｒ_３そのものであるから、回転行列Ｒの計算と同時にすでに計算されたことになる。

以上のように本実施の形態では、カメラキャリブレーション部において、人物の背骨の線分等に対応する各画像平面内法線ベクトルについて得られた正規化始点座標のベクトルと正規化終点座標のベクトルとのクロス積とカメラ２００についての回転行列におけるｚ_ｃ軸周りの回転ベクトルとの内積である、スカラー３重積を、複数の画像平面内法線ベクトルについて算出する。そして、カメラキャリブレーション部は、算出した複数のスカラー３重積の総和を上記の評価関数として用いて、該総和を最少化することが期待される所望のｚ_ｃ軸周りの回転ベクトルを算出する。そして、カメラキャリブレーション部は、算出した所望のｚ_ｃ軸周りの回転ベクトルに基づいて回転行列を算出する。そして、カメラキャリブレーション部は、算出した回転行列を出力すると共に、算出した所望のｚ_ｃ軸周りの回転ベクトルをカメラ２００についての並進ベクトルとして出力する。

このカメラキャリブレーション部の構成により、劣決定問題を回避して、外部パラメータを算出することができる。これにより、外部パラメータを精度良く算出することができる。また、３次元座標が未知の条件下で画像情報のみを利用して単眼カメラの校正が可能である。
したがって、本実施の形態によれば、より精度よくカメラパラメータを算出することができるため、このカメラパラメータを用いてさらに効果的に社会的距離を検出することが可能となる。

＜変形例＞
実施の形態２におけるカメラキャリブレーション部を含む社会的距離分析装置に対しては、次の様な変形を施すことができる。

＜１＞世界座標系及びカメラ座標系の設定は、上記の設定に限定されない。例えば、ある１つの世界座標空間内法線ベクトルの始点を世界座標系の原点とし、別の世界座標空間内法線ベクトルをｘ軸上に乗るようにしてもよい。その場合、Ｍ_１＝［０，０，０］^Ｔ、Ｍ_１’＝［０，０，ｚ_１］^Ｔ、Ｍ_２＝［０，ｙ_２，０］^Ｔ、Ｍ_１’＝［０、ｙ_２，ｚ_２］^Ｔとなり、並進ベクトルｔは、回転行列の第３列とはならない。しかし、未知数の数は変わらないため、２つ以上の画像平面内法線ベクトルが取得できれば、回転行列及び並進ベクトルを求めることができる。異なる３次元座標系は剛体変換によって一致できるため、原点の設定により解くべき未知数が変わったとしても数学的には等価な問題である。

＜２＞基準平面は、水平面に限定されない。例えば、壁面を基準平面として、床面に平行な線分を世界座標空間内法線ベクトルと定義してもよい。

＜３＞回転行列の表現方法は、上記の式（１）に限定されない。例えば、ｙ軸周りの成分をゼロとした四元数を用いてもよい。

＜４＞回転行列の第３列の計算方法は、式（８）または式（９）に限定されない。式（８）及び式（９）は、画像平面内法線ベクトル同士の交点、つまり、垂直方向の消失点を求めていることに等しい。そのため、垂直方向の消失点を計算する様々な方法を代替に用いてもよい。また、式（９）はいわゆる代数学的誤差を最小化しているが、幾何学的誤差やサンプソン誤差といったより高度な誤差解析方法を用いてもよい。さらに、公知であるＲＡＮＳＡＣ（Random Sample Consensus）や重み付き最小二乗法を式（８）及び式（９）と組み合わせて、誤差の大きい画像平面内法線ベクトルを除去しながら、消失点を計算してもよい。

＜５＞世界座標空間内法線ベクトルの始点のz座標は、ゼロに限定されない。すなわち、世界座標空間内法線ベクトルは必ずしも基準平面に接している必要はない。なぜならば、式（６）から式（７）への導出で示したように、z座標の値は消去されるため、式（８）及び式（９）へ影響を与えないからである。

（実施の形態３）
実施の形態３では、実施の形態２におけるカメラキャリブレーション部が算出したカメラパラメータを用いて３次元座標を算出する例について説明する。

本実施の形態では、画像平面内法線ベクトルと、回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する。カメラキャリブレーション部１０３を含む社会的距離分析装置１００の構成は、実施の形態１及び２と同じである。すなわち、カメラキャリブレーション部１０３が、実施の形態２に係るカメラキャリブレーション方法によりカメラパラメータを算出し、座標算出部１０５が、算出されたカメラパラメータを用いて画像内の背骨の線分等の３次元座標を算出する。なお、カメラキャリブレーション部１０３において、カメラキャリブレーション処理及び３次元座標算出処理を行ってもよい。

本実施の形態に係る座標算出部１０５は、法線ベクトル取得部１１１にて取得された複数の画像平面内法線ベクトルと、外部パラメータ算出部１１３にて算出された回転行列及び並進ベクトルとに基づき、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する。

座標算出部１０５は、上記の式（４）を変形することによって得られる、次の式（１０）を用いて、上記の３次元座標を算出することができる。

ただし、ベクトルｒ_１，ｒ_２，ｒ_３は、それぞれ、前記回転行列の列ベクトルを表し、ｍ_ｉ及びｍ_ｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］は、算出対象の３次元座標を表す。

式（１０）は、［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］^Ｔを未知数とする線形連立方程式であるので、容易に解くことができる。

図１３は、本実施の形態に係るカメラキャリブレーション部を含む社会的距離分析装置の動作例を示している。図１３においてＳ４０１からＳ４０３は、図１２と同じである。

座標算出部１０５は、Ｓ４０１にて取得された画像平面内法線ベクトルと、Ｓ４０３にて算出された回転行列及び並進ベクトルとに基づき、各画像平面内法線ベクトル（例えば背骨の線分）の正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する（Ｓ４０４）。

＜変形例＞
実施の形態３におけるカメラキャリブレーション部を含む社会的距離分析装置に対しては、次の様な変形を施すことができる。

＜１＞各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出ために、式（４）を利用したが、これに限定されるものではない。例えば、式（５）を変形した式によって、射影的奥行きも含めて３次元座標を計算してもよい。

＜２＞座標算出部１０５は、複数の画像平面内法線ベクトルと回転行列及び並進ベクトルとに加えて、複数の画像平面内法線ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又はカメラ座標系の原点のｚ軸上の座標とに基づき、絶対的な３次元座標を算出してもよい。すなわち、取得した複数の画像平面内法線ベクトルの中で少なくとも１つに対応する世界座標空間内法線ベクトルについて、その絶対的な長さ（例えばメートル単位）が既知である場合、それを利用して、相対的な関係であるカメラ位置や世界座標空間内法線ベクトルの３次元座標を絶対的な関係へと変換できる。例えば、あるｊ番目の世界座標空間内法線ベクトルの終点のｚ座標がｚ_ｊ＝ａと既知である場合、その他の世界座標空間内法線ベクトルの３次元座標とカメラの高さｈについて、ａ／ｚ_ｊ倍すればよい。この例では、背骨の線分の長さ（高さ）が既知であるとして、人物の背骨の３次元座標を算出してもよい。なお、この処理は、座標算出部１０５がｚ_ｊ＝ａを入力として受け付けて３次元座標の出力前に座標算出部１０５によって実行されてもよいし、座標算出部１０５から３次元座標が出力された後に実行されてもよい。

（実施の形態４）
実施の形態４では、実施の形態３における座標算出部の３次元座標の算出後の最適化処理の例について説明する。

本実施の形態では、回転行列、並進ベクトル、及び、座標算出部にて算出された各画像平面内法線ベクトルについての２つの３次元座標の最適化処理を行う。カメラキャリブレーション部及び社会的距離分析装置の構成は、実施の形態１〜３と同じである。すなわち、カメラキャリブレーション部１０３が、実施の形態２に係るカメラキャリブレーション方法によりカメラパラメータを算出し、座標算出部１０５が、実施の形態３に係る算出方法で画像内の背骨の線分等の３次元座標を算出し、さらに最適化処理を行う。なお、カメラキャリブレーション部１０３において、カメラキャリブレーション処理、３次元座標算出処理及び最適化処理を行ってもよい。

本実施の形態に係る座標算出部（最適化部）１０５は、実施の形態３のように、各画像平面内法線ベクトルについての２つの３次元座標を算出するとともに、回転行列、並進ベクトル、及び、算出された２つの３次元座標の「最適化処理」を実行する。なお、座標算出部１０５とは別に「最適化処理」を実行する最適化部を備えていてもよい。

例えば、座標算出部１０５は、「最適化処理」にて、算出された各画像平面内法線ベクトルについての上記２つの３次元座標を外部パラメータ算出部１１３から出力された回転行列及び並進ベクトルを用いて画像平面に射影した２つの「再投影座標」を算出する。そして、座標算出部１０５は、算出した各画像平面内法線ベクトルについての２つの「再投影座標」と各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である「再投影誤差」を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の上記２つの３次元座標を求める。これにより、回転行列、並進ベクトル、及び、上記２つの３次元座標が高精度化される。

例えば、座標算出部１０５は、次の式（１１）に基づいて、算出された各画像平面内法線ベクトルについての上記２つの３次元座標と外部パラメータ算出部１１３から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を実行してもよい。

ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ_３は、並進ベクトルを表し、ｍ_ｉ及びｍ_ｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍ_ｉ及びＭ_ｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θ_ｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θ_ｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘ_ｉ，ｙ_ｉ，ｚ_ｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。

ここで、上記の式（８）〜（１０）は、いわゆる代数的誤差を最小化する線形連立方程式に基づいている。また、回転行列、並進ベクトル、３次元座標と順番に計算していくため、後段になるほど誤差が蓄積する可能性がある。そこで、式（１１）に表されるようないわゆる再投影誤差を最小化することで、パラメータ間の誤差を均質化し、統計的に最適なパラメータを計算することができる。

図１４は、本実施の形態に係るカメラキャリブレーション部を含む社会的距離分析装置の動作例を示している。

座標算出部１０５は、Ｓ４０３にて算出された回転行列及び並進ベクトル、並びに、ステップＳ４０４にて算出された各画像平面内法線ベクトル（例えば背骨の線分）についての２つの３次元座標の、「最適化処理」を実行する（Ｓ４０５）。

＜変形例＞
実施の形態４におけるカメラキャリブレーション部を含む社会的距離分析装置に対しては、次の様な変形を施すことができる。

上記の式（１１）において、必ずしもすべてのパラメータを最適化する必要はない。例えば、実施の形態３の変形例＜２＞で述べたように、長さが既知の世界座標空間内法線ベクトルが存在する場合、その法線ベクトル（例えば背骨の線分）の両端点の３次元座標は変数ではなく固定値としてよい。これにより、未知数の数が減少するため、より安定して式（１１）の最適化を行うことができる。

（実施の形態５）
以下、図面を参照して実施の形態５について説明する。本実施の形態では、実施の形態１の社会的距離分析装置におけるカメラキャリブレーション部の他の例について説明する。

＜カメラ座標系と世界座標系の関係＞
図１５を用いて、本実施の形態におけるカメラ２００の「カメラ座標系」と「世界座標系」との関係について説明する。この例では、カメラ２００は、「世界座標系」における撮影対象エリアを撮影して画像Ｆ２を形成する。

図１５に示すように、世界座標系の原点は、第１世界座標空間内法線ベクトルの始点（Ｍ_１）と一致している。また、第１世界座標空間内法線ベクトルの終点（Ｍ’_１）は、世界座標系のｚ軸上に位置している。また、第２世界座標空間内法線ベクトルの始点（Ｍ_２）は、世界座標系のｘ軸上に位置している。すなわち、第１世界座標空間内法線ベクトルの始点（Ｍ_１）と第２世界座標空間内法線ベクトルの始点（Ｍ_２）とを結ぶ直線は、世界座標系のｘ軸と一致する。そして、ｘ軸及びｚ軸の両方と直交する方向を、ｙ軸としている。すなわち、上記の「基準平面」は、世界座標系のｘｙ平面と一致する。ここで、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルの長さは同じであり、第１世界座標空間内法線ベクトルの終点（Ｍ’_１）及び第２世界座標空間内法線ベクトルの終点（Ｍ’_２）のｚ座標は、共に「ｚ」となっている。

なお、本実施の形態では、実施の形態２と同様、世界座標系の３次元座標は明示的には与えられないため、世界座標系とカメラ座標系とは、相対的に等価であれば、任意に定義付けしてよい。そのため、図１５に示すように、世界座標系及びカメラ座標系を設定しても、一般性は失われない。なお、図１５において、Ｒは、回転ベクトルを表し、ｔは、並進ベクトルを表している。すなわち、世界座標に対するカメラ２００の位置及び姿勢は、回転行列Ｒ及び並進ベクトルｔによって表される。

＜カメラキャリブレーション部の構成例＞
図１６は、本実施の形態に係るカメラキャリブレーション部の構成例を示している。図１６に示すように、本実施の形態に係るカメラキャリブレーション部１０３は、法線ベクトル取得部１２１と、射影的奥行き算出部１２２と、カメラパラメータ算出部１２３とを有している。

法線ベクトル取得部１２１は、カメラ２００によって「世界座標空間」が撮影された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。実施の形態２と同様、複数の「画像平面内法線ベクトル」は、「世界座標空間」における「基準平面」に対する複数の「世界座標空間内法線ベクトル」にそれぞれ対応しており、「基準平面」は、例えば地面又は床等の水平面であってもよい。例えば、法線ベクトル取得部１２１は、複数の「画像平面内法線ベクトル」として、実施の形態１及び２のように、人関節検出部１０４により検出された複数の人物の関節点間の骨線分を取得する。本実施の形態においても、地面に対し垂直に近い線分として、人物の背骨の線分を使用することが好ましい。なお、「世界座標空間内法線ベクトル」は、上記の水平面に対して垂直に延びる、その他の線分であってもよい。

ここで、法線ベクトル取得部１２１によって取得される複数の「画像平面内法線ベクトル」は、同じ長さを有する２つの世界座標空間内法線ベクトルにそれぞれ対応する、２つの画像平面内法線ベクトルを含む。本実施の形態では、同じ長さを有する２つの世界座標空間内法線ベクトルを、「第１世界座標空間内法線ベクトル」及び「第２世界座標空間内法線ベクトル」と呼ぶことがある。また、「第１世界座標空間内法線ベクトル」及び「第２世界座標空間内法線ベクトル」にそれぞれ対応する２つの画像平面内法線ベクトルを、「第１画像平面内法線ベクトル」及び「第２画像平面内法線ベクトル」と呼ぶことがある。図１５の例では、画像Ｆ２において、世界座標系の第１世界座標空間内法線ベクトル（Ｍ_１）、第２世界座標空間内法線ベクトル（Ｍ_２）のそれぞれに対応する、第１画像平面内法線ベクトル（ｍ_１）、第２画像平面内法線ベクトル（ｍ_２）を取得する。カメラ２００が撮像した１または複数の画像から二人の人物における２つの背骨の線分を同じ長さ（もしくは身長）のものであるとして取得してもよいし、複数の画像から同じの人物における２つの背骨の線分を取得してもよい。例えば、１０秒〜６０秒の間に撮像された映像から二人の人物における人物における２つの背骨の線分を取得する。上記のように、基準の長さとして、人物の骨の長さ（もしくは身長）が入力されるため、人物の背骨の線分の実空間における長さ（高さ）が既知であるとして算出に用いてもよい。例えば、背骨の長さの平均値を、二人の人物の背骨の線分の実空間における長さであるとしてもよい。

射影的奥行き算出部１２２は、第１画像平面内法線ベクトルの始点及び終点並びに第２画像平面内法線ベクトルの始点及び終点にそれぞれ対応する４つの「射影的奥行き」をベクトル要素とする「射影的奥行きベクトル」を算出する。本実施の形態では、第１画像平面内法線ベクトルの始点及び終点を、「第１始点」及び「第１終点」と呼ぶことがある。また、第２画像平面内法線ベクトルの始点及び終点を、「第２始点」及び「第２終点」と呼ぶことがある。

すなわち、射影的奥行き算出部１２２は、カメラ２００から、第１始点の３次元座標に対する、射影的奥行きを算出する。第１終点、第２始点、及び、第２終点についても、同様に、射影的奥行きを算出する。すなわち、「射影的奥行き」とは、射影空間におけるカメラ２００から見た３次元座標までの奥行きを意味する。

例えば、射影的奥行き算出部１２２は、射影的奥行きベクトルが、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルを行列要素とする「第１行列」の「ゼロ空間」である、関係に基づいて、射影的奥行きベクトルを算出する。なお、「射影的奥行きベクトル」の算出については、後に詳しく説明する。

カメラパラメータ算出部１２３は、カメラ２００の内部パラメータ及び外部パラメータを算出する。この算出は、射影的奥行き算出部１２２にて算出された射影的奥行きベクトルと、「第１画像平面内始点ベクトル」、「第１画像平面内終点ベクトル」、「第２画像平面内始点ベクトル」、及び「第２画像平面内終点ベクトル」とに基づいて行われる。「第１画像平面内始点ベクトル」及び「第１画像平面内終点ベクトル」は、第１始点及び第１終点にそれぞれ対応し、「第２画像平面内始点ベクトル」及び「第２画像平面内終点ベクトル」は、第２始点及び第２終点にそれぞれ対応する。

カメラパラメータ算出部１２３は、内部パラメータ算出部１２３Ａと、外部パラメータ算出部１２３Ｂとを有している。

内部パラメータ算出部１２３Ａは、射影的奥行き算出部１２２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルとに基づいて、カメラ２００の焦点距離ｆを算出する。カメラ２００の焦点距離ｆは、内部パラメータの１つである。この焦点距離ｆの算出では、例えば、回転行列Ｒの各２つの列ベクトルの間の直交関係が用いられる。なお、内部パラメータの算出については、後に詳しく説明する。

外部パラメータ算出部１２３Ｂは、射影的奥行き算出部１２２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルと、内部パラメータ算出部１２３Ａにて算出された焦点距離ｆとに基づいて、回転行列Ｒ及び並進ベクトルｔを算出する。なお、外部パラメータの算出については、後に詳しく説明する。

このように本実施の形態では、カメラキャリブレーション部において、それぞれが世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを人物の背骨の線分等から取得し、さらに、第１画像平面内法線ベクトルの始点及び終点並びに第２画像平面内法線ベクトルの始点及び終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する。このような構成により、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる。

例えば、上記の特許文献３には、関連するカメラキャリブレーション方法として、平面の校正ボードを用いる方法が記載されている。この方法では、３次元座標が平面上に分布している点として既定されており、画像処理により各点の３次元座標を取得して、外部パラメータを計算する。高精度にカメラ校正を行うためには、画面の中央や一部のみに対応点が偏在することなく、画面全体に満遍なく３次元座標が観測されることが望ましい。しかしながら、この方法において、広域の環境を観測するカメラを校正するためには、巨大な平面校正物体が必要なため、事実上校正が不可能であるか、又は、可能であったとしても利便性が良くない可能性がある。本実施の形態によれば、射影的奥行きベクトルを算出することができるので、校正ボードを用いることなく、内部パラメータ及び外部パラメータを算出することができ、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる。

＜カメラキャリブレーション部の動作例＞
図１７は、本実施の形態に係るカメラキャリブレーション部の動作例を示している。

法線ベクトル取得部１２１は、カメラ２００で撮影された画像から、第１画像平面内法線ベクトル（例えば第１の背骨の線分）及び第２画像平面内法線ベクトル（例えば第２の背骨の線分）を取得する（Ｓ５０１）。

射影的奥行き算出部１２２は、第１画像平面内法線ベクトルの第１始点及び第１終点並びに第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの「射影的奥行き」をベクトル要素とする「射影的奥行きベクトル」を算出する（Ｓ５０２）。

内部パラメータ算出部１２３Ａは、Ｓ５０２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルとに基づいて、カメラ２００の焦点距離ｆを算出する（Ｓ５０３）。

外部パラメータ算出部１２３Ｂは、Ｓ５０２にて射影的奥行き算出部１２２にて算出された射影的奥行きベクトルと、第１画像平面内始点ベクトル、第１画像平面内終点ベクトル、第２画像平面内始点ベクトル、及び第２画像平面内終点ベクトルと、Ｓ５０３にて算出された焦点距離ｆとに基づいて、回転行列Ｒ及び並進ベクトルｔを算出する（Ｓ５０４）。

ここで、射影的奥行きベクトル、内部パラメータ、及び外部パラメータの算出について具体例を用いて詳しく説明する。以下では、図１５に示した記号を用いる。すなわち、世界座標系の原点は、第１世界座標空間内法線ベクトルの始点Ｍ_１＝［０，０，０］^Ｔと一致している。第１世界座標空間内法線ベクトルの終点Ｍ’_１は、世界座標系のｚ軸上に位置しており、Ｍ’_１＝［０，０，０］^Ｔである。ｘ軸は、始点Ｍ_１と第２世界座標空間内法線ベクトルの始点Ｍ_２（Ｍ_２＝［ｘ_２，０，０］^Ｔ）とを結ぶ直線と一致する。カメラ２００は、世界座標系の原点から回転行列Ｒ、並進ベクトルtの位置にある。また、ｉ番目の世界座標空間内法線ベクトルの始点Ｍ_ｉ＝［ｘ_ｉ，０，０］^Ｔ及び終点Ｍ_ｉ’＝［ｘ_ｉ，０，ｚ］^Ｔは、それぞれ、画像平面上では、ｍ_ｉ＝［ｕ_ｉ，ｖ_ｉ，１］^Ｔ及びｍ_ｉ’＝［ｕ_ｉ’，ｖ_ｉ’，１］^Ｔとして観測されている。ｍ_ｉ及びｍ_ｉ’は、斉次座標系で表されている。また、上添え字のＴは、ベクトル又は行列の転置を表している。ここで、カメラ２００がデジタルカメラである場合には、スキューがなく、また、光学中心を画像中心とほぼ近似できるため、未知の内部パラメータは、焦点距離ｆとする。

まず、解くべき問題の定義を行うことにする。

第ｉ世界座標空間内法線ベクトルの始点及び終点は、式（１２）を用いて、３次元空間から画像座標へ射影することができる。

ここで、λ_ｉは、第ｉ画像平面内法線ベクトルの始点の射影的奥行きを表し、λ’_ｉは、第ｉ画像平面内法線ベクトルの終点の射影的奥行きを表す。Ｋは、内部パラメータ行列を表す。

式（１２）を、第１画像平面内法線ベクトル、第２画像平面内法線ベクトル、第１世界座標空間内法線ベクトル、及び第２世界座標空間内法線ベクトルについて書き下すと、式（１３）のように表すことができる。

ここで、ｒ_ｊは、回転行列Ｒにおけるｊ番目の列ベクトルを表している。

式（１３）における、１番目の式と２番目の式との差分をとり、３番目の式と４番目の式との差分をとると、式（１４）が得られる。

式（１４）は、１番目の式と２番目の式とが等しいことを示しているため、１番目の式と２番目の式との差分をとると、式（１５）が得られる。

式（１５）は、射影的奥行きが、３×４の行列Ａのゼロ空間であることを示している。換言すれば、射影的奥行きベクトル［λ_１，λ’_１，λ_２，λ’_２］^Ｔは、第１画像平面内始点ベクトルｍ_１、第１画像平面内終点ベクトルｍ’_１、第２画像平面内始点ベクトルｍ_２、及び第２画像平面内終点ベクトルｍ’_２を行列要素とする行列Ａのゼロ空間である。すなわち、スケール不定性を除いて各射影的奥行きの比率を求めることができる。符号の不定性も存在するが、式（１２）に基づく射影的奥行きの符号は正のため、すべてのλの符号が正となるように選択すればよい。

次に、算出された射影的奥行きを用いて焦点距離を算出する方法について説明する。

式（１３）の３番目の式及び４番目の式を式（１５）に代入して整理し、また、式（１３）の２番目の式及び４番目の式を式（１５）に代入して整理すると、式（１６）が得られる。

回転行列の正規直交性（ｒ_１ ^Ｔｒ_３＝０）を利用すると、焦点距離ｆについて式（１７）が得られる。

式（１７）は、ｆについての２次式であるが、正符号の解を求めればよい。こうして、内部パラメータを算出することができる。

次に、外部パラメータである回転行列Ｒ及び並進ベクトルｔを算出する方法について説明する。

回転行列Ｒの各列ベクトルのＬ２ノルムが１であることから、式（１６）から式（１８）を得ることができる。// //は、Ｌ２ノルムを表す。

また、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルの高さｚ、及び、第２世界座標空間内法線ベクトルのｘ軸座標ｘ_２は、世界座標系の定義により、符号が正である。よって、回転行列Ｒは、式（１９）によって表すことができる。

回転行列Ｒの２番目の列ベクトルには符号の不定正が存在するが、回転行列Ｒの行列式がｄｅｔ（Ｒ）＝１となる符号を選択すればよい。こうして、式（１８），（１９）によって回転行列Ｒを算出することができる。

並進ベクトルｔは、式（１３）の１番目の式を用いて、式（２０）によって表すことができる。

こうして、式（２０）によって並進ベクトルｔを算出することができる。

以上のように本実施の形態では、カメラキャリブレーション部において、それぞれが世界座標空間における基準平面に対する法線ベクトルであり且つ互いに同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを人物の背骨の線分等から取得する。そして、カメラキャリブレーション部は、第１画像平面内法線ベクトルの始点及び終点並びに第２画像平面内法線ベクトルの始点及び終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する。

このカメラキャリブレーション部の構成により、射影的奥行きベクトルを算出することができるので、校正ボードを用いることなく、内部パラメータ及び外部パラメータを算出することができる。すなわち、より簡便な方法で内部パラメータ及び外部パラメータを算出することができる。また、３次元座標が未知の条件下で画像情報のみを利用して単眼カメラの校正が可能である。その理由は、以下の通りである。まず、式（１３）より、未知数の数は、１３個（λ_１，λ’_１，λ_２，λ’_２，ｘ_２，ｚ，ｆ，ｔ，回転行列Ｒの３軸回転角）である。しかし、射影的奥行きと３次元座標ｘ_２，ｚの間にはスケールの不定性が存在するため、実際の自由度は１２である。一方、１つの画像平面内法線ベクトルからは始点及び終点の座標として６個（ｍ_ｉ＝［ｕ_ｉ，ｖ_ｉ，１］^Ｔ、ｍ_ｉ’＝［ｕ_ｉ’，ｖ_ｉ’，１］^Ｔ）の拘束条件が観測できるため、２つの画像平面内法線ベクトルでは１２個になる。このように、未知数の自由度と拘束条件の数が一致するため、問題を解くことが可能となる。
したがって、本実施の形態によれば、より簡便な方法でカメラパラメータを算出することができるため、このカメラパラメータを用いてさらに効果的に社会的距離を検出することが可能となる。

＜変形例＞
実施の形態５におけるカメラキャリブレーション部を含む社会的距離分析装置に対しては、次の様な変形を施すことができる。

＜１＞世界座標系及びカメラ座標系の設定は、上記の設定に限定されない。例えば、次のような設定であってもよい。すなわち、カメラ座標系の原点は、世界座標系のｚ軸上に位置し、世界座標系の座標［０，０，ｈ］（＝ｃ）を有している。また、カメラ座標系のｚ_ｃ軸は、カメラ２００の光軸に対応する。そして、世界座標系のｘｙ平面に対するｚ_ｃ軸の投影は、世界座標系のｙ軸と重なる。すなわち、世界座標系の＋ｚ方向から見たときに、カメラ座標系のｚ_ｃ軸と世界座標系のｙ軸とは重なるようになっている。このような設定にしても、未知数の数は変わらないため、２つ以上の法線ベクトルが取得できれば求めることができる。異なるスケールの３次元座標系は相似変換によって一致できるため、数学的には等価な問題である。

＜２＞基準平面は、水平面に限定されない。例えば、壁面を基準平面として、床面に平行な線分を世界座標空間内法線ベクトルと定義してもよい。

＜３＞画像平面内法線ベクトルが３つ以上取得できた場合には、公知であるＲＡＮＳＡＣや重み付き最小二乗法を利用して、尤もらしい、射影的奥行きベクトル、内部パラメータ、及び外部パラメータの解を算出してもよい。

（実施の形態６）
実施の形態６では、実施の形態５におけるカメラキャリブレーション部が算出したカメラパラメータを用いて３次元座標を算出する例について説明する。

本実施の形態では、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、内部パラメータ及び外部パラメータとに基づいて、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する。カメラキャリブレーション部を含む社会的距離分析装置の構成は、実施の形態１及び５と同じである。すなわち、カメラキャリブレーション部１０３が、実施の形態５に係るカメラキャリブレーション方法によりカメラパラメータを算出し、座標算出部１０５が、算出されたカメラパラメータを用いて画像内の背骨の線分等の３次元座標を算出する。なお、カメラキャリブレーション部１０３において、カメラキャリブレーション処理及び３次元座標算出処理を行ってもよい。

本実施の形態に係る座標算出部１０５は、法線ベクトル取得部１２１にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、カメラパラメータ算出部１２３にて算出された内部パラメータ及び外部パラメータとに基づき、各画像平面内法線ベクトルの始点座標及び終点座標についての、世界座標系における２つの３次元座標を算出する。すなわち、座標算出部１０５は、法線ベクトル取得部１２１にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、カメラパラメータ算出部１２３にて算出された内部パラメータ及び外部パラメータとに基づき、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する。

式（１２）を変形すると、式（２１）又は式（２２）が得られる。式（２１）は、第１世界座標空間内法線ベクトルの長さと第２世界座標空間内法線ベクトルの長さとが同じ場合において、３次元座標を求める式である。一方、式（２２）は、第１世界座標空間内法線ベクトルの長さと第２世界座標空間内法線ベクトルの長さとが異なる場合において、３次元座標を求める式である。なお、ここでの式（１２）の変形は、式（１２）の１番目の式の両辺のベクトルが等しいことから、これらのクロス積がゼロとなることを利用している。式（１２）の２番目の式についても同様である。

ただし、ベクトルｒ_１，ｒ_２，ｒ_３は、それぞれ、回転行列Ｒの列ベクトルを表し、［ｘ_ｉ，ｙ_ｉ］及び［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］は、算出対象の３次元座標を表す。式（２１）の場合、ｚ_ｉは、ｚである。

式（２１）及び式（２２）は、線形連立方程式であるから、容易に解くことができる。

図１８は、本実施の形態に係るカメラキャリブレーション部を含む社会的距離分析装置の動作例を示している。図１８においてＳ５０１からＳ５０４は、図１７と同じである。

座標算出部１０５は、は、Ｓ５０１にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、Ｓ５０３，Ｓ５０４にて算出された内部パラメータ及び外部パラメータとに基づき、第１画像平面内法線ベクトル（例えば第１の背骨の線分）及び第２画像平面内法線ベクトル（例えば第２の背骨の線分）に対応する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する（Ｓ５０５）。

＜変形例＞
実施の形態６におけるカメラキャリブレーション部を含む社会的距離分析装置に対しては、次の様な変形を施すことができる。

＜１＞第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出するための式は、式（２１）、式（２２）に限定されるものではない。例えば、式（２１）、式（２２）では消去されている射影的奥行きを含めて３次元座標が算出されてもよい。

＜２＞座標算出部１０５は、複数の画像平面内法線ベクトルと内部パラメータ及び外部パラメータとに加えて、複数の画像平面内法線ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又はカメラ座標系の原点のｚ軸上の座標とに基づき、絶対的な３次元座標を算出してもよい。すなわち、取得した複数の画像平面内法線ベクトルの中で少なくとも１つに対応する世界座標空間内法線ベクトルについて、その絶対的な長さ（例えばメートル単位）が既知である場合、それを利用して、相対的な関係であるカメラ位置や世界座標空間内法線ベクトルの３次元座標を絶対的な関係へと変換できる。例えば、あるｊ番目の世界座標空間内法線ベクトルの終点のｚ座標がｚ_ｊ＝ａと既知である場合、その他の世界座標空間内法線ベクトルの３次元座標とカメラ位置ｃ＝−Ｒ^Ｔｔについてａ／ｚ_ｊ倍すればよい。この例では、背骨の線分の長さ（高さ）が既知であるとして、人物の背骨の３次元座標を算出してもよい。なお、この処理は、座標算出部１０５がｚ_ｊ＝ａを入力として受け付けて３次元座標の出力前に座標算出部１０５によって実行されてもよいし、座標算出部１０５から３次元座標が出力された後に実行されてもよい。

（実施の形態７）
実施の形態７では、実施の形態６における座標算出部の３次元座標の算出後の最適化処理の例について説明する。

本実施の形態は、内部パラメータ、外部パラメータ、及び、３次元座標算出部にて算出された各画像平面内法線ベクトルについての２つの３次元座標の最適化処理を行う。カメラキャリブレーション部及び社会的距離分析装置の構成は、実施の形態１、５、６と同じである。すなわち、カメラキャリブレーション部１０３が、実施の形態５に係るカメラキャリブレーション方法によりカメラパラメータを算出し、座標算出部１０５が、実施の形態６に係る算出方法で画像内の背骨の線分等の３次元座標を算出し、さらに最適化処理を行う。なお、カメラキャリブレーション部１０３において、カメラキャリブレーション処理、３次元座標算出処理及び最適化処理を行ってもよい。

本実施の形態に係る座標算出部（最適化部）１０５は、実施の形態６のように、各画像平面内法線ベクトルについての２つの３次元座標を算出するとともに、内部パラメータ、外部パラメータ、及び、算出された各画像平面内法線ベクトルについての２つの３次元座標の「最適化処理」を実行する。なお、座標算出部１０５とは別に「最適化処理」を実行する最適化部を備えていてもよい。

例えば、座標算出部１０５は、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を、カメラパラメータ算出部１２３にて算出された内部パラメータ及び外部パラメータを用いて、画像平面に射影した２つの「再投影座標」を算出する。そして、座標算出部１０５は、第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルのそれぞれの２つの「再投影座標」と、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルのそれぞれの始点及び終点との誤差である「再投影誤差」を最少化することが期待される、調整後の内部パラメータ、調整後の外部パラメータ、及び調整後の上記２つの３次元座標を求める。これにより、カメラ２００の内部パラメータ及び外部パラメータ並びに上記の３次元座標を最適化することができる。

例えば、座標算出部１０５は、式（２３）に基づいて、算出された３次元座標とカメラパラメータ算出部１２３によって算出された内部パラメータ及び外部パラメータとを初期値として用いて、非線形最適化を実行してもよい。座標算出部１０５は、例えば、レーベンバーグ・マーカード法や信頼領域法などの公知な方法を用いて式（２３）を解くことにより、各パラメータを最適化してもよい。ここで、座標算出部１０５は、カメラ２００の焦点距離、スキュー、光学中心、及びレンズ歪みの少なくとも１つを最適化対象の内部パラメータとしてもよい。

ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表す。

斉次化するため、射影的奥行きの最適化は不要である。式（２３）の３次元座標に関する拘束条件は、相対的な不定性を除去するためのものである。

ここで、式（１５）、式（１８）〜（２０）は、いわゆる代数的誤差を最小化する線形連立方程式に基づいている。また、射影的奥行き、焦点距離、回転行列、並進ベクトル、３次元座標と順番に計算していくため、後段になるほど誤差が蓄積する可能性がある。そこで、式（２３）に表されるようないわゆる再投影誤差を最小化することで、パラメータ間の誤差を均質化し、統計的に最適なパラメータを計算することができる。

図１９は、本実施の形態に係るカメラキャリブレーション部を含む社会的距離分析装置の動作例を示している。

座標算出部１０５は、Ｓ５０３，Ｓ５０４にて算出された内部パラメータ及び外部パラメータと、Ｓ５０５にて算出された各画像平面内法線ベクトル（例えば背骨の線分）についての２つの３次元座標の、「最適化処理」を実行する（Ｓ５０６）。

＜変形例＞
実施の形態７におけるカメラキャリブレーション部を含む社会的距離分析装置に対しては、次の様な変形を施すことができる。

＜１＞上記の式（２３）の計算において、必ずしもすべてのパラメータを最適化する必要はない。例えば、実施の形態６の変形例＜２＞で述べたように、長さが既知の世界座標空間内法線ベクトルが存在する場合、その法線ベクトル（例えば背骨の線分）の両端点の３次元座標は変数ではなく固定値としてよい。これにより、未知数の数が減少するため、より安定して式（２３）の最適化を行うことができる。

＜２＞内部パラメータ算出部１２３Ａではレンズ歪を求めていないが、式（２３）においては最適化対象のパラメータにレンズ歪を含めてもよい。すなわち、レンズ歪に起因して画像平面内法線ベクトルが画像上で曲線になる場合であっても、レンズ歪の小さい画像中心部の画像平面内法線ベクトルを利用して又はレンズ歪みを微小と仮定してＳ５０５までの処理を行った後に、式（２３）の計算においてレンズ歪を未知数として含めることによって、最終的な解を得ることができる。これにより、座標算出部１０５は、レンズ歪を求めることができる。

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２に係る第１のカメラキャリブレーション方法と実施の形態５に係る第２のカメラキャリブレーション方法の一方のみを実施してもよいし、両方を実施してもよい。例えば、外部パラメータを算出する場合、実施の形態２または実施の形態５の方法のいずれかを使用し、内部パラメータ及び外部パラメータを算出る場合、実施の形態５の方法を使用してもよい。

上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能（処理）を、図２０に示すような、ＣＰＵ（Central Processing Unit）等のプロセッサ２１及び記憶装置であるメモリ２２を有するコンピュータ２０により実現してもよい。例えば、メモリ２２に実施形態における方法（例えば社会的距離分析装置の処理）を行うためのプログラムを格納し、各機能を、メモリ２２に格納されたプログラムをプロセッサ２１で実行することにより実現してもよい。

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定する推定部と、
前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出する算出部と、
前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する検出部と、
を備える、検出装置。
（付記２）
前記算出部は、前記骨格情報に含まれる人物の骨に対応した骨線分に基づいて前記カメラパラメータを算出する、
付記１に記載の検出装置。
（付記３）
前記算出部は、前記骨格情報に含まれる骨線分から前記画像における基準平面に対する法線ベクトルを取得し、前記取得した法線ベクトルに基づいて前記カメラパラメータを算出する、
付記２に記載の検出装置。
（付記４）
前記算出部は、前記人物の背骨に対応する線分から前記法線ベクトルを取得する、
付記３に記載の検出装置。
（付記５）
前記算出部は、
前記骨格情報に基づいて、前記画像を撮像した世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する、前記画像の画像平面における複数の画像平面内法線ベクトルを取得する取得部と、
前記カメラの内部パラメータに基づいて、前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、正規化座標である正規化始点座標及び正規化終点座標へ変換する正規化座標変換部と、
前記変換により得られた各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出する外部パラメータ算出部と、
を備える、付記１乃至４のいずれか一項に記載の検出装置。
（付記６）
前記外部パラメータ算出部は、
前記変換により得られた各画像平面内法線ベクトルの前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとする、
付記５に記載の検出装置。
（付記７）
前記複数の画像平面内法線ベクトルは、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルであり、
前記外部パラメータ算出部は、次の式に基づいて、前記回転ベクトルを算出する、
付記６に記載の検出装置。

ただし、ｒは、前記回転ベクトルを表し、ｍ_１及びｍ_１’は、前記第１画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、ｍ_２及びｍ_２’は、前記第２画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、// //は、ノルムを表す。
（付記８）
前記カメラ座標系は、前記カメラ座標系の前記第１軸が前記カメラの光軸に対応し、前記カメラ座標系の原点が世界座標系の第１軸上に存在し、且つ、前記世界座標系の第２軸及び第３軸による平面に対する、前記カメラ座標系の前記第１軸の投影が、前記世界座標系の前記第２軸と重なるように、定義されている、
付記６又は７に記載の検出装置。
（付記９）
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
付記８記載の検出装置。
（付記１０）
前記３次元座標算出部は、次の式に基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する、
付記９記載の検出装置。

ただし、ベクトルｒ_１，ｒ_２，ｒ_３は、それぞれ、前記回転行列の列ベクトルを表し、ｍ_ｉ及びｍ_ｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］は、算出対象の３次元座標を表す。
（付記１１）
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルと、前記複数の画像平面内ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又は前記カメラ座標系の原点の前記世界座標系の第１軸上の座標とに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における絶対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
付記８記載の検出装置。
（付記１２）
前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標を前記外部パラメータ算出部から出力された回転行列及び並進ベクトルを用いて前記画像平面に射影した２つの再投影座標と前記各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である再投影誤差を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の前記２つの３次元座標を求めることにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、最適化部を具備する、
付記９から１１のいずれか１項に記載の検出装置。
（付記１３）
前記最適化部は、次の式に基づいて、前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標と前記外部パラメータ算出部から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を行うことにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、
付記１２に記載の検出装置。

ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ_３は、並進ベクトルを表し、ｍ_ｉ及びｍ_ｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍ_ｉ及びＭ_ｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θ_ｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θ_ｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘ_ｉ，ｙ_ｉ，ｚ_ｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。
（付記１４）
前記算出部は、
前記骨格情報に基づいて、前記画像を撮像した世界座標空間における基準平面に対する法線ベクトルであり且つ同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、前記画像の画像平面における第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する取得部と、
前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する射影的奥行き算出部と、
前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出するカメラパラメータ算出部と、
を備える、付記１乃至４のいずれか一項に記載の検出装置。
（付記１５）
前記射影的奥行き算出部は、前記射影的奥行きベクトルが、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを行列要素とする第１行列のゼロ空間である、関係に基づいて、前記射影的奥行きベクトルを算出する、
付記１４に記載の検出装置。
（付記１６）
前記外部パラメータは、回転行列及び並進ベクトルを含み、
前記カメラパラメータ算出部は、前記算出された射影的奥行きベクトルと、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルと、前記回転行列の各２つの列ベクトルの間の直交関係とに基づいて、前記内部パラメータとしての前記カメラの焦点距離を算出する内部パラメータ算出部を含む、
付記１４又は１５に記載の検出装置。
（付記１７）
前記カメラパラメータ算出部は、前記算出された射影的奥行きベクトルと、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルと、前記算出された焦点距離とに基づいて、前記回転行列及び前記並進ベクトルを算出する外部パラメータ算出部をさらに含む、
付記１６に記載の検出装置。
（付記１８）
世界座標系は、前記第１世界座標空間内法線ベクトルの始点が前記世界座標系の原点と一致し、前記第２世界座標空間内法線ベクトルの始点が前記世界座標系の第１軸上に存在し、前記第１世界座標空間内法線ベクトルの終点が前記世界座標系の第３軸上に存在するように、定義されている、
付記１７に記載の検出装置。
（付記１９）
前記内部パラメータ算出部は、式（Ａ１）を用いて、前記カメラの焦点距離を算出する、
付記１８に記載の検出装置。

ただし、λ_１、λ’_１、λ_２、及びλ’_２は、それぞれ、前記第１始点、前記第１終点、前記第２始点、及び前記第２終点の射影的奥行きを表し、ｆは、前記焦点距離を表し、ベクトルｎ_１，ｎ’_１，ｎ_２，ｎ’_２は、それぞれ、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを表す。
（付記２０）
前記外部パラメータ算出部は、式（Ａ２）、式（Ａ３）、及び式（Ａ４）を用いて、前記回転行列を算出し、式（Ａ４）及び式（Ａ５）を用いて、前記並進ベクトルを算出する、
付記１９に記載の検出装置。

ただし、Ｒは、前記回転行列を表し、ベクトルｒ_１，ｒ_３は、前記回転行列の１列目及び３列目の列ベクトルを表し、ｚは、前記第１世界座標空間内法線ベクトルの終点及び前記第２世界座標空間内法線ベクトルの終点の前記第３軸の座標を表し、ｘ_２は、前記第２世界座標空間内法線ベクトルの始点の前記第１軸上の座標を表し、λ_１、λ’_１、λ_２、及びλ’_２は、それぞれ、前記第１始点、前記第１終点、前記第２始点、及び前記第２終点の射影的奥行きを表し、ベクトルｍ_１，ｍ’_１，ｍ_２，ｍ’_２は、それぞれ、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを表す。// //は、Ｌ２ノルムを表す。ｔは、前記並進ベクトルを表す。Ｋは、内部パラメータ行列を表し、ｆは、前記焦点距離を表す。
（付記２１）
前記取得部にて取得された第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルと、前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータとに基づいて、前記第１世界座標空間内法線ベクトル及び前記第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を算出する３次元座標算出部をさらに具備する、
付記１８から２０のいずれか１項に記載の検出装置。
（付記２２）
前記３次元座標算出部は、式（Ａ６）を用いて、前記３次元座標を算出する、
付記２１に記載の検出装置。

ただし、ベクトルｒ_１，ｒ_２，ｒ_３は、それぞれ、前記回転行列の列ベクトルを表し、ベクトルｍ_ｉ，ｍ_ｉ’は、第ｉ画像平面内始点ベクトル及び第ｉ画像平面内終点ベクトルを表し、ｘ_ｉ，ｙ_ｉは、第ｉ世界座標空間内法線ベクトルの始点及び終点の前記世界座標系の第１軸及び第２軸の座標を表し、ｚは、前記第１世界座標空間内法線ベクトルの終点及び前記第２世界座標空間内法線ベクトルの終点の前記第３軸の座標を表す。ｔは、前記並進ベクトルを表す。Ｋは、式（Ａ７）で表される内部パラメータ行列を表し、ｆは、前記焦点距離を表す。

（付記２３）
前記算出された、前記第１世界座標空間内法線ベクトル及び前記第２世界座標空間内法線ベクトルのそれぞれの始点及び終点の３次元座標を前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータを用いて前記画像平面に射影した２つの再投影座標と、前記第１画像平面内法線ベクトル及び前記第２画像平面内法線ベクトルのそれぞれの始点及び終点との誤差である再投影誤差を最少化することが期待される、調整後の内部パラメータ、調整後の外部パラメータ、及び調整後の前記３次元座標を求めることにより、前記カメラの内部パラメータ及び外部パラメータ並びに前記３次元座標を最適化する、最適化部を具備する、
付記２１又は２２に記載の検出装置。
（付記２４）
前記最適化部は、式（Ａ８）に基づいて、前記３次元座標算出部にて算出された３次元座標と前記カメラパラメータ算出部によって算出された内部パラメータ及び外部パラメータとを初期値として用いて、非線形最適化を行うことにより、前記カメラの内部パラメータ及び外部パラメータ並びに前記３次元座標を最適化する、
付記２３に記載の検出装置。

ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、前記回転行列を表し、ｔは、前記並進ベクトルを表し、ベクトルｍ_ｉ，ｍ_ｉ’は、第ｉ画像平面内始点ベクトル及び第ｉ画像平面内終点ベクトルを表し、Ｍ_ｉ，Ｍ’_ｉは、第ｉ世界座標空間内法線ベクトルの始点ベクトル及び終点ベクトルを表し、ｘ_ｉ，ｙ_ｉ，ｚ_ｉは、第ｉ世界座標空間内法線ベクトルの始点及び終点についての２つの３次元座標を表し、// //は、ノルムを表す。Ｋは、式（Ａ９）で表される内部パラメータ行列を表し、ｆは、前記焦点距離を表す。Ｔは、ベクトル又は行列の転置を表す。

（付記２５）
前記最適化部は、前記カメラの焦点距離、スキュー、光学中心、及びレンズ歪みの少なくとも１つを最適化対象の内部パラメータとする、
付記２３又は２４に記載の検出装置。
（付記２６）
カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定し、
前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出し、
前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する、
検出方法。
（付記２７）
前記算出では、前記骨格情報に含まれる人物の骨に対応した骨線分に基づいて前記カメラパラメータを算出する、
付記２６に記載の検出方法。
（付記２８）
カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定し、
前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出し、
前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する、
処理をコンピュータに実行させるための検出プログラム。
（付記２９）
前記算出では、前記骨格情報に含まれる人物の骨に対応した骨線分に基づいて前記カメラパラメータを算出する、
付記２８に記載の検出プログラム。

１ 社会的距離分析システム
１０ 検出装置
１１ 推定部
１２ 算出部
１３ 検出部
２０ コンピュータ
２１ プロセッサ
２２ メモリ
１００ 社会的距離分析装置
１０１ 入力部
１０２ 取得部
１０３ カメラキャリブレーション部
１０４ 人関節検出部
１０５ 座標算出部
１０６ 記憶部
１０７ 社会的距離判定部
１０８ 表示部
１１１ 法線ベクトル取得部
１１２ 正規化座標変換部
１１３ 外部パラメータ算出部
１２１ 法線ベクトル取得部
１２２ 射影的奥行き算出部
１２３ カメラパラメータ算出部
１２３Ａ 内部パラメータ算出部
１２３Ｂ 外部パラメータ算出部
２００ カメラ

Claims (10)

1. カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定する推定部と、
   前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出する算出部と、
   前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する検出部と、
   を備える、検出装置。
2. 前記算出部は、前記骨格情報に含まれる人物の骨に対応した骨線分に基づいて前記カメラパラメータを算出する、
   請求項１に記載の検出装置。
3. 前記算出部は、前記骨格情報に含まれる骨線分から前記画像における基準平面に対する法線ベクトルを取得し、前記取得した法線ベクトルに基づいて前記カメラパラメータを算出する、
   請求項２に記載の検出装置。
4. 前記算出部は、前記人物の背骨に対応する線分から前記法線ベクトルを取得する、
   請求項３に記載の検出装置。
5. 前記算出部は、
   前記骨格情報に基づいて、前記画像を撮像した世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する、前記画像の画像平面における複数の画像平面内法線ベクトルを取得する取得部と、
   前記カメラの内部パラメータに基づいて、前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、正規化座標である正規化始点座標及び正規化終点座標へ変換する正規化座標変換部と、
   前記変換により得られた各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出する外部パラメータ算出部と、
   を備える、請求項１乃至４のいずれか一項に記載の検出装置。
6. 前記外部パラメータ算出部は、
   前記変換により得られた各画像平面内法線ベクトルの前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
   前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
   前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとする、
   請求項５に記載の検出装置。
7. 前記算出部は、
   前記骨格情報に基づいて、前記画像を撮像した世界座標空間における基準平面に対する法線ベクトルであり且つ同じ長さを有する第１世界座標空間内法線ベクトル及び第２世界座標空間内法線ベクトルにそれぞれ対応する、前記画像の画像平面における第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルを取得する取得部と、
   前記第１画像平面内法線ベクトルの第１始点及び第１終点並びに前記第２画像平面内法線ベクトルの第２始点及び第２終点にそれぞれ対応する４つの射影的奥行きをベクトル要素とする射影的奥行きベクトルを算出する射影的奥行き算出部と、
   前記算出された射影的奥行きベクトルと、前記第１始点及び第１終点にそれぞれ対応する第１画像平面内始点ベクトル及び第１画像平面内終点ベクトル並びに前記第２始点及び前記第２終点にそれぞれ対応する第２画像平面内始点ベクトル及び第２画像平面内終点ベクトルとに基づいて、前記カメラの内部パラメータ及び外部パラメータを算出するカメラパラメータ算出部と、
   を備える、請求項１乃至４のいずれか一項に記載の検出装置。
8. 前記射影的奥行き算出部は、前記射影的奥行きベクトルが、前記第１画像平面内始点ベクトル、前記第１画像平面内終点ベクトル、前記第２画像平面内始点ベクトル、及び前記第２画像平面内終点ベクトルを行列要素とする第１行列のゼロ空間である、関係に基づいて、前記射影的奥行きベクトルを算出する、
   請求項７に記載の検出装置。
9. カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定し、
   前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出し、
   前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する、
   検出方法。
10. カメラにより撮像された２次元の画像に基づいて、前記画像に含まれる人物の骨格情報を推定し、
    前記推定された人物の骨格情報に基づいて、前記カメラのカメラパラメータを算出し、
    前記算出されたカメラパラメータを用いて、前記人物の社会的距離を検出する、
    処理をコンピュータに実行させるための検出プログラム。

Images