JP2020526096A - 最適状況判断撮像方法およびこのような方法を遂行する装置 - Google Patents

Abstract

本発明は最適状況判断撮像方法およびこのような方法を遂行する装置に関する。最適状況判断撮像方法は、全方位画像処理装置が現在の撮影状況が最適撮影状況条件を満足するかどうかを決定する段階と現在の撮影状況が最適撮影状況条件を満足する場合、全方位画像処理装置が画像撮像を遂行して条件満足全方位画像を生成する段階を含むものの、最適撮影状況条件は全方位画像処理装置の傾き条件を含むことができる。【選択図】図５

Description

本発明は最適状況判断撮像方法およびこのような方法を遂行する装置に関する。より詳細には、画像処理装置が最適状況にある時に撮像をするように制御することによって、最適の画像のみを使用者に提供するための方法および装置に関する。

全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムとは、特定の時点を基準に全方位（３６０度）の画像情報を記録することが可能な画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。

全方位画像を得るために様々な方法が採用できる。例えば、単一のビューポイント（ｓｉｎｇｌｅ ｖｉｅｗ ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ ａｘｉｓ）を基準に１台のカメラを回転させて得た画像を接合して全方位画像が生成できる。或いは、複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が採用されてもよい。ユーザーは、さまざまな全方位画像を得るための全方位画像処理装置（または全方位画像処理カメラ，３６０度カメラ）を用いて全方位画像を生成することができる。

全方位画像装置が揺れる場合、全方位画像撮像装置によって生成された画像のうち一部は揺れる画像であり得る。したがって、使用者に最適の画像を提供するための方法が開示される。

本発明は前述した問題点をすべて解決することをその目的とする。

また、本発明は、全方位画像処理装置が最適状況にある時に撮像をするように制御することによって最適の画像のみを使用者に提供することを他の目的とする。

また、本発明は、全方位画像処理装置によって最適状況で撮像された最適画像に基づいて自然な全方位画像を生成して使用者に提供することを他の目的とする。

前記目的を達成するための本発明の代表的な構成は以下の通りである。

本発明の一態様によれば、最適状況判断撮像方法は、全方位画像処理装置が現在の撮影状況が最適撮影状況条件を満足するかどうかを決定する段階と前記現在の撮影状況が前記最適撮影状況条件を満足する場合、前記全方位画像処理装置が画像撮像を遂行して条件満足全方位画像を生成する段階を含むものの、前記最適撮影状況条件は前記全方位画像処理装置の傾き条件を含むことを特徴とすることができる。

本発明の他の態様によれば、最適状況判断撮像を遂行する全方位画像処理装置は、外部装置と通信を遂行するために具現された通信部と前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、前記プロセッサは現在の撮影状況が最適撮影状況条件を満足するかどうかを決定し、前記現在の撮影状況が前記最適撮影状況条件を満足する場合、画像撮像を遂行して条件満足全方位画像を生成するように具現されるものの、前記最適撮影状況条件は前記全方位画像処理装置の傾き条件を含むことを特徴とすることができる。

本発明によれば、全方位画像処理装置が最適状況にある時に撮像をするように制御することによって最適の画像のみを使用者に提供可能である。

また、全方位画像処理装置によって最適状況で撮像された最適画像に基づいて自然な全方位画像を生成して使用者に提供可能である。

本発明の実施例に係る全方位画像処理装置を示す概念図である。 本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。 本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。 本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。 本発明の実施例に係る最適償還判断撮像方法を示した概念図である。 本発明の実施例に係る最適撮影状況を設定する方法を示した概念図である。 本発明の実施例に係る最適撮影状況を設定する方法を示した概念図である。 本発明の実施例に係る全方位画像生成方法を示した概念図である。 本発明の実施例に係る全方位画像生成方法を示した概念図である。 本発明の実施例に係る全方位画像処理装置の動作を示した概念図である。

後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施例から他の実施例に変更されて具現できる。また、それぞれの実施例内の個別の構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は特許請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多様な側面にわたって同一または類似する構成要素を示す。

以下、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について添付図面を参照して詳細に説明する。

以下、本発明の実施礼の画像処理装置は全方位画像処理装置を含むことができる。全方位画像処理装置は全方位（または３６０度画像）を撮像できる全方位カメラ（３６０度カメラ）を含むことができる。

また、以下、本発明の実施例で開示される画像情報、動画情報は全方位画像（または３６０度画像）を含むことができる。

図１は、本発明の実施例に係る全方位画像処理装置を示す概念図である。

図１では全方位画像処理装置の構造が開示される。

図１を参照すると、全方位画像処理装置１００はウェアラブル構造であって、ユーザーの首にかけることができるネックレスと類似する形状であり得る。全方位画像処理装置１００は、図１に示すように、一面が開放されたネックレスの形状でもよく、一面が開放されていないネックレスの形状でもよい。以下、本発明の実施例では、全方位画像処理装置１００が一面が開放されたＵ字状を有するものと仮定する。このようなＵ字状の全方位画像処理装置１００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅｄｅｖｉｃｅ）の形態でかけられて全方位画像を撮影することができる。

本発明の実施例では、説明の便宜上、全方位画像処理装置１００がネックレスの形態（または一面が開放されたネックレスの形態、Ｕ字状）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置１００は、単にユーザーの首にかける形態でなくてもよい。例えば、全方位画像処理装置１００は、掛けたり／付着可能な様々な形態でユーザーの他の身体邪位または外部の物体（または客体）／装置／構造物などに設置されて全方位画像を獲得してもよい。

ユーザーは、ウェアラブル装置として具現された全方位画像処理装置１００を首にかけて、両手が自由な状態で全方位画像を生成するための複数の画像を獲得することができる。

全方位画像処理装置１００は複数の画像撮像部を含むことができる。複数の画像撮像部のそれぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線による画像を個別に撮像することができる。複数個の画像撮像部のそれぞれの位置は、全方位画像処理装置１００で固定的であってもよいが、複数の画像撮像部のそれぞれは移動可能であり、複数の画像撮像部のそれぞれの位置は変化されてもよい。

例えば、全方位画像処理装置１００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄｏｆｖｉｅｗ）（例えば、１２０度〜１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０であり得る。

以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置１００に含まれている構造が開示される。しかし、３つではなく、複数個（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置１００に含まれて全方位画像を撮像してもよく、このような形態も本発明の権利範囲に含まれる。

第１画像撮像部１１０、第２画像撮像部１２０及び第３画像撮像部１３０は、画角に基づいて画像を撮像することができる。同一の時間資源上で第１画像撮像部１１０によって第１画像が生成され、第２画像撮像部１２０によって第２画像が生成され、第３画像撮像部１３０によって第３画像が生成され得る。第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０のそれぞれの画角は１２０度以上であり得、第１画像、第２画像及び第３画像では重なった撮像領域が存在し得る。この後、全方位画像処理装置１００によって同一の時間資源上で撮像された第１画像、第２画像及び第３画像をスティッチング／補正して全方位画像が生成され得る。複数の画像に対するスティッチング及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置１００と通信可能なユーザー装置（スマートフォン）に基づいて行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置１００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。

以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。

図２は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。

図２では、Ｕ字状の全方位画像処理装置に位置した複数の画像撮像部の特徴が開示される。図２に示された画像撮像部の位置は例示的なものである。複数の画像撮像部のそれぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上の様々な位置に位置することができる。

図２の上段では、全方位画像処理装置の後面部が開示される。

全方位画像処理装置に含まれている第１画像撮像部２１０及び第２画像撮像部２２０は、全方位画像処理装置において曲率が存在する曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部２１０及び第２画像撮像部２２０が位置することができる。例えば、Ｕ字状の全方位画像処理装置の最大曲率地点（例えば、Ｕ字状の中間部分）を基準に第１画像撮像部２１０及び第２画像撮像部２２０が一定の距離上に位置することができる。

第１画像撮像部２１０は、ユーザーの視線（ｌｉｎｅｏｆｓｉｇｈｔ）方向を基準に、後面左側の四角領域を含む領域を撮像することができる。第２画像撮像部２２０は、ユーザーの視線を基準に、後面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部２１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部２２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０〜１８０度であり得る。

第１画像撮像部２１０及び第２画像撮像部２２０による撮像が行われる場合、第１画角と第２画角によって重なる第１重なり領域２１５が発生し得る。その後、重なり領域を考慮したスティッチングに基づいて全方位画像が生成され得る。

図２の下段では、全方位画像処理装置の前面部が開示される。

全方位画像処理装置の前面部には第３画像撮像部２３０が位置することができる。具体的には、第３画像撮像部２３０は、全方位画像処理装置の末端部（Ｕ字状の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字状の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部２３０は第１末端部又は第２末端部のいずれかの末端部に位置することができる。

第３画像撮像部２３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。

具体的には、第３画像撮像部２３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度〜１８０度であり得る。第３画像撮像部２３０による撮像が行われる場合、第１画像撮像部２１０の第１画角と第３画像撮像部２３０の第３画角による第２重なり領域２２５が発生し得る。第３画像撮像部２３０による撮像が行われる場合、第２画像撮像部２２０の第２画角と第３画像撮像部２３０の第３画角による第３重なり領域２３５が発生し得る。

首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部２１０、第２画像撮像部２２０は、地面を基準に第３画像撮像部２３０よりも相対的に高い所に位置し得る。また、第３画像撮像部２３０は一方の末端部にのみ位置するようになる。

既存の全方位画像処理装置では、同一高さに位置した複数の画像撮像部が一定の角度を有して具現されるのに反して、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部のそれぞれによって生成された複数の画像に対する第１重なり領域２１５、第２重なり領域２２５及び第３重なり領域２３５の大きさ／形態が互いに異なり得る。

この後、第１重なり領域２１５／第２重なり領域２２５／第３重なり領域２３５を考慮した第１画像撮像部２１０、第２画像撮像部２２０及び第３画像撮像部２３０のそれぞれによって生成された第１画像、第２画像及び第３画像に対する画像処理手続き（スティッチング／補正など）に基づいて、全方位画像が生成され得る。

第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施例も本発明の権利範囲に含まれる。

図３は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。

図３では、全方位画像処理装置に設置された複数の画像撮像部のそれぞれの撮像線が開示される。地面をＸ軸とＺ軸がなすＸＺ平面と平行と仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部のそれぞれのレンズの中央を垂直に貫通する線と定義することができる。

既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で具現することができる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線の間に一定の角度（例えば、１２０度）を有する複数の線であり得る。

本発明の実施例に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の具現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なり得る。したがって、本発明の実施例に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは差がある。

図３に示された複数の画像撮像部のそれぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部のそれぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図３に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。

図３の上段では、第１画像撮像部３１０及び第２画像撮像部３２０の撮像線が開示される。

第１画像撮像部３１０及び第２画像撮像部３２０は、第３画像撮像部３３０より相対的に高い位置に具現され得る。全方位画像処理装置を着用したユーザーが立っている方向をＹ軸方向と仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置で第１画像撮像部３１０及び第２画像撮像部３２０が位置した曲率を有する部分（Ｕ字状における曲線／中央部分）が相対的に上がり、第３画像撮像部３３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がり得る。

例えば、第１画像撮像部３１０の第１撮像線３１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。

第２画像撮像部３２０の第２撮像線３２５は、ＸＺ平面と平行であるものの、Ｙ軸の地点ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。

図３の下段を参照すると、第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。ｂはａよりも小さい値であり得る。第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように具現され得る。

すなわち、第１撮像線３１５及び第２撮像線３２５はＹ軸を基準に同一の高さを有し、第３撮像線３３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置し得る。図３に示された第１撮像線３１５、第２撮像線３２５及び第３撮像線３３５は、互いに異なる特性を有する撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。

図４は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。

図４では、図３とは異なる複数の画像撮像部の撮像線が開示される。同様に、図４においても、地面がＸ軸とＺ軸がなすＸＺ平面に対して平行であると仮定する。

図４の上段には、第１画像撮像部４１０及び第２画像撮像部４２０の撮像線が開示される。

第１画像撮像部４１０及び第２画像撮像部４２０は、第３画像撮像部４３０より相対的に高い位置に具現され得る。同様に、ユーザーが立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部４１０及び第２画像撮像部４２０が位置した曲率を有する部分（Ｕ字状における曲線部分）が相対的に上がり、第３画像撮像部４３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。

例えば、第１画像撮像部４１０の第１撮像線４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。

第２画像撮像部４２０の第２撮像線４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。

図４の下段には第３画像撮像部４３０の撮像線が開示される。

第３画像撮像部４３０の第３撮像線４３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。

第３画像撮像部４３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行ではなく、ＸＺ平面と一定の角度（例えば、０〜３０度）を有し得る。

すなわち、第１撮像線４１５と第２撮像線４２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線４３５は、Ｙ軸を基準に第１撮像線４１５及び第２撮像線４２５よりも相対的に低い位置に位置し得る。また、第１撮像線４１５及び第２撮像線４２５はＸＺ平面と平行であるが、第３撮像線４３５はＸＺ平面と平行でなくてもよい。

本発明の他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。

本発明のさらに他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することもできる。

すなわち、複数の画像撮像部のそれぞれの撮像線が、既存の同一のＹ軸地点で地面と同一の角度を有する画像処理装置とは異なり、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部のそれぞれの撮像線が互いに異なるＹ軸地点に位置し、地面（またはＸＺ平面）と互いに異なる角度を有することができる。

全方位画像処理装置がウェアラブル装置（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）の場合、全方位画像処理装置が揺れる状況で揺れる画像を撮像したり、全方位画像処理装置が傾いている時に傾いた画像を撮像するようになる。

全方位画像処理装置がウェアラブル装置で具現される場合、着用している全方位画像処理装置の撮像位置、撮像結果を確認できるプレビュー（ｐｒｅｖｉｅｗ）がないと、撮像される画像に対してリアルタイムで確認して補正するのが難しい。

使用者が首に全方位画像処理装置を着用して全方位画像を撮像する場合、使用者の移動により全方位画像処理装置が上下左右に動くようになる。このような全方位画像処理装置の動きにより全方位画像の揺れ、全方位画像のブラー（ｂｌｕｒ）等が発生し得る。全方位画像の揺れ、全方位画像のブラーは全方位画像を見る人の疲労感を増加させることになる。

本発明ではこのような問題点を解決するために、使用者の全方位画像撮像結果に対するリアルタイムでの確認がなくても、センサなどを利用して全方位画像処理装置の姿勢と位置情報を確認し、撮像動作を遂行することができる。このような方法を通じて、全方位画像処理装置が関心地点（ＰＯＩ：Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）上にあるか、全方位画像処理装置の姿勢が最適である場合、全方位画像処理装置の撮像が遂行され得る。

すなわち、全方位画像処理装置が撮影状況を認知して、撮影状況が設定された条件を満足する場合に撮像を遂行することによって、使用者の確認がなくても最適な全方位画像が獲得され得る。

図５は、本発明の実施例に係る最適償還判断撮像方法を示した概念図である。

図５では、全方位画像処理装置の現在の撮影状況が設定された最適撮影状況を満足する場合に撮像を遂行するための方法が開示される。

図５を参照すると、全方位画像処理装置は全方位画像処理装置の現在の撮影状況情報を獲得するためのセンサを含むことができる。

例えば、全方位画像処理装置は全方位画像処理装置の傾きに対する認知のための傾きセンサ、全方位画像処理装置の揺れ（または動き）に対する認知のための揺れ探知センサ（または動きセンサ）、全方位画像処理装置の位置に対する認知のための位置センサなどが全方位画像処理装置に含まれ得る。

全方位画像処理装置の撮像動作のための最適撮影状況があらかじめ定義されており、全方位画像処理装置の現在の撮影状況が最適撮影状況を満足した場合にのみ全方位画像処理装置が撮像を遂行し、条件満足全方位画像５００を生成することができる。全方位画像処理装置が揺れなく停止している状況のように、全方位画像処理装置があらかじめ設定された最適撮影状況を満足した場合、全方位画像処理装置は自動または手動で撮影をすることができる。

具体的には、使用者の首にかける全方位画像処理装置は使用者の視線が臨界角度内に位置した場合、全方位画像処理装置に含まれる複数の画像撮像部が最適の画像を得るための撮像角度を有することができるように具現され得る。全方位画像処理装置は使用者の視線が臨界角度内に位置した場合、全方位画像処理装置に含まれた複数の画像撮像部が最適撮像角度であることを振動または声（例えば、ビーフ音）のような信号を通じて使用者に知らせ、使用者の設定により自動または手動で撮像を遂行して条件満足全方位画像５００を生成することができる。全方位画像処理装置は秒当たり１２０フレームを撮像することができ、秒当たり撮像された１２０フレームのうち条件を満足するフレームに基づいて条件満足全方位画像が生成され得る。

例えば、全方位画像処理装置を首に着用して走る場合、全方位画像処理装置の傾き値が継続的に変わり得る。全方位画像処理装置は揺れる途中で特定の最適撮影条件に設定された傾き値を満足するタイミングに撮像されて条件満足全方位画像５００を生成することができる。

また、全方位画像処理装置の揺れ程度をセンシングして撮像設定値（例えば、シャッタースピード）を変化させることができ、センシングされた揺れ値が一定の臨界値以上の場合、全方位画像の撮像が中断されてもよい。

このような全方位画像処理装置の動作を通じて、使用者の自由な行動にもかかわらず、最適撮影状況で全方位画像が獲得され得る。このような全方位画像処理装置の最適撮影状況に対する判断が遂行される場合、全方位画像処理装置によって撮像された全方位画像は揺れが少なく、一定の画角範囲を外れないことができる。

全方位画像処理装置の最適撮影状況に対する設定は使用者によって遂行され得る。全方位画像処理装置が切れることなく全方位画像を生成することを望む場合、全方位画像処理装置が最適撮影状況と判断され得る条件の範囲を相対的に広く設定することができる。その反対に揺れが少ないか一定の画角範囲を撮像した全方位画像を獲得しようとする場合、全方位画像処理装置が最適撮影状況と判断できる条件の範囲を相対的に狭く設定することができる。

最適撮像状況条件は全方位画像処理装置の傾き、全方位画像処理装置の位置などを考慮して設定され得る。

本発明の実施例によると、最適撮像状況条件を満足しない場合にも全方位画像が生成され得る。最適撮像状況条件を満足する条件満足全方位画像５００と最適撮像状況条件を満足しない条件不満足全方位画像５５０が区分され、画像後処理過程を通じて最終全方位画像が生成されてもよい。最終全方位画像は条件満足全方位画像５００だけで生成されるか、条件満足全方位画像５００および編集された条件不満足全方位画像５５０に基づいて生成され得る。

最適状況判断撮像を遂行する全方位画像処理装置は、外部装置（例えば、画像処理サーバーなど）と通信を遂行するために具現された通信部と、通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むことができる。プロセッサは後述する最適状況判断基盤の画像撮像／画像処理動作を遂行することができる。画像処理動作は全方位画像処理装置ではなく他の外部装置によって遂行されてもよく、このような実施例も本発明の権利範囲に含まれる。

前述した通り、プロセッサは現在の撮影状況が最適撮影状況条件を満足するかどうかを決定し、現在の撮影状況が最適撮影状況条件を満足する場合、画像撮像を遂行して条件満足全方位画像５００を生成するように具現され得る。最適撮影状況条件は全方位画像処理装置の傾き条件を含むことができる。

プロセッサは傾きセンサによって測定された傾き値が傾き条件に基づいて設定された臨界傾き範囲に含まれる場合、条件満足全方位画像５００を生成するように具現され得る。全方位画像処理装置は動きセンサをさらに含み、最適撮影状況条件は前記全方位画像処理装置の動き条件をさらに含むことができる。

また、プロセッサは動きセンサによって測定された動き速度が動き条件に基づいて設定された動き速度内に含まれる場合、条件満足全方位画像５００を生成するように具現され得る。

プロセッサは条件満足全方位画像５００を結合して最終全方位画像を生成するように具現され得る。またはプロセッサは現在の撮影状況が最適撮影状況条件を満足しない場合、画像撮像を遂行して条件不満足全方位画像５５０を生成し、条件満足全方位画像５００および条件不満足全方位画像５５０に基づいた画像補間を通じて最終全方位画像を生成することができる。

図６は、本発明の実施例に係る最適撮影状況を設定する方法を示した概念図である。

図６では、全方位画像処理装置の最適撮影状況を設定するための方法が開示される。特に、最適撮影状況のうち傾き値を設定するための方法が開示される。

図６を参照すると、最適撮影状況は傾き条件を含むことができる。前述した通り、全方位画像処理装置は使用者の首にかける形態で着用され得る。使用者の下を見たり上を見る動作により首の角度が変わる場合、全方位画像処理装置の傾きもともに変化し得る。

使用者は全方位画像処理装置を着用し、全方位画像処理装置の最適撮影状況として傾き条件が設定され得る。全方位画像処理装置は設定された傾き条件を満足する場合、条件満足全方位画像を生成することができる。

傾き条件は全方位画像処理装置の一つの傾き値でもよく、一つの傾き値を基準として−臨界角度６４０〜＋臨界角度６２０の範囲の傾き範囲でもよい。

使用者は多様な方法で傾き条件を設定することができる。

全方位画像処理装置は使用者装置６００に全方位画像情報を伝送することができ、使用者装置のディスプレイ上で全方位画像情報が出力され得る。使用者が正面を見る場合、傾きについての情報が使用者装置を通じて出力され得る。

例えば、使用者は全方位画像が出力される使用者装置６００の画面を確認しながら、上を見る動作／下を見る動作を通じて全方位画像処理装置の傾きを変化させることができる。使用者は全方位画像の変化を考慮して、許容可能な範囲の全方位画像処理装置の傾き値を使用者の実際の動作に基づいて使用者装置６００を通じて設定することができる。設定された傾き値は全方位画像処理装置に伝達され、全方位画像処理装置は設定された傾き値に基づいて全方位画像を撮像できる。

図７は、本発明の実施例に係る最適撮影状況を設定する方法を示した概念図である。

図７では、全方位画像処理装置の最適撮影状況を設定するための方法が開示される。特に、最適撮影状況のうち位置値を設定するための方法が開示される。

図７を参照すると、最適撮影状況は全方位画像処理装置の位置に対する条件を含むことができる。

例えば、全方位画像処理装置が臨界時間内に使用者の臨界距離の移動がある場合にのみ条件満足全方位画像を生成するように最適撮像状況条件が設定され得る。

全方位画像処理装置を通じて全方位画像を撮影する場合が仮定され得る。使用者が停止した場合、同じ位置で全方位画像が撮像し続けられ得る。したがって、同じ位置での継続的な全方位画像の撮像を制限するために、全方位画像処理装置が臨界時間内に使用者の臨界距離の移動がある場合にのみ条件満足全方位画像を生成するように最適撮影状況が設定され得る。例えば、２秒を基準として全方位画像処理装置の位置が１ｍ以上変化された場合にのみ全方位画像処理装置が条件満足全方位画像を生成することができる。

使用者が第１地点７１０から第２地点７２０を通じて第３地点７３０に移動する場合、使用者が第２地点で一時停止をした場合が仮定され得る。第２地点７２０で臨界時間の間臨界距離の移動がなければ、臨界時間の後に一時的に全方位画像の撮像が中断され得る。

図８は、本発明の実施例に係る全方位画像生成方法を示した概念図である。

図８では、最適撮影状況を満足する条件満足全方位画像を編集して最終全方位画像を生成するための方法が開示される。

図８を参照すると、最適撮影状況を満足する条件満足全方位画像だけで最終全方位画像を生成する場合が仮定される。

本発明の実施例によると、複数の条件満足全方位画像が生成された全体の時間区間が複数の下位時間区間に分割され、複数の条件満足全方位画像のそれぞれが複数の下位時間区間上にマッチングされ得る。その後、必要に応じて時間区間についての情報を考慮した画像補間を通じて最終全方位画像が生成され得る。

例えば、時間順に生成された条件満足全方位画像間の間隔のうち最も小さい時間間隔が下位時間区間間隔として設定され得る。

条件満足全方位画像が５個（第１条件満足全方位画像８１０〜第５条件満足全方位画像８５０）が１０秒の間順次生成され得る。第２条件満足全方位画像８２０と第３条件満足全方位画像８３０間の時間間隔が最も小さい時間間隔であり得、第２条件満足全方位画像８２０と第３条件満足全方位画像８３０間の時間間隔は１秒であり得る。

このような場合、１０秒の全体時間区間が１秒間隔で１０個の下位時間区間（第１下位時間区間〜第１０下位時間区間）に分割され得る。

５個の条件満足全方位画像の生成時間が考慮されて１０個の下位時間区間のそれぞれに５個の条件満足全方位画像のそれぞれが１０個の下位時間区間のうち一つの下位時間区間に対応され得る。

例えば、第１条件満足全方位画像８１０が第１下位時間区間に対応し、第２条件満足全方位画像８２０が第３下位時間区間に対応し、第３条件満足全方位画像８３０が第４下位時間区間に対応し、第４条件満足全方位画像８４０が第６下位時間区間に対応し、第５条件満足全方位画像８５０が第８下位時間区間に対応し得る。

対応する条件満足全方位画像がない下位時間区間の全方位画像は、最も隣接した下位時間区間に対応する条件満足全方位画像または隣接した下位時間区間に対応する複数の条件満足全方位画像の組み合わせに基づいて補間され得る。

例えば、第２下位時間区間に対応する全方位画像は第１条件満足全方位画像８１０または第２条件満足全方位画像８２０に基づいて補間されるか、第１条件満足全方位画像８１０および第２条件満足全方位画像８２０に基づいて補間され得る。

第５下位時間区間に対応する全方位画像は第３条件満足全方位画像８３０または第４条件満足全方位画像８４０で補間されるか、第３条件満足全方位画像８３０および第４条件満足全方位画像８４０に基づいて補間され得る。

第９下位時間区間および第１０下位時間区間に対応する全方位画像は第５条件満足全方位画像８５０に基づいて補間され得る。

このような方式の隣接した条件満足全方位画像に基づいた補間を通じて、複数の下位時間区間のそれぞれに対応する複数の全方位画像のそれぞれが決定され得る。時間の順序を考慮した複数の全方位画像を組み合わせで最終全方位画像が生成され得る。

時間による全方位画像の生成が必要でない場合、条件満足全方位画像だけの組み合わせに基づいて最終全方位画像が生成されてもよい。

図９は、本発明の実施例に係る全方位画像生成方法を示した概念図である。

図９では、最適撮影状況を満足する条件満足全方位画像および／または最適撮影状況を満足しない条件不満足全方位画像を編集して最終全方位画像を生成するための方法が開示される。

図９を参照すると、条件不満足全方位画像についての情報も考慮して最終全方位画像が生成され得る。

図８で開示されたのと同様に、下位時間区間が１秒であり、条件満足全方位画像が５個（第１条件満足全方位画像９１０〜第５条件満足全方位画像９５０）、条件不満足全方位画像が５個（第１条件不満足全方位画像９１５〜第５条件不満足全方位画像９５５）が１０秒の間生成される場合が仮定され得る。

（第１下位時間区間、第１条件満足全方位画像９１０）、（第２下位時間区間、第１条件不満足全方位画像９１５）、（第３下位時間区間、第２条件満足全方位画像９２０）、（第４下位時間区間、第３条件満足全方位画像９３０）、（第５下位時間区間、第２条件不満足全方位画像９２５）、（第６下位時間区間、第４条件満足全方位画像９４０）、（第７下位時間区間、第３条件不満足全方位画像９３５）、（第８下位時間区間、第５条件満足全方位画像９５０）、（第９下位時間区間、第４条件不満足全方位画像９４５）、（第１０下位時間区間、第５条件不満足全方位画像９５５）であり得る。

このような場合、条件不満足全方位画像に対応する下位時間区間での全方位画像は、隣接した条件満足全方位画像だけでなく、条件不満足全方位画像も追加的に考慮して決定され得る。

例えば、条件不満足全方位画像のうち条件満足全方位画像の画角と重なる領域のイメージは最終全方位画像の生成のために活用され得る。使用者が首を曲げる動作により条件不満足全方位画像が生成されたのであれば、条件不満足全方位画像で一部の領域は条件不満足全方位画像に対応する下位時間区間での全方位画像を予測するために活用され得る。

第２下位時間区間に対応する全方位画像は、第１条件満足全方位画像９１０、第２条件満足全方位画像９２０および第１条件不満足全方位画像９１５の一部の領域を考慮して補間を通じて生成され得る。第１条件不満足全方位画像９１５の一部の領域は第１条件満足全方位画像９１０、第２条件満足全方位画像９２０と重なる画角を有する領域であるか、第１条件不満足全方位画像９１５で客体がより明確に撮像された領域であり得る。

例えば、動く客体が存在する場合、より正確な第２下位時間区間に対応する全方位画像上で位置を決定するために、第１条件不満足全方位画像９１５の一部の領域上に客体の存在の有無を判断し、第２下位時間区間上で客体の位置がより正確に決定され得る。

図１０は、本発明の実施例に係る全方位画像処理装置の動作を示した概念図である。

図１０では、全方位画像処理装置の傾き値に基づいて全方位画像処理装置の画像撮像部の動作を制御するための方法が開示される。

図１０を参照すると、全方位画像処理装置によってセンシングされた傾き値に基づいて全方位画像処理装置に含まれる第１画像撮像部０００のレンズ角度が変化され得る。

例えば、第１画像撮像部０００の撮像線が臨界角度範囲に存在できるように、全方位画像処理装置の傾き値が変化された場合、第１画像撮像部０００のレンズが駆動されてレンズの撮像線方向を変化させることができる。

例えば、全方位画像処理装置で第１方向に１０度の傾きの変化が発生した場合、第１画像撮像部０００のレンズの撮像線も第１方向の反対方向である第２方向に瞬間的に撮像線の角度を１０度変化させることができる。

このような方法を通じて撮像線が一定範囲の臨界角度範囲内で維持され得、生成された全方位画像で揺れが補正され得る。

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級な言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。

以上、本発明について、具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を加えることができる。

したがって、本発明の思想は前記説明された実施例に限定して定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するものと言える。

Claims (11)

1. 最適状況判断撮像方法は、
   全方位画像処理装置が現在の撮影状況が最適撮影状況条件を満足するかどうかを決定する段階；および
   前記現在の撮影状況が前記最適撮影状況条件を満足する場合、前記全方位画像処理装置が画像撮像を遂行して条件満足全方位画像を生成する段階を含むものの、
   前記最適撮影状況条件は前記全方位画像処理装置の傾き条件を含むことを特徴とする、方法。
2. 前記全方位画像処理装置はウェアラブル装置であり、
   前記全方位画像処理装置は傾きセンサを含み、
   前記全方位画像処理装置は、前記傾きセンサによって測定された傾き値が前記傾き条件に基づいて設定された臨界傾き範囲に含まれる場合、前記条件満足全方位画像を生成することを特徴とする、請求項１に記載の方法。
3. 前記全方位画像処理装置は動きセンサをさらに含み、
   前記最適撮影状況条件は前記全方位画像処理装置の動き条件をさらに含み、
   前記全方位画像処理装置は、前記動きセンサによって測定された動き速度が前記動き条件に基づいて設定された動き速度内に含まれる場合、前記条件満足全方位画像を生成することを特徴とする、請求項２に記載の方法。
4. 前記全方位画像処理装置は前記条件満足全方位画像を結合して最終全方位画像を生成することを特徴とする、請求項３に記載の方法。
5. 前記現在の撮影状況が前記最適撮影状況条件を満足しない場合、前記全方位画像処理装置が画像撮像を遂行して条件不満足全方位画像を生成する段階をさらに含み、
   前記全方位画像処理装置は、前記条件満足全方位画像および前記条件不満足全方位画像に基づいた画像補間を通じて最終全方位画像を生成することを特徴とする、請求項３に記載の方法。
6. 最適状況判断撮像を遂行する全方位画像処理装置は、
   外部装置と通信を遂行するために具現された通信部；および
   前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、
   前記プロセッサは現在の撮影状況が最適撮影状況条件を満足するかどうかを決定し、
   前記現在の撮影状況が前記最適撮影状況条件を満足する場合、画像撮像を遂行して条件満足全方位画像を生成するように具現されるものの、
   前記最適撮影状況条件は前記全方位画像処理装置の傾き条件を含むことを特徴とする、全方位画像処理装置。
7. 前記全方位画像処理装置はウェアラブル装置であり、
   前記全方位画像処理装置は傾きセンサを含み、
   前記プロセッサは前記傾きセンサによって測定された傾き値が前記傾き条件に基づいて設定された臨界傾き範囲に含まれる場合、前記条件満足全方位画像を生成するように具現されることを特徴とする、請求項６に記載の全方位画像処理装置。
8. 前記全方位画像処理装置は動きセンサをさらに含み、
   前記最適撮影状況条件は前記全方位画像処理装置の動き条件をさらに含み、
   前記プロセッサは前記動きセンサによって測定された動き速度が前記動き条件に基づいて設定された動き速度内に含まれる場合、前記条件満足全方位画像を生成するように具現されることを特徴とする、請求項７に記載の全方位画像処理装置。
9. 前記プロセッサは前記条件満足全方位画像を結合して最終全方位画像を生成するように具現されることを特徴とする、請求項７に記載の全方位画像処理装置。
10. 前記プロセッサは前記現在の撮影状況が前記最適撮影状況条件を満足しない場合、画像撮像を遂行して条件不満足全方位画像を生成するように具現され、
    前記プロセッサは前記条件満足全方位画像および前記条件不満足全方位画像に基づいた画像補間を通じて最終全方位画像を生成するように具現されることを特徴とする、請求項７に記載の全方位画像処理装置。
11. 請求項〜請求項５のいずれか一項に記載された方法を遂行するためのコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。

Images