JP2018535568A - 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法 - Google Patents

画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法 Download PDF

Info

Publication number
JP2018535568A
JP2018535568A JP2018512314A JP2018512314A JP2018535568A JP 2018535568 A JP2018535568 A JP 2018535568A JP 2018512314 A JP2018512314 A JP 2018512314A JP 2018512314 A JP2018512314 A JP 2018512314A JP 2018535568 A JP2018535568 A JP 2018535568A
Authority
JP
Japan
Prior art keywords
image
camera
display
images
project
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018512314A
Other languages
English (en)
Other versions
JP2018535568A5 (ja
Inventor
アリエラ・サリンプアー
マイケル・ギルモア
デイヴィッド・スワーツ
アンドリュー・マルティン
Original Assignee
サムロール エルエルシー
サムロール エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サムロール エルエルシー, サムロール エルエルシー filed Critical サムロール エルエルシー
Publication of JP2018535568A publication Critical patent/JP2018535568A/ja
Publication of JP2018535568A5 publication Critical patent/JP2018535568A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

【課題】【解決手段】 カメラシステムは、プロセッサと、プロセッサに接続されたカメラと、プロセッサに接続されたディスプレイと、プロセッサによって命令が実行された場合、プロセッサをして、メモリに第1画像を記憶させ、減少された不透明度での第1画像に対応する修正済み第1画像を生成するために、第1画像を修正させ、リアルタイムプレビューを取り込むためにカメラを制御させ、複合プレビューを生成するために、リアルタイムプレビューに修正済み第1画像を重ねさせ、複合プレビューをディスプレイに出力させ、カメラを用いて第2画像を撮像させ、かつメモリに第2画像を記憶させる、命令を記憶するメモリとを含む。【選択図】 図1

Description

本開示は、概して画像撮像分野に関し、特に、画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法に関する。
スマートフォン(その多くが内蔵カメラを含む)の発達により、カメラやアマチュア写真撮影(特にデジタル写真撮影)の人気が大幅に高まってきた。画像を撮像するために細長いフィルム片を使用する伝統的なフィルム写真撮影とは対照的に、デジタル写真撮影では、画像を撮像するために電子光検出器の配列を含むカメラを使用する。アナログ写真撮影では、画像は感光性フィルム(ネガともいう)にインプリントされ、このフィルムはその後、紙上の写真を生成するために使用される。フィルムロールをカメラから取り出すと、使用済みのフィルムロール上のネガを見てもよいが、フィルム写真撮影では、フィルムをカメラから取り出すまではかつ/又は現像するまでは、ユーザにフィードバックを提供しない。
デジタル写真撮影では、画像は電子的に撮像されかつ記憶されるため、画像を撮像したすぐ後に、ビューイングスクリーン(例えば、カメラ上の液晶ディスプレイ(LCD)スクリーン又はスマートフォン上のスクリーン)で、撮像した画像をレビューすることがよくある。さらに、多くのデジタルカメラは、動画(例えば、音声付き又は音声無しの画像の一定ストリーム)を撮るためにも使用され得る。
フィルムカメラとびデジタルカメラの両方とも、時間の経過と共に発生する変化を記録するために設定された間隔で撮像されたタイムラプス又は一連のフレーム(又は画像)を構築するために使用され得る。時間の経過と共に特定のオブジェクト、シーン等の変化を表現するために、これらのフレームを通常速度、低速度又は高速度で示してよい。タイムラプスには一般的に、画像と画像の間の一貫性を生じさせるようカメラを適切に位置合わせするために、三脚又はマーカーを使用する必要がある。しかしながら、デジタルカメラとフィルムカメラの両方とも、ユーザは、前に撮像した画像と、現在フレーミングされた画像とを同時に比較することはできない。そのため、長期間に亘ってかつ/又は公共の場で撮影された写真のタイムラプスを作成するのは困難であり得る。なぜならば、三脚又はマーカーを同じ位置に又はカメラのファインダー上に置いておくのは困難又は不可能かもしれず、又は関係のない画像を撮像するために三脚が必要かもしれず、よって、ユーザは三脚を移動したり又は複数の三脚を購入したりしなければならないかもしれないからである。さらに、例えば人の顔などの非静止のオブジェクトの比較的スムーズな移り変わりのタイムラプスを行うことは困難又は不可能であり得る。なぜならば、人は長期間に亘って三脚又はマーカーに対して一つの向きを維持はしないからである。
多くの場合、タイムラプススタイルのシーケンスを使用せずに、後から撮像した画像を位置合わせしかつ/又は比較したいという要望があるかもしれない。例えば、誕生日などの人生の様々なステージで子供の写真を撮るために、よくカメラが使用される。しかし、各画像が異なる視点から撮られた場合、観察者が異なる画像間の類似性と差異を見て評価するのは困難であり得る。一般的には、壁にマークが描かれるか、又は何らかの基準点を設けるためにファインダー上にマークをつけてもよいが、これらは適切な奥行き、角度等を示しはしない。
さらに、医療分野の多くの手順では、異なる時点で測定された測定値の比較を必要とする。例えば、皮膚癌は、患者の皮膚上のほくろのサイズ、形及び/又は色の変化を測定することによって、しばしば検出される。同様に、乳癌は、胸部のX線撮像を用いて患者の胸部内の凹凸のサイズ及び形状の変化を測定することによって検出される。通常サイズ、形状等を評価するための一般指針はあるが、患者の変化は、診断を行う際に最も重要である。しかし、複数の理由により、1回目と2回目に得られた異なるスクリーニング又はテスト結果を比較することは困難であり得る。例えば、患者に対して撮像機器を適切に位置合わせするのは難しいかもしれず、結果的に撮像される患者の角度や部分が変動してしまう。同様に、撮像機器に対して患者の向きを決めるのは難しいかもしれない。また、第1のテスト結果と第2のテスト結果を並べて比較した場合に、サイズ、形状等の微細な差異を認識するのは難しいかもしれない。そのため、診断は、テスト結果の質や、異なる時点で取得したテスト結果を比較する医師の能力によって制限されることが多い。
本開示の一つ以上の実施形態は、プロセッサと、前記プロセッサに接続されたカメラと、前記プロセッサに接続されたディスプレイと、前記プロセッサによって命令が実行された場合、前記プロセッサをして、前記メモリに第1画像を記憶させ、減少された不透明度での前記第1画像に対応する修正済み第1画像を生成するために、前記第1画像を修正させ、リアルタイムプレビューを取り込むために前記カメラを制御させ、複合プレビューを生成するために、前記リアルタイムプレビューに前記修正済み第1画像を重ねさせ、前記複合プレビューを前記ディスプレイに出力させ、前記カメラを用いて第2画像を撮像させ、かつ前記メモリに前記第2画像を記憶させる、前記命令を記憶するメモリとを備える、カメラシステムを対象とする。
ある実施形態では、前記命令はさらに、前記プロセッサをして、前記ディスプレイ上に前記第1画像のリアルタイムプレビューを示させ、かつ前記第1画像を撮像するために前記カメラを制御させ得る。
ある実施形態では、前記メモリはさらに、前記プロセッサによって命令が実行された場合、前記プロセッサをして、前記第1画像を撮像するために前記カメラを第1の向きに向けさせ、かつ前記第1の向きで前記第2画像を撮像させる、前記命令を記憶し得る。
ある実施形態では、前記修正済み第1画像は前記メモリに記憶され得る。
ある実施形態では、前記プロセッサは、前記第1画像の前記不透明度を40%減少させ得る。
ある実施形態では、前記ディスプレイは、複数のレイヤーを同時に表示するように構成され得る。
ある実施形態では、前記複数のレイヤーは、前記リアルタイムプレビューを表示するように構成されたユーザインターフェイスビューレイヤーと、前記メモリに記憶された画像を表示するように構成されたオーバレイレイヤーとを備え得る。
ある実施形態では、前記命令はさらに、前記プロセッサをして、前記ユーザインターフェイスビューレイヤー上にリアルタイムプレビューを示させ、前記オーバレイレイヤーに透明レイヤーを表示させ、かつ前記カメラを用いて前記第1画像を撮像させ得る。
ある実施形態では、前記カメラシステムは、アイコンを含むコントローラレイヤーをさらに備え得る。
ある実施形態では、前記カメラシステムは、前記アイコンが押さえられた場合、前記プロセッサに信号を送信するように構成され得る。
ある実施形態では、前記第2画像の前記リアルタイムプレビューのスクリーンショットを撮ることによって、前記第2画像が撮像され得る。
ある実施形態では、前記プロセッサ、前記カメラ、前記ディスプレイ、及び前記メモリは、スマートフォンの部品であり得る。
ある実施形態では、前記カメラは、画像センサと、前記画像センサに光を集中させるように構成されたレンズとを備え得る。
ある実施形態では、前記カメラは医療撮像機器を備え得る。
ある実施形態では、前記医療撮像機器は、X線装置、MRI装置、PETスキャナ、CTスキャナ、超音波装置、心エコー機械、又はマンモグラフィー機械のうちの一つを備え得る。
本開示の一つ以上の実施形態は、一連の位置合わせされた画像を提示するための表示システムであって、プロセッサと、前記プロセッサに接続されたディスプレイと、前記プロセッサに信号を送信するためのユーザインターフェイス装置と、前記プロセッサによって命令が実行された場合、前記プロセッサをして、前記メモリに複数の画像を記憶させ、前記メモリ内の前記複数の画像の中から前記画像の順番に従って前記画像のそれぞれに複数の値を割り当てさせて、第1の値が第1画像に対応し、かつ第2の値が第2画像に対応し、前記第1画像が前記第2画像の前の順番となるようにし、前記値をトランスポートコントローラの複数の部分に対して相互に関連付けさせ、前記ディスプレイ上に前記第1画像及び前記トランスポートコントローラを表示させ、前記第2の値に対応する前記トランスポートコントローラの部分に対応する前記ユーザインターフェイス装置から入力を受信させ、かつ当該第2の入力に従って前記第2画像を表示させる前記命令を記憶するメモリとを備える、表示システムを対象とする。
ある実施形態では、前記トランスポートコントローラは、前記ディスプレイ上で仮想バーに沿ってスライド可能である仮想ボタンを備え得る。
ある実施形態では、前記ユーザインターフェイス装置は、マウス、前記ディスプレイと一体化されたタッチスクリーン、前記ディスプレイの外部のタッチスクリーン、トラックボール、又はスタイラスを備え得る。
ある実施形態では、前記トランスポートコントローラは、円経路に沿ってスライド可能な仮想ボタンであり得る。
ある実施形態では、前記トランスポートコントローラの1回転で、前記複数の画像の前記画像のそれぞれを表示し得る。
ある実施形態では、前記複数の画像はそれぞれ、そのネイティブ解像度で表示され得る。
本開示の一つ以上の実施形態は、画像を撮像する方法であって、カメラと通信するとともに、メモリを有する装置のメモリに、第1画像を記憶することと、前記ディスプレイ上に示されるリアルタイムプレビューに、減少された不透明度での前記第1画像に対応する修正済み第1画像を重ねることと、前記カメラを用いて第2画像を撮像することと、前記メモリに前記第2画像を記憶することとを含む、方法を対象とする。
本開示の実施形態の上記及びその他の特徴や態様は、添付の図面と共に考慮し、以下の詳細な説明を参照することにより、より良く理解されるであろう。同様の特徴及び部品を言及するため、これらの図面において同様の符号が使用される。図面は本質的に概略図であり、一定の比率に縮小して描かれてはいないかもしれない。
図1は、本開示の一つ以上の実施形態に従って画像を取得する方法のフローチャートである。 図2は、本開示の一つ以上の実施形態に従って一連の位置合わせした画像を提示する方法のフローチャートである。 図3は、本開示の一実施形態に従って画像を撮像するシステムのブロック図である。 図4Aは、本開示の一つ以上の実施形態に従って画像を撮像し、かつ画像のプレビューを表示するために使用され得るスマートフォンの正面図である。 図4Bは、本開示の一つ以上の実施形態に従い、位置合わせした構成となる前に、プレビューと第1位置合わせオーバレイ画像を表示する図4Aのスマートフォンの正面図である。 図4Cは、本開示の一つ以上の実施形態に従い、位置合わせした構成のプレビューと第1位置合わせオーバレイ画像を表示する図4Aのスマートフォンの正面図である。 図4Dは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第2位置合わせオーバレイ画像を表示する図4Aのスマートフォンの正面図である。 図4Eは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第3位置合わせオーバレイ画像を表示する図4Aのスマートフォンの正面図である。 図4Fは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第4位置合わせオーバレイ画像を表示する図4Aのスマートフォンの正面図である。 図5Aは、本開示の一つ以上の実施形態に従い、プロジェクトとトランスポートコントローラの第1画像を表示する図4Aのスマートフォンの正面図である。 図5Bは、本開示の一つ以上の実施形態に従い、プロジェクトとトランスポートコントローラの第5画像を表示する図4Aのスマートフォンの正面図である。 図6Aは、本開示の一つ以上の実施形態に従い、位置合わせレイヤーにおける最初の位置合わせレイヤーを有するプログラムの分解斜視図である。 図6Bは、本開示の一つ以上の実施形態に従い、位置合わせレイヤーにおける第1位置合わせオーバレイ画像を有する図6Aのプログラムの分解斜視図である。 図7は、本開示の一つ以上の実施形態に係るプログラムのフィードの正面図である。 図8は、本開示の一つ以上の実施形態に係るプログラムのフィードの正面図である。 図9は、本開示の一つ以上の実施形態に係るプロフィールの正面図である。 図10Aは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Bは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Cは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Dは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Eは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Fは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Gは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Hは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Iは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Jは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図10Kは、本開示の一つ以上の実施形態に従ってプロジェクトを表示する装置の正面図である。 図11Aは、本開示の一つ以上の実施形態に従って画像を撮像し、かつ画像のプレビューを表示するために使用され得る装置の正面図である。 図11Bは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第1位置合わせオーバレイ画像を表示する図9Aの装置の正面図である。 図11Cは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第2位置合わせオーバレイ画像を表示する図9Aの装置の正面図である。 図11Dは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第3位置合わせオーバレイ画像を表示する図9Aの装置の正面図である。 図11Eは、本開示の一つ以上の実施形態に従い、位置合わせした構成でのプレビューと第4位置合わせオーバレイ画像を表示する図9Aの装置の正面図である。 図12Aは、本開示の一つ以上の実施形態に従ってプロジェクトをレビューする観察者の図である。 図12Bは、プロジェクトをレビューしている図12Aの観察者を表示する装置の正面図である。 図13は、本開示の一つ以上の実施形態に従って画像を取得する方法のフローチャートである。 図14は、本開示の一つ以上の実施形態に係る撮像システム及び方法を利用する医療機器の模式図である。 図15Aは、本開示の一つ以上の実施形態に係る撮像システム及び方法を利用する図14の医療機器の正面図である。 図15Bは、本開示の一つ以上の実施形態に係る撮像システム及び方法を利用する図14の医療機器の正面図である。 図15Cは、本開示の一つ以上の実施形態に係る撮像システム及び方法を利用する図14の医療機器の正面図である。 図16は、本開示の一実施形態に従って画像を撮像する撮像システムのブロック図である。
本開示の実施形態は、後続の画像を位置合わせするために、事前に取得した画像を基準とすることによって、画像の位置合わせをするカメラシステム及び方法に関する。図面は、例示の目的でのみ、画像の位置合わせをするカメラシステム及び方法に適用されるいくつかの実施形態例を示すものであり、本発明の精神及び範囲から逸することなしに、修正を行ってよいということ、そして同じ又は類似分野におけるその他の適用において本開示を使用してもよいということは明らかであろう。要素と要素の間の相対的関係を表すために「第1」「第2」などの相対的用語が使用されるが、これらの用語は限定的なものとして意図されてはおらず、その代わり、互いに要素を区別にするために使用されることが理解されるべきである。また、本出願に含まれる図面は、必ずしも一定の比率で縮小されているわけではない。さらに、要素又はレイヤーが他の要素又はレイヤーの「上」にあるとして言及される場合、当該要素又はレイヤーは、他の要素又はレイアーの直接上にあることができ、又は一つ以上の介在する要素又はレイヤーが存在してもよいことが理解されるであろう。本明細書上、「使用する」、「使用している」及び「使用される」という用語は、「利用する」「利用している」「利用される」という用語とそれぞれ同義と見なされてよい。
図1、図3、及び図4A〜図4Fでは、本開示の一つ以上の実施形態は、画像を位置合わせするカメラシステム及び方法を対象とする。画像を位置合わせするカメラシステムの一つ以上の実施形態において、第1画像20はメモリ24(例えば、コンピュータデータストレージ)内に(又は上に)記憶される(S100)。ある実施形態では、カメラシステムは、第1画像20を取得するために使用されてもよい。第1画像20は、適切な手段によって、例えば、写真撮影、インポート、ドローイング、リモート記憶域からのローディング(例えば、クラウド・ベースのサービスからインターネットで)等によって、取得されてもよい。一つ以上の実施形態において、画像を撮像するためにカメラ21(例えば、デジタル一眼レフ(DSLR)カメラ、スマートフォンの内蔵カメラなど)を制御することによって、第1画像20は取得される。カメラ21は、第1画像20を撮像するために使用される画像センサ21A(例えば、CMOSセンサ又はCCDセンサ)と、画像センサに光を集中させるように構成されたレンズと、ディスプレイ(又は視野スクリーン)22とを含む。カメラ21はプロセッサ41によって制御することができ、プロセッサ41は、バス43(例えば、周辺バス)を介してカメラ21に接続される。同様に、ディスプレイ22は、バス43を介してプロセッサ41に接続されて、プロセッサ41がディスプレイ22に画像信号を供給できるようにする。図4Aに示されるように、ディスプレイ22は、カメラ21によって現在撮像されている画像(例えば、ターゲット画像)のプレビュー23(例えば、リアルタイムプレビュー又はライブプレビュー)を提供するように構成されている。言い換えると、ディスプレイ22は、従来のファインダーと同様の、画像撮像の前のターゲット画像を表示する。ディスプレイ22はまた、事前に撮像された(又はインポートされた)画像を表示するように構成されてもいる。ディスプレイ22が、事前に撮像された(又はインポートされた画像)とプレビュー23を同時に表示するように構成されてもいることが、理解されるだろう。
第1画像20は、DSLRカメラによって撮像されて、メモリカード又は内部メモリドライブに記憶されてよい。別の例としては、第1画像20は、スマートフォンの内蔵カメラによって撮影されて、内部不揮発性メモリ(例えば、統合フラッシュメモリ)もしくはダイナミック・ランダム・アクセス・メモリ(RAM又はDRAM)に又は着脱式メモリカード(例えば、セキュア・デジタル(SD)カード)に記憶してもよい。一つ以上の実施形態において、メモリ24はRAMであり、これにより第1画像20の比較的迅速な記憶及びアクセスを可能にする。ある実施形態では、メモリ24は、二つ以上のタイプのメモリでもよく、例えば、ダイナミックRAMと不揮発性メモリの両方でもよい。一つ以上の実施形態において、後の時点でより効率的に第1画像20が読み取り/検索されるように、第1画像20はキャッシュされる。
第2画像26を撮像する前に、第1画像20は呼び出され、かつディスプレイ22上のプレビュー23に、減少された不透明度で重ねられて(又は投影されてもしくは可視化されて)、第1位置合わせオーバレイ画像(又は第1オーバレイ画像)20A(S110)を生成する。第1位置合わせオーバレイ画像20Aとプレビュー23が同時にディスプレイ22上に表示されてもなお、第1位置合わせオーバレイ画像20Aがディスプレイ22上で可視である場合、プレビュー23が完全には遮られない(例えば、第1位置合わせオーバレイ画像20Aと区別可能なままの状態である)ようにするように、不透明度を選択し得る。例えば、第1位置合わせオーバレイ画像20Aは、約40%の透明度であってよい。ディスプレイ22(従来のファインダーのようなもの)は、第2画像26を撮像する前に、第2画像26のプレビュー23を提供する。第1位置合わせオーバレイ画像20Aとプレビュー23の両方がディスプレイ22に提示されるように、第1位置合わせオーバレイ画像20Aがプレビュー23に重ねられて複合プレビューを生成するため、第1位置合わせオーバレイ画像20Aは、基準(例えば、オブジェクト(単数又は複数)、共通オブジェクト(単数又は複数)、共通プロフィールなど)を位置合わせするために使用してもよい。ある実施形態では、第1位置合わせオーバレイ画像20Aは、プレビュー23の全体又はほぼ全体に重ねられる。さらに、ある実施形態では、第1位置合わせオーバレイ画像20Aは、プレビュー23に重なるようにトリミングされ、かつ/又は伸縮される。例えば、プレビュー23は、カメラ21が捉えた視野全体よりも小さく示してもよく、その場合には、オーバレイ画像20Aは、プレビュー23に示される視野に対応するようにトリミングされてよい。別の例として、プレビュー23は通常、カメラ21によって撮像される画像の解像度(例えば、カメラの画像センサ21Aの解像度)よりも低い解像度(例えば、ディスプレイ22の解像度)で表示される。そのため、ある実施形態では、プロセッサ41はプレビュー23の解像度に合わせてオーバレイ画像20Aを縮小・拡大する。ある実施形態では、基準は、第1位置合わせオーバレイ画像20Aと第2画像26で共通でもよい。よって、第1画像20と第2画像26との間で同様に基準の向きが合わせられるように、第2画像26を撮像するために基準に従ってカメラ21を位置づけてよい。例えば、カメラ21は、三脚又はその他の外部位置合わせ機器を必要とせずに、第1画像20が撮像された場所に対して、第2画像26を撮像するためにほぼ同じ場所に位置づけられてよい。基準は、望ましい位置合わせを達成するためのあらゆる適切なオブジェクトであってよいということが、認識されるであろう。例えば、焦点を変えながら、一定の背景又はフレームを基準としてもよく、また、2つの画像の中のいずれかの静止オブジェクトを、位置合わせのための基準として使用してもよい。別の例として、一定の焦点を使用してもよく、また、非静止オブジェクトを基準として使用してもよく、非静止オブジェクトの特定の特徴(例えば、人の鼻)を基準としてもよい。さらに別の例では、基準は、共通プロフィール又はシルエット(人の輪郭など)であってよい。従って、第1画像20と第2画像26との間で背景とオブジェクトの両方が変わり得るが、共通プロフィール又はシルエットを基準として使用してよい。ある実施形態では、第1画像20と第2画像26との間で、オブジェクト、プロフィール、背景などの間の共通性にも拘らず、第1位置合わせオーバレイ画像20Aをガイドとして使用してよい。さらに、第1位置合わせオーバレイ画像20Aは減少された不透明度(例えば、40%の不透明度)であるため、ユーザは、プレビュー23を見ることが可能でありながら、第1位置合わせオーバレイ画像20Aの中のオブジェクトを基準とし得る。第1画像20と第2画像26との間の共通オブジェクトを「一致させる」ために第1位置合わせオーバレイ画像20Aをオプションとして使用してよく、かつ/又は共通の特徴の一致の有無又は共通の特徴を含むか否かに拘わらず、第1位置合わせオーバレイ画像20Aを位置合わせのためのガイドとして使用してよいということが、認識されるであろう。
減少された不透明度を有する第1位置合わせオーバレイ画像20Aが参照されるが、ある実施形態では、ユーザが第1位置合わせオーバレイ画像20Aと第2画像26のプレビュー23の両方を基準とできるように、第1位置合わせオーバレイ画像20Aをグレースケール、白黒、及び/又はカラー(例えば、オレンジ色)に修正してもよい。ある実施形態では、第1位置合わせオーバレイ画像20Aの中の一つ以上のオブジェクトを、輪郭、斜線領域、及び/又は黒塗り領域に修正してもよく、オーバレイ画像の残りの部分(例えば、輪郭、斜線領域、及び/又は黒塗り領域の部分ではない部分)は、完全に透明でもよいし(例えば、0%の不透明度)又は部分的に透明でもよい(例えば、50%の不透明度)。ある実施形態では、撮像された元の画像又は修正済みの画像にエッジ検出フィルタを適用することによって、輪郭を生成してもよい。よって、第1位置合わせオーバレイ画像20Aが後続のプレビュー23に重ねられた場合、プレビュー23と、少なくとも第1位置合わせオーバレイ画像20Aの一部は可視のままとなる。これらの特徴は、単独で又は組み合わせて使用してよい。
ある実施形態では、ユーザインターフェイスは、例えば、減少された不透明度を有する画像として、輪郭として、白黒画像としてなど、どのようにオーバレイを表示するかを選択するための制御を提供する。ある実施形態では、ユーザインターフェイスは、例えば、オーバレイの不透明度パーセンテージ、エッジ検出フィルタの閾値、及びオーバレイ画像の変形(例えば、伸縮、平行移動、及び/又は歪み)など、オーバレイの外形を修正するための制御を提供する。説明の便宜上、ここでは減少された不透明度を有する位置合わせオーバレイ画像を参照するが、本開示の実施形態はこれに限定されない。
ある実施形態では、第1位置合わせオーバレイ画像20Aは生成されて、第1画像20と共にメモリ24に記憶されてよい。
図4B〜図4Cによると、第1位置合わせオーバレイ画像20Aは、第2画像26を撮像する前にカメラ21を位置合わせするために使用され得る。例えば、第1画像20及び第2画像26の中の共通オブジェクトを位置合わせする又は実質的に位置合わせするために、第1位置合わせオーバレイ画像20A及びプレビュー23の中の一つ以上の共通オブジェクト(又は類似オブジェクト)を基準としてよい。図4Bに示される通り、カメラ21が位置合わせした構成になっていない場合、プレビュー23と第1位置合わせオーバレイ画像20Aが位置合わせされていないので、共通オブジェクトのうちのいくつかの複製物をディスプレイ22上に示してよい。但し、図4Cに示される通り、カメラ21が位置合わせした構成にある場合、位置合わせのプロセスの間に存在していた複製物が、もはや見えなくなるように(又はほぼ見えなくなるように)、共通オブジェクトは整列する(又は積み重なり合う)。カメラ21が位置合わせされると、例えば、シャッターボタン25を押さえることによって、第2画像26が撮像される(S120)。この後、第2画像26はメモリ24に記憶される(S130)。ある実施形態では、カメラ21の位置合わせとは、後続の画像の正確な位置合わせ及び重ね合わせのことを言及するが、本開示はこれに又はこれによって限定されないことが認識されるであろう。
いくつかの画像を撮像するために、上記プロセスを繰り返してもよい。例えば、第3画像28を撮像する前に、第2画像26に対応するが減少された不透明度を有する第2位置合わせオーバレイ画像26Aを、ディスプレイ22上で第3画像28のプレビュー23の上に重ねてもよい。第2位置合わせオーバレイ画像26Aとプレビュー23を基準とすることによってカメラ21が位置合わせされると、第3画像28が撮像されて、メモリ24に記憶される。
上記の方法は、複数の画像を含むプロジェクト30を生成するために使用してもよい。例えば、ある実施形態では、プロジェクト30は、第1画像20、第2画像26、第3画像28、第4画像32、及び第5画像34を含む。ここでは5個の画像を含むプロジェクト30について言及するが、本開示はこれに限定されず、プロジェクト30は、5個より多い画像又は5個未満の画像を含んでもよく、但し、少なくとも2個の画像を含むのが好ましい。説明の便宜上、プロジェクト30内の5個の画像に言及して以下の説明を行う。
一つ以上の実施形態において、いずれかの事前に撮った位置合わせオーバレイ画像を、プレビュー23に重ねてよい。言い換えると、直後の画像を撮像するための位置合わせオーバレイ画像として、一番最近に撮像した位置合わせオーバレイ画像を使用する必要はない。例えば、第4画像32を撮像する前に、第1位置合わせオーバレイ画像20Aをディスプレイ22上のプレビュー23に重ねてよい。よって、第3画像28がより最近撮像されたものだとしても、第1位置合わせオーバレイ画像20Aを基準とすることによって、カメラ22を位置合わせしてよい。よって、同じ位置合わせオーバレイ画像から多様な分岐が生成され得る。言い換えると、いずれの位置合わせオーバレイ画像も、後続の画像のためのベースラインの役目を果たしてよく、かつこの位置合わせオーバレイ画像は、時間と共に変化され得る。ある実施形態では、不連続の位置合わせオーバレイ画像が、後の画像の撮像のために使用されるが、多様な分岐の作成とは対照的に、この後の画像を順次にプロジェクトに追加してもよい。言い換えると、一例として、第1画像20、第2画像26(第1位置合わせオーバレイ画像20Aを基準とすることによって)、及び第3画像28(第1位置合わせオーバレイ画像20Aを基準とすることによって)、及び第4画像32(第3位置合わせオーバレイ画像28Aを基準とすることによって)を撮像し得る。多様な位置合わせオーバレイ画像が使用されるが、プロジェクト30は、第1画像20、第2画像26、第3画像28、及び第4画像32と順次組み合わせられてもよい。ある実施形態では、事前に撮られた位置合わせオーバレイ画像は、同じプロジェクト30内の事前に撮られた画像に限定される。
図2及び図5A〜図5Bによると、一つ以上の実施形態では、第1画像乃至第5画像20、26、28、32、及び34は、画像取得方法に従って取得されて、メモリ24に記憶される(S200)。その後、第1画像乃至第5画像20、26、28、32、及び34はアセンブルされて(例えば、連続して又は逐次的にアセンブルされて)プロジェクト30を形成する。よって、プロジェクト30は、第1画像乃至第5画像20、26、28、32、及び34をまとめたものである。ある実施形態では、第1画像乃至第5画像20、26、28、32、及び34は、順序通りにまとめられてプロジェクト30を生成してもよい。しかし、本開示はこれに限定されない。さらに以下に記す通り、ある実施形態では、プロジェクト30は、あらゆる順番での第1画像乃至第5画像20、26、28、32、及び34を含み得る。説明の便宜上、プロジェクト30内の順序通りの第1画像乃至第5画像20、26、28、32、及び34を参照して、以下に説明する。プロジェクト30は、例えば、ディスプレイ22上で又は外部スクリーン上で表示され得る。ある実施形態では、プロジェクト30は、外部コンピュータモニタ上で表示されてもよく、かつサーバへのインターネット接続を介してアクセスされてもよい。
一つ以上の実施形態において、その後、プロジェクト30は前に進められ又はスクラブされて、第1画像20、その後に第2画像26、その後に第3画像28、その後に第4画像32、その後に第5画像34を提示する。例えば、プロジェクト30は、タイムラプスと類似の態様で前に進められてもよい。プロジェクトを通して前に進める場合、ある実施形態では、画像は、単に低品質なプレビュー画像(この場合、前の画像は、重要で目立つ人工物を示し得る)として又はサムネイル画像(この場合、サムネイル画像は、大幅に低減された解像度を有し、かつ/又は単にディスプレイの小さい部分でのみ表示され得る)としてではなく、高解像度(又はフル解像度)で表示されてよい。例えば、画像を前に進める場合、画像は、ディスプレイ22のほぼ全体で(例えば、ユーザインターフェイス・コントロール及びステータス・バーを除くディスプレイ22のすべての部分で)、ディスプレイ22のアクティブ・ウィンドウ(例えば、ウェブ・ブラウザ・ウィンドウ)の実質的部分で(例えば、画像は、高さ又は幅の半分より多くを占めてよく、又はウィンドウ内の最も大きいアイテムであってよい)表示されてよく、又は画像は、そのネイティブ解像度で(例えば、画像内のピクセルとディスプレイ22のピクセルとが1対1で対応する)表示されてよい。ユーザは、希望する速度でプロジェクト30をスクラブしてよい。また、ユーザはプロジェクト30を前方に又は後方にスクラブしてもよく、又はどの画像から(例えば第3画像28から)プロジェクト30を見始めてもよい。
多く集められた画像の中から1枚ずつ画像をナビゲート又はブラウズする既存の技術は一般的に、制御が起動された際に、その集まりの中の次の(又は前の)画像をロードして表示する「次へ」制御(又は「戻る」制御)を起動することを含む。かかる制御は、例えば、クリック可能なユーザインターフェイス要素又はキーボードの矢印キーによって実施されてよい。但し、かかるシステムを使用する場合、様々な画像が表示される速度は、ユーザが制御を作動させる速度によって制御される。言い換えると、ユーザは、実質的に個別の入力を供給することによって、一つの画像から別の画像へとビューを変更する。画像が変化する速度は、ユーザが制御を作動できる速度(例えば、ユーザがいかに素早くマウスをクリックし、タッチスクリーンをタップし、又はキーボード上の矢印キーを押すことができるか)によって制限され得る。画像の集まりをブラウズする既存の技術の上記特徴は、画像間の接続が断たれていると、ユーザに感じさせることができる。
ユーザが、本開示の一つ以上の実施形態に従って、トランスポートコントローラ(又はトランスポートコントローラインターフェイス)を利用してプロジェクト30を通して前に進むことができるようにするために、画像の夫々に、プロジェクト30内の画像の順番に従って値(又はパーセンテージ)が割り振られる(S210)。例えば、プロジェクト30が5個の画像を含む場合、第1画像20には0〜20%に相当する第1の値を割り振ってよく、第2画像26には21%〜40%に相当する第2の値を割り振ってよく、第3画像28には41%〜60%に相当する第3の値を割り振ってよく、第4画像32には61%〜80%相当する第4の値を割り振ってよく、及び第5画像34には81%〜100%に相当する第5の値を割り振ってよい。そして、画像のそれぞれの値は、トランスポートコントローラ38の複数の部分に相関付けられる(S220)。そのため、トランスポートコントローラ38は、プロジェクト内の画像の数に等しいセクションの数(この例では5個のセクション)に分割されてよく、第1セクションは第1画像20に対応し、第2セクションは第2画像26に対応し、第3セクションは第3画像28に対応し、第4セクションは第4画像32に対応し、かつ第5セクションは第5画像34に対応する。ある実施形態では、トランスポートコントローラ38はバー37であり、直線形状(例えば、直線)を有してよい。ある実施形態では、トランスポートコントローラ38は非直線形状であってよく、例えば、トランスポートコントローラ38は円形(又は楕円形もしくは角が丸みのある長方形などの他の閉ループ形状)で、隣接するセグメントが、押さえられかつある方向(例えば、時計回り方向)への移動されることにより、表示される画像が変わるように、画像に割り振られた値に対応する。さらに、トランスポートコントローラ38が閉ループ形状をしている本発明のある実施形態では、ループに沿ってトランスポートコントローラを押さえかつ移動すること(例えば、トランスポートコントローラ上の位置に対応するボタン36の移動)は、単にプロジェクト内の画像を表示する際の進行量を示す。例えば、時計回り方向に半回転は、第1画像20から第2画像26への移行となり、及び時計回り方向に全回転は、第3画像28まで進み得る。トランスポートコントローラを時計回り方向に1回転半まで回転し続けると第4画像32まで進み、2回全回転すると、第5画像34まで進み得る。
カメラシステムは、最初に第1画像20とトランスポートコントローラ38を表示し得る(S230)。その後、カメラシステムは、トランスポートコントローラ38、例えば、ボタン36(又はアイコン、トランスポートコントロールボタン、スライダー、スクラバーなど)を押さえるために、ユーザインターフェイス装置(例えば、マウス、ディスプレイと一体化されたタッチスクリーン、ディスプレイの外部のタッチスクリーン、トラックボール、及び/又はスタイラス)からの第1のユーザ入力を受け取り得る。ユーザが、ボタン36を押さえてからほぼ連続的な動作でこのボタン36をドラッグ又は移動させた(例えば、第1の方向に)場合、カメラシステムは、一つの画像から別の画像へと途切れなく(又はほぼ途切れなく)ビュー(又は表示画像)を変更し得る。例えば、ユーザインターフェイス装置はタッチスクリーンでよく、ボタン36は、ユーザのタッチに反応するように構成されたタッチスクリーン上の仮想ボタン又はアイコンでよい。別の例として、ユーザインターフェイス装置は携帯型のコントローラでよく、かつボタン36は、作動されると、結果として表示画像の変化をもたらす(例えば、物理的作動を介して又は信号を介して)触覚ボタンでもよい。
第1の方向へのボタン36の位置合わせ(又は位置)は、第1画像乃至第5画像20、26、28、32、及び34の順番に対応する。ユーザ入力が第1の値(例えば、ボタンがバー38の最も左寄りである)に対応する場合、第1画像が表示される。ボタン36は、バー37に沿って移動可能である(例えば、スライド可能である)。ユーザが、第1セクションから第2セクションへとバー37に沿ってボタン36をスライドさせると、表示画像は第1画像20から第2画像26へと変わり得る。言い換えると、システムは、ユーザインターフェイス装置(例えば、タッチスクリーン)から第2の値に対応する入力を受け(例えば、ボタン36をドラッグすることによって)(S240)、その後、ボタン36が第2の値に対応する位置になると、第2画像を表示する(S250)。これによって、ユーザは、バー37に沿ってボタン36を動かす又はドラッグすることによって、プロジェクト内の多様な画像の表示と、一つの画像から次の画像へと画像が変更される速度を容易に制御できる。ある実施形態では、ボタン36は、マウスをクリックした後にドラッグするなどの外部入力によって移動可能に構成されている、ディスプレイスクリーン(コンピュータモニタなど)上の仮想ボタン(又はアイコン)でよい。そのため、プロジェクト30がオンライン・ウェブページ上に表示された場合、例えば、ユーザは、ボタン36を制御するために、対応するマウスを使用してよい。
ある実施形態では、トランスポートコントローラ38が円形である場合、円形のトランスポートコントローラ38の動きは、トランスポートコントローラ38の1回転がプロジェクト30全体に対応するように構成されてよい。そのため、1回転完了すると、プロジェクト30が表示され、2回目の回転を開始すると、プロジェクト30の開始時のプロジェクト30にリセット(例えば、途切れなくリセット)してよい。従って、ユーザが、トランスポートコントローラ38を押さえることによって、プロジェクト30をプレイしかつ再生することが容易になり得る。
よって、本開示の一つ以上の実施形態に従って画像を位置合わせする方法を用いることによって、ユーザは、三脚又はその他の位置合わせ機器を必要とせずに、かつ画像と画像の間の移行がスムーズに又はほぼスムーズに、あらゆるオブジェクト(例えば、非静止オブジェクト)のあらゆる期間(例えば、長期間)に亘ってのタイムラプス(例えば、プロジェクト30)を作成し得る。例えば、画像と画像の間のスムーズな移行は、前の画像をフェイドアウトさせて、次の画像をフェイドインさせることによって実施することができる。他の実施形態では、動作補完アルゴリズム(例えば、Zhai、Jiefu等による「低複雑性動作が補われたフレーム補完方法(A low complexity motion compensated frame interpolation method)」2005年IEEE回路とシステムに関する国際シンポジウム。IEEE、2005年参照)を用いて、スムーズな移行を生成し得る。さらに、ユーザは、前の画像の焦点、前の画像の背景、又は前の画像のいずれかの望ましいオブジェクトもしくはアスペクトに対して画像と画像(又はカメラショットとカメラショット)の間の同じ又はほぼ同じ位置にあるカメラ21をフレーミング(又は位置合わせする)しつつ、プロジェクト30の各画像を撮像する間にカメラ21を移動し得る。
本開示の実施形態は、ユーザに対して、ユーザがプロジェクト内の画像を通してスクラブする際に一定であり続ける視覚要素を提供することによって、画像間の高められた関連性感覚をユーザに提供する。一定視覚要素は、例えば、トランスポートコントローラ38、プロジェクトを通しての進展に比例してのトランスポートコントローラ38/バー37に沿ったボタン36の位置)、及びスクリーン内の画像の位置(例えば、画像は、ユーザインターフェイスの「リロード」又は「リフレッシュ」によるシフトなしに変化し得る)を含み得る。よって、これらの一定視覚要素及びトランスポートコントローラインターフェイスの継続性は、画像と画像の間の関係が互いに断たれているように思われる既存のインターフェイスの問題を解決する。さらに、ある実施形態では、プロジェクト30にアクセスすると、プロジェクト30の各画像はメモリ24に記憶されて、かつ見るためにアクセス可能となり、プロジェクト内の画像を通してスクラブする際に、バッファリング(又はローディング)の問題の可能性を防ぐ又は減少させる。
ある実施形態では、ドラッグせずにボタン36を前に進めてもよい。言い換えると、ユーザがバー37にタッチするか又はバー37上でマウスをクリックするなどの入力に従って、ボタン36がバー38に沿って「ジャンプ」してもよい。例えば、第1画像20が表示されると、ユーザは、第4画像32を表示するために第4セクションにあるバー37をタッチしてよく、これにより、第2画像26と第3画像28をバイパスする。ある実施形態では、ユーザが非線形セクションにあるバー37に触れる(もしくは押さえる)と、前の表示画像と指定セクションに対応する画像との間のいずれの画像も表示され得る。例えば、第1画像20が表示されて、ユーザが、第4画像32を表示するために第4セクションにあるバー37にタッチすると、第4画像32が表示される前に、第2画像26及び第3画像28が表示され得る(例えば、素早く表示される)。その後、ユーザは、異なる画像を表示するために、バー37の異なる部分に触れるか、又はボタン36をドラッグしてよい。ある実施形態では、ユーザがバー37のある部分に触れると、ボタン36は、バー37上のボタン36の位置が、表示画像に関連するバー37のセクションに対応するように、バー37の接触部分まで移動し得る。
ある実施形態では、ユーザがボタン36にタッチすると(又はタップもしくはクリックして、ドラッグせずに指を離すと)、プロジェクト30(例えば、プロジェクト30内の画像)を前に進ませ得る。例えば、プロジェクト30の画像は、ユーザがプロジェクト30を通してスクラブしているかのように、前に進ませられ得る。そのため、ボタン36をタップすることで、プロジェクト30の「自動プレイ」を開始し得る。
図6A及び図6Bによると、本開示は、本開示の一つ以上の実施形態に従って画像を位置合わせする方法を利用するカメラシステムも対象とする。例えば、カメラシステムは、メモリ記憶装置(例えば、メモリ24)、画像(例えば、センサ21A)を撮像するためのカメラ21(例えば、カメラ・アプリケーション、DSLRカメラなど)、及び画像のプレビューを提供するスクリーン(例えば、プレビュー23を提供するディスプレイ22)を有するあらゆる装置(又は複数の装置の組み合わせ)で使用され得る。そのため、非限定的な例として、画像を位置合わせする方法は、DSLRカメラ、スマートフォン、スマートフォン・ソフトウェア・アプリケーション、眼鏡、腕時計、コンピュータ、又はドローンで使用され得る。メモリ記憶装置、カメラ、及びディスプレイはそれぞれ、一つの装置(例えば、事前にソフトウェアがロードされたスマートフォン)の中に形成されてよく、又は様々な部品が組み合わされもしくは外部接続されてもよい(例えば、ディスプレイは、ケーブルを介してカメラに接続されてよい)。
一つ以上の実施形態において、プログラム40は、カメラ21を含むスマートフォン42にインストールされる。プログラム40は、生成モード、公開モード、及びフィード(又は表示)モードを含み得る。生成モードは、プロジェクト30を作成するために使用される。公開モードは、プロジェクト30を公開するために使用され、フィードモードは、ユーザによって又は後述のように他のユーザによって公開されたプロジェクトを表示する。プログラム40が開かれると(又はアクセスされると)、プログラム40は、フィードモードで初期化してよく、かつアイコンを押さえると、フィードモードから生成モードへ、またその逆も同様に、プログラム40を調整するアイコンを含み得る。そのため、プログラム40がフィードモードであり、かつユーザがアイコンを押さえると(例えば、アイコンが表示されているスマートフォン24のスクリーン部分に触れると)、プログラム40は、一時的にフィードモードを作動停止して、生成モードを作動し得る。同様に、プログラム40は、アイコンが押さえられると、生成モードから公開モードへ、かつその逆も同様に、プログラムを調整するアイコンを含み得る。
生成モードが作動されると、プログラム40はカメラ21と通信する(例えば、カメラ21を作動する)。ユーザが、プログラム40がカメラ21と通信するための許可を設定していない場合、プログラム40は、ユーザがカメラ21とプログラム40との間の通信を可能にするように促し得る。
プログラム40で作成された各プロジェクト30について、ユーザは、プロジェクト30のめのカメラ21の向き(例えば、ポートレート向きモード又は風景向きモード)を指定してよい。ある実施形態では、プログラム40は、スマートフォン42のメモリ24に、向きモードの選択を書込み、かつプロジェクト30の作成の間ずっとポートレート又は風景モードでカメラ21が一貫した向きとなるように、向きモードの選択をプロジェクト30に適用する。ある実施形態では、プログラム40は、ユーザに対して各向きモードのプレビューを提供し得る。ある実施形態では、プログラム40は、向きモードの選択を省略してよい。
プログラム40は、ユーザが第1画像20を撮像できるようにする。第1画像20の撮像のために、プログラム40は、複数のレイヤーを含むディスプレイ22を作動する。例えば、複数のレイヤーのうちの第1レイヤーは、カメラビューレイヤー44又はユーザインターフェイス(「UI」)ビューレイヤーに対応し得る。複数のレイヤーのうちの第2レイヤーは、位置合わせレイヤー(又はオーバレイレイヤー)46に対応し、かつ複数のレイヤーのうちの第3レイヤーは、コントローラレイヤー48に対応し得る。後述の通り、ある実施形態では、プログラム40は、カメラビューレイヤー44及び位置合わせレイヤー46を含み、かつコントローラレイヤー48を省略する。カメラビューレイヤー44はカメラビューを含み、このカメラビューは、ユーザがカメラ21を作動した場合に、一般的にディスプレイ22上に示される。言い換えると、カメラビューレイヤー44は、画像が撮像される前に、撮像される画像のプレビュー23を提供する。そのため、ユーザがスマートフォン42を動かすと、カメラビューレイヤー44に表示される画像が変わる。
位置合わせレイヤー46は、カメラビューレイヤー44の上に積層される。プロジェクト30がまだいずれの画像も含んでいない場合(例えば、ユーザが第1画像20を撮像中の場合)、位置合わせレイヤー46は透明レイヤーである。そのため、最初の位置合わせレイヤー46A(例えば、第1画像20が撮像される前に表示される位置合わせレイヤー46)はダミーレイヤーとして機能する。ある実施形態では、複数のレイヤーが互いに積み重ねられた場合に、位置合わせレイヤー46がディスプレイ22の各縁部を覆うように、位置合わせレイヤー46は、ディスプレイ22の各縁部まで広がる。
コントローラレイヤー48は、位置合わせレイヤー46の上に積層される。コントローラレイヤー48は、ユーザが、希望通りに画像をフレーミングした際に、画像を撮像できるようにし、かつ一般に透明である(例えば、コントローラレイヤー48上の多様な制御及び/又はボタンを除いて透明である)多様な制御及び/又はボタンを含む。例えば、コントローラレイヤー48は、シャッターボタン25、カメラスワップボタン50、及び戻るボタンを含んでよい。シャッターボタン25、カメラスワップボタン50、及び戻るボタンはボタンとして記載されるが、これらの機能はディスプレイ22上のコントローラレイヤー48によってデジタル表示され、かつ実際のボタンの物理的実施ではないことを、当業者は理解するであろう。その代わり、ユーザは、カメラビューレイヤー44に表示される画像を撮像するため、スマートフォン42のプロセッサ41に信号を送信するために、シャッターボタン25に対応する領域のディスプレイ22に触れてよい。同様に、スマートフォン42が2台以上のカメラ21を含む場合、ユーザは、前面カメラから背面カメラへと切り替えるように、スマートフォン42のプロセッサに信号を送信するために、カメラスワップボタン50に対応する領域のディスプレイ22に触れてよい。ユーザが戻るボタンを押さえた場合、プログラム40は生成モードからフィードモードへとシフトし得る。
ある実施形態では、シャッターボタン25は、コントローラレイヤー48全体に対応してよく、この場合、ディスプレイ22がコントローラレイヤー48を表示している間、ユーザがディスプレイ22の一部に触れる(又は押すもしくは保持する)と、画像が撮像される。ある実施形態では、コントローラレイヤー48が省略され得ることが、当業者によって認識されるであろう。例えば、ある実施形態では、カメラ21は、シャッターボタン25の物理的実施によって作動され得る。例えば、DSLRカメラでは、シャッターボタン25は、DSLRカメラのカメラ本体上の機械的に作動されるボタンであってよく、又はスマートフォン42では、例えば、ボリュームボタン又はその他の機械的に作動されるボタンが、シャッターボタン25として機能し得る。そのため、ある実施形態では、コントローラレイヤー48は不要又は冗長となり得る。しかしながら、ある実施形態では、たとえシャッターボタン25、戻るボタン、及び/又はカメラスワップボタン50を作動させる機械的又はその他の手段が存在しているとしても、プログラム40はコントローラレイヤー48を含み得る。但し、説明の便宜上、コントローラレイヤー48を含む実施形態に言及して、以下の説明を行う。
ディスプレイ22上に物理的に表されている、かつ触れることによって作動されるあらゆるユーザインターフェイスボタンは、機械的に作動かつ/又は操作される触覚ボタンとして実施され得るということが、当業者によって認識されるであろう。
ユーザが第1画像20を撮像するためにプログラム40を使用する場合、プログラム40は、ディスプレイ22上にカメラビューレイヤー44、位置合わせレイヤー46(すなわち、最初の位置合わせレイヤー46A)、及びコントローラレイヤー48を表示する。その後、ユーザは、カメラビューレイヤー44の表示を基準にすることによって、カメラ21を位置合わせし、かつコントローラレイヤー48上のシャッターボタン25を押さえることによって、第1画像20を撮像し得る。
第1画像20を撮像するために、ユーザはシャッターボタン25を押さえる。その後、プログラム40は、画像を撮像するために信号をカメラ21に送信し、カメラ21は、 一時的記憶ファイルに第1画像20を書き込む(又は記録する)。第1画像24が撮像された後、プログラム40は、ユーザがレビューするように、第1画像24を表示し得る。その後、ユーザは、第1画像20が保存されるべきか又は処分されるべきかを示すために、複数のボタンのうちの一つを押さえてよい。
第1画像20が保存されるようにタグ付けされた場合、プログラム40は、第1画像20をメモリ24に記憶する。メモリ24は、例えば、スマートフォン42の内部メモリ、マイクロSDカード又はその他の外部メモリカードなどの外部メモリでよく、又はクラウドストレージでもよい。第1画像20は、プロジェクト30内で使用されるように、メモリ24に記憶される。
ある実施形態では、新しいプロジェクト30が作成された場合、プログラム40は、装置上の一般の「写真」アプリケーション又は同様のアプリケーションにフォルダを作成する。追加の画像がプロジェクト30に追加されると、その追加画像は当該フォルダに記憶される。各画像はプロジェクト30に追加されると、画像は局地的に装置に記憶されるが、各画像は、固有のオブジェクトIDに関連付けられ、その後かかるオブジェクトIDはバックエンド・サーバに提供される。そして、バックエンド・サーバ内のオブジェクトIDに従って辞書が作成され、オブジェクトIDは、フォルダ用の局地的に記憶された画像API識別子にマッピングされる。そのため、ユーザが装置を切り替えると、プログラム40は、局地の「写真」アプリ又はその他のアプリのフォルダを認識し、これらの画像をプロジェクトのオブジェクトIDにマッピングし得る。ある実施形態では、ユーザが公開モードを用いてプロジェクト30を公開すると、フォルダ内のすべての写真が集められ、圧縮され(例えば、オリジナルサイズの80%まで)、列に並べられ、かつバックエンド・サーバに保存される。
後の時点で(例えば、第1画像20を撮像した直後、第1画像20を撮像した何分か後、第1画像20を撮像した何時間か後、第1画像20を撮像した何日か後など)、第2画像26はプロジェクト30のために撮像される。ユーザがプログラム40を作動すると、プログラム40はカメラ21の記憶された向きモードにアクセスし、これに従ってカメラ21の向きを合わせる。向きモードの選択を省略している実施形態では、カメラ21は、画像間の一貫性のために手動で向きを合わせられてもよいことが認識されるであろう。そしてプログラム40は、第1画像20にアクセスし、かつ第1画像20を呼び出して修正して第1位置合わせオーバレイ画像20Aを生成する。その後、最初の位置合わせレイヤー46Aは、位置合わせレイヤー46内の第1位置合わせオーバレイ画像20Aによって置き換えられる。第1位置合わせオーバレイ画像20Aは、減少された不透明度の位置合わせレイヤー46として表示される。例えば、第1位置合わせオーバレイ画像20Aは、50%の不透明度で表示されてよい。第1位置合わせオーバレイ画像20Aは、減少された不透明度でメモリ24に記憶されてよく、又は位置合わせレイヤー46で使用するように第1位置合わせオーバレイ画像20Aがアクセスされた場合に、第1位置合わせオーバレイ画像20Aの不透明度を減少させてもよい。
カメラ21、第1画像20、及びディスプレイ22のアスペクト比及び/又は解像度 は同一でなくてもよいことが認識されるであろう。従って、第1位置合わせオーバレイ画像20Aがディスプレイ22に一致する寸法となるように、第1位置合わせオーバレイ画像20Aの寸法を修正したり(例えば、トリミングしたり)又は比例調整したり(例えば、伸縮したり)してよい。ある実施形態では、第1位置合わせオーバレイ画像20Aは、メモリ24に記憶されてもよく、かつ第1画像20と同時に撮像されたカメラビューレイヤー44のスクリーンショットであってもよい。そのため、第1位置合わせオーバレイ画像20Aは、カメラビューレイヤー44の寸法と同一又はほぼ同じ寸法となる。第1位置合わせオーバレイ画像20Aは、メモリ24に、例えば、スマートフォン42のRAMに記憶される。ある実施形態では、第1位置合わせオーバレイ画像20Aは、比較的容易に読み出し/検索できるようにキャッシュされる。
第2画像26の撮像のために、ディスプレイ22は、カメラビューレイヤー44(第2画像26のプレビュー23を提供する)と、位置合わせレイヤー46(カメラビューレイヤー44の上に、減少された不透明度で第1位置合わせオーバレイ画像20Aを提供する)と、位置合わせレイヤー46の上にコントローラレイヤー48を表示する。そのため、第2画像26を撮像するために、カメラ21を位置合わせしかつフレーミングする間、第1位置合わせオーバレイ画像20Aを基準としてよい。例えば、第1位置合わせオーバレイ画像20A内のオブジェクトを、第2画像26のためにカメラ21を位置合わせするための基準として使用してよい。位置合わせレイヤー46として表示される第1位置合わせオーバレイ画像20Aは、第1画像20のカメラビューレイヤー44のスクリーンショットであるため、第1位置合わせオーバレイ画像20Aとカメラビューレイヤー44とは同一又はほぼ同一の寸法であり、その一方で、第1画像20とカメラビューレイヤー44とは異なる寸法でもよい(例えば、第1画像20は、2:3比に縮小され得るが、カメラビューレイヤーは、ディスプレイ22のサイズ及び寸法に従って伸縮してよい)。そのため、プログラム40は、第1位置合わせオーバレイ画像20Aの寸法に合わせた追加の伸縮又は修正の必要性を減らしつつ、カメラビューレイヤー44及び位置合わせレイヤー46を重ね合わせ得る。よって、伸縮エラーの可能性が削減又は最小化されるので、第1画像20及び第2画像26を高い精度で位置合わせし得る。カメラ21が位置合わせされると、例えばシャッターボタン25を押さえることによって、第2画像26を撮像し得る。
そして、第1画像20のように、プログラム40は第2画像26を作成し、この第2画像26はプロジェクト30で使用するようにメモリ24に記憶される。第1画像20、第2画像26などがプロジェクト30で使用され、又はメモリ24から抽出され得ることが、当業者によって認識されるだろう。言い換えると、プログラム40によって撮像される画像は、プロジェクト30内での使用に限定されず、例えばクラウド・ベース・ストレージや共有システムを使用してインターネットを介して、他のユーザと画像をシェアしてよい。さらに、外部ソースからプログラム40にインポートすることによって、画像をプロジェクト30に追加してもよい。このようにインポートされた画像は、位置合わせオーバレイ画像を作成するために使用されてよく、かつ/又は位置合わせオーバレイ画像を利用することなしに、プロジェクト30に追加されてもよい。
プロジェクト30用の第3画像28を撮像するために、プログラム40は第2画像26にアクセスして、第2位置合わせオーバレイ画像26Aを生成する。そして、第2位置合わせオーバレイ画像26Aが、位置合わせレイヤー46としてディスプレイ22上に表示される。上述の通り、位置合わせレイヤー46は、第3画像28のプレビュー23を示すカメラビューレイヤー44の上にあり、かつコントローラレイヤー48の下になる。第2位置合わせオーバレイ画像26Aの不透明度は、位置合わせレイヤー46で使用される前に、約50%に減少される。
この方法は、プロジェクト30を作成するために使用される複数の画像を生成するために、複数回利用されてもよいことが、認識されるであろう。複数の画像(例えば、5個の画像20、26、28、32、及び34)が撮像されると、画像をまとめてプロジェクト30にするために、プログラム40を使用し得る。
ある実施形態では、プロジェクト30内の複数の画像は連続して配置してよい。他の実施形態では、複数の画像はどのような順番で配置しても又は配置し直してもよい。後述の通り、ある実施形態ではプロジェクト30をシェアし得る。プロジェクト30が他のユーザらによってシェアされると、他のユーザらは、プロジェクト30内の複数の画像を配置し又は配置し直し、同じ画像などを利用して新しいプロジェクトをシェアし、作成し、かつ/又は投稿し得ることが認識されるであろう。
ある実施形態では、プログラム40はさらに、プロジェクト30をシェアかつ公開するためインターネット接続性用に構成され得る。例えば、プログラム40は、プロジェクト30を公開するための公開モードと、ユーザによってかつ他のユーザらによって公開されたプロジェクトを見るためのフィードモードとを含み得る。フィードモードは、フィード(又はフィードページ)54、プロフィール(又はプロフィールページ)80、及び/又は検索(又は検索ページ)90を含み得る。フィード54は、ユーザが購読しているフィード、又は公にシェアもしくは公開されたフィーチャーされたプロジェクト30のキュレートされたフィードを有する、ユーザからのかつ他のユーザらからのプロジェクトを含み得る。図7によると、フィード54はディスプレイ22上に表示され、又は外部スクリーン上に表示されてもよい。フィード54に表示される各プロジェクト30について、ユーザ名56、公開時間58、キャプション(又は説明もしくはタイトル)60、トランスポートコントローラ(又はスクラバー)62、及びプロジェクト30が、その他の機能(コメント機能、シェア機能、及び「いいね」機能を含む)と共に表示される。そして、ユーザは、プロジェクト30を見るためにトランスポートコントローラ62上のアイコン又はボタンを押さえることによって、プロジェクト30を通して前に進め得る。フィード54が、2個以上のプロジェクト30を含む場合、一番最近公開されたプロジェクト30がフィード54のトップになり、かつ後続のプロジェクト30が互いに下に重ねられ、最初に公開されたプロジェクト30が一番下になるように、プロジェクト30は経時的順序に積み重ねられる(例えば、垂直に位置合わせされる)。ある実施形態では、プロジェクト30が水平に位置合わせされるように、フィード54を水平に構成してもよい。ある実施形態では、プロジェクト30内の一つ以上の画像は、プロジェクト30を通してユーザスクラブとして対応する画像と共に表示される個別のコメントを含み得る。
ある実施形態では、プロジェクト30が最初にフィード54に表示されると、減少された不透明度の一つ以上の画像の積層複合物を表示し得る。例えば、図8によると、第1画像20及び最後の画像(例えば、第5画像34)が、フィード54内のプロジェクト30のフィードプレビュー55として、減少された不透明度で同時に表示され得る。そのため、プロジェクト30は、一連の画像に亘って発生する視覚的変化を表す1個の画像としてフィード54内に表示され得る。ある実施形態では、フィードプレビュー55は、減少された不透明度のプロジェクト30内のすべての画像を含み得る。そのため、プロジェクト30がプログラム40を介してシェアされると、不透明度100%の画像と位置合わせオーバレイ画像の両方をアップロードして記憶してよく、かつ位置合わせオーバレイ画像を積層させてフィードプレビュー55を提供してもよい。但し、本開示はこれに限定されず、位置合わせオーバレイ画像をアップロードして記憶することなしに、画像をアップロードして記憶してもよい。かかる実施形態では、画像をアップロードして保存した後、画像の不透明度はプログラム40によって減少され、減少された不透明度の画像が積層されて、フィードプレビュー55を提供し得る。フィードプレビュー55は、プロジェクト30内の一つ以上の画像を含んでよい。
一つ以上の実施形態において、プログラム40は、例えば、公開モードに関連付けられたスイッチ(又はトグルスイッチ)64などの非公開機能を含む。ユーザがプロジェクト30を公開した後、プロジェクト30は、ユーザのフィード及び購読者のフィードに、仕上がりプロジェクトとして表示される。しかし、プロジェクト30を公開した後、ユーザはスイッチ64(例えば、スマートフォン42のディスプレイ22上のタッチスクリーンスイッチ)を押さえて、スイッチが非公開にするに設定されている間、プロジェクト30を公開から取り外し、かつユーザのフィード及び購読者のフィードからプロジェクト30を隠し得る。そして、ユーザは、プロジェクト30を削除せずに、プロジェクト30を編集または修正してよい。その代わり、ユーザが一旦プロジェクト30を修正すると、ユーザは、スイッチを押さえてプロジェクト30を公開してよく、プロジェクト30は、該当するフィード54に戻る。ある実施形態では、プロジェクト30は、再公開時間に対応する公開時間58で再公開され、従って、プロジェクト30は再公開の時間に従ってフィード54に提示されることになる。他の実施形態では、プロジェクト30は、当初の公開時間に対応する公開時間58で再公開されて、プロジェクト30は、最初の公開の時間に従ってフィード54に提示されることになる。ある実施形態では、トグルスイッチ64は、購読者のフィードで公開されてよく、かつ、購読者が購読者のフィードでプロジェクト30を公開する(すなわち、表示)又は非表示にする(すなわち、隠す)ように、構成され得る。購読者がプロジェクト30を非公開するように設定すると、プロジェクト30は隠されるが、プロジェクト30を提供したユーザについての情報及び/又はプロジェクト30(キャプション60及び/又はユーザ名56など)は、購読者がプロジェクト30を再公開し得るように、トグルスイッチ64と共にフィールド内で可視な状態のままとし得る。
上述の通り、一つ以上の実施形態では、ユーザがトランスポートコントローラ62上のボタンをドラッグする速度に従って、プロジェクト30はスクラブされる(又は前に進められる)。例えば、ユーザは、ゆっくりとスクラブして、一定時間1個の画像が表示されることを確実にするようにしてよく、又は画像が素早く又は滑らかに移動するように、ユーザは素早くスクラブしてもよい。画像がスクラブされる実施形態では、ユーザ又は観察者は、トランスポートコントローラ62を可変速度で押さえることによって、いくつかの画像又は各画像内のオブジェクトを強調し得ることが認識されるであろう。ある実施形態では、プロジェクト30内の各画像に対応するトランスポートコントローラの部分が、プロジェクト30内の画像の数に応じて変動し得るように、トランスポートコントローラ62は固定長さを有し得る。そのため、多い数の画像を有するプロジェクトに対して、少ない数の画像を有するプロジェクトを通して、ユーザがゆっくりとスクラブすることはより容易となり得る。
ある実施形態では、トランスポートコントローラ62が省略されて、プロジェクト30は、指定された速度で(例えば、画像1個につき1秒で)再生される動画として表示され得る。但し、本開示はこれに限定されず、ある実施形態では、より速い速度で又は遅い速度で画像を再生してもよい。さらに、ユーザは、画像を表示するための速度を指定してもよい。例えば、ユーザが選択した指定速度で画像を再生してよく、かつ/又はユーザは、第1の時間量につき特定の画像が表示され、第2の時間量につき他の画像が表示されるように、変化する速度を選択してもよい。ある実施形態では、プロジェクト30は、動画としてフィード54内に表示され(例えば、所定間隔を置いて複数の画像を再生又は前に進めて)、かつ動画が再生された後に、プロジェクト30に亘ってスクラブするためのトランスポートコントローラ62を含む。プロジェクト30が動画として表示されるある実施形態では、トランスポートコントローラ62も表示されてよく、かつトランスポートコントローラ62上のアイコンが、各画像が表示される際に、自動的に前に進み、又はトランスポートコントローラ62(又はトランスポートコントローラ62のバー38)と共に動いてもよい。さらにその後、ユーザは、トランスポートコントローラ62を動かすことによって、動画を見るためにトランスポートコントローラ62を利用してよい。同様に、ユーザは、動画が再生されている間に中断(又は一時停止)するために、又はトランスポートコントローラ62を作動して、動画を継続する代わりにプロジェクト30を通してスクラブするために、トランスポートコントローラ62を利用してよい。
図9によると、プログラム40のフィードモードは、プロフィール(又はプロフィールページ)80を含んでもよい。プロフィール80は、ユーザのアカウントに関する情報(ユーザのユーザ名、アップロードされたプロジェクト30の数、フォロワーの数、ユーザがフォローするその他のユーザの数など)を含んでよい。プロフィール80は、ユーザによってアップロードされたプロジェクト30を含むフィードを含んでもよい。また、プロフィール80は、ユーザが生成したけれど、まだ公開していないプロジェクト30を含んでよい。プロフィール80は、ボタンが押さえられた場合に、ユーザをフォローする又はフォローを外すボタンを含んでもよい。
プログラム40のフィードモードは、検索ページ90も含んでよい。例えば、ユーザは、プロジェクト30に関連付けられた一つ以上のタグを含み得る。そして、これらのタグは、検索可能なデータベースにアーカイブされかつ含まれる。例えば、ユーザは、料理、ロサンゼルス及びパイというタグにプロジェクト30をタグ付けしてよい。プログラム40のいずれかのユーザがこれらのタグのうちのいずれかを検索した場合、プロジェクト30がフィード内に表示され得る。ある実施形態では、ユーザは、複数の検索用語を入力してよい。検索ページ90は、ユーザの氏名、トピック、テーマ、カテゴリーなどで検索するために使用されてもよい。
ある実施形態では、ユーザは、スマートフォン42のスクリーンの一部に触れて、例えば右方向に又は左方向にスワイプすることによって、フィードページ54と、プロフィールページ80と、検索ページ90とを交互に切り替え得る。他の実施形態では、ユーザが複数のアイコンのうちの一つを押さえ又はこれに触れると、対応するページが表示されるように、フィードページ54、プロフィールページ80、及び検索ページ90のうちの一つにそれぞれ対応する追加のアイコンを設けてよい。
ある実施形態では、プロジェクト30内の一つ以上の画像が複製されてよい。例えば、第2画像26を選択してコピーしてよく、又は第2画像26のスクリーンショットをつかんで、第2画像26と第3画像28の間に挿入してよい。そのため、ユーザ又は観察者がプロジェクト30を見る場合、プロジェクト30は、延長された時間量だけ第2画像26に留まって表示され得る。そのため、第2画像26を強調してよい。一例として図10A〜図10Kに示される通り、ガムボールで「HI MOM」と綴るストップモーションプロジェクト66を作成するために、プログラム40を使用し得る。空白のカッティングボードの第1画像66A(図10A参照)を撮像してよい。カッティングボード上で一列になった(例えば、垂直又はほぼ垂直の線)複数のガムボールの第2画像66Bを撮像してよい(かつ例えば、第2画像66Bのためにカメラ21を位置合わせするための共通オブジェクトとしてカッティングボードを基準にすることによって、第2画像66Bのためにカメラ21を位置合わせするために、第1画像66Aの位置合わせオーバレイ画像を使用してよい)(図10B参照)。「H」を形成するガムボールの水平線とガムボールのもう1本の垂直線(図10C参照)を追加してよく、そしてカメラ21を位置合わせするために第2画像66Bの位置合わせオーバレイ画像を使用することによって、「H」の第3画像66Cが撮像され得る。「I」を形成するために「H」から離れたガムボールの別の列がカッティングボードに追加されてよい(図10D参照)。カメラ21を位置合わせするために第3画像66Cの位置合わせオーバレイ画像を使用することによって、「HI」の第4画像66Dを撮像され得る。そして、ストップモーションプロジェクト66を作成するために、図10G〜図10Kに示される通り、カッティングボード上に「M」−「O」−「M」と綴るためにカッティングボードをクリアにしてよい。観察者が、プレート上の「I」のフォーメーションの導入を処理する時間を有する可能性がより高くなるように、第3画像66Cを複製してよい(図10E参照)。また第1画像66Aをコピーして、「HI」と「MOM」の間の空間を強調するために第3画像66Cと第4画像66Dの間に挿入されてもよい(図10F参照)。従って、プロジェクト66は、第1画像66A、第2画像66B、第3画像66C、第3画像66C、第1画像66A、第4画像66D、第5画像66E、第6画像66F、第7画像66G、第8画像66H、及び第9画像66Iの画像を上記に列記した順番で含んでよい。
ある実施形態では、プログラム40は、他のユーザがプログラム40を使用してプロジェクトを公開した場合、購読者がスマートフォン42で通知を受信できるようにする「プッシュ通知」機能を含む。従って、購読者は、リアルタイムで又はほぼリアルタイムで公開されたプロジェクトを見得る。ある実施形態では、プログラム40は、他のユーザによって撮像された各画像についてのプッシュ通知を含んでよい。そのため、ユーザは、画像ごとに、他のユーザが撮像したプロジェクト30を見ることができる。
ある実施形態では、第1ユーザによって撮像又は保存された画像(例えば、第1画像20)を、他のユーザ(例えば、第2ユーザ及び第3ユーザ)によって利用可能にし得る。そして、第1ユーザ、第2ユーザ、及び第3ユーザはそれぞれ、第1位置合わせオーバレイ画像20Aを作成するためにプログラム40を使用してよく、かつ個々に、後続の画像を撮像するために第1位置合わせオーバレイ画像20Aを基準としてよい。そのため、同じ第1画像20を使用することによって、第1ユーザ、第2ユーザ、及び第3ユーザはそれぞれ、各ユーザが同一の最初の画像を基準としたにも拘らず、明確に異なる後続の画像を作成し得る。よって、複数のユーザによって共同グループプロジェクトが形成され得る。第1ユーザ、第2ユーザ、及び第3ユーザによって撮像された画像をまとめて、一つのプロジェクトを作成し、又はユーザのそれぞれが、同一の最初の画像から個別のプロジェクトを作成してもよい。
ある実施形態では、共同グループプロジェクトについてユーザの情報を提供し、かつ共同グループプロジェクトへの同時貢献を容易にするために(例えば、リアルタイムでの)、共同グループプロジェクトのために通知(例えば、プッシュ通知)を使用してよい。例えば、第1ユーザは、プログラム40を通して他のユーザに第1画像20を提供してよい。第2ユーザは、第2画像26を撮像するために第1位置合わせオーバレイ画像20Aを使用してよく、その後、当該第2画像26はプログラム40を介して公開され、他のユーザらのフィード54で利用可能となり、かつ第3ユーザは、第3画像28を撮像するために第2位置合わせオーバレイ画像26Aを使用し得る。第1ユーザと、第2ユーザと、第3ユーザとの間の物理的位置又は近接さには拘わらず、プロジェクト30が同時に公開されかつ作成されるように、第1画像20、第2画像26、及び第3画像28をプロジェクト30に追加し、これらをプログラム40を介して同時に公開してよい。
ある実施形態では、複数のプロジェクトを作成するために、ある画像(例えば、第1画像20)を使用してよい。言い換えると、同一のユーザによってかつ/又は複数のユーザによって第1画像20が複数のプロジェクトに含まれてよい。さらに、複数のプロジェクトにおいて複数の画像を使用してもよい。例えば、第1画像20、第2画像26、及び第3画像28はすべて、第1プロジェクトと第2プロジェクトに、望ましい順番で含まれてよい。第1プロジェクトと第2プロジェクトが共通の画像をシェアしているとしても、第1プロジェクトと第2プロジェクトが明確に異なるように、第1プロジェクトと第2プロジェクトに追加画像を追加してよい。そのため、1個以上の画像が複数のプロジェクト30によってシェアされるように、プロジェクト30の多様な分岐が形成され得る。
ある実施形態では、プログラム40は、周囲光の明るさのレベルを感知するセンサ68と対話する。例えば、センサ68は、周囲環境の異なる明るさレベルに応じてスマートフォン42を薄暗くするスマートフォン42内の内蔵センサであってよい。プログラム40は、カメラ21がプログラム40によって作動されると、周囲環境の明るさレベルを示すセンサ68から、信号を受信し得る。そして、プログラム40は、周囲環境の明るさに応じて、対応する位置合わせオーバレイ画像の不透明度を調整し得る。例えば、周囲環境が比較的明るい場合、対応する位置合わせオーバレイ画像の不透明度を増加させてよく(例えば、60%まで)、周囲環境が比較的暗い場合、対応する位置合わせオーバレイ画像の不透明度を低下させてよい(例えば、20%まで)。そのため、ユーザは、周囲環境の明るさに拘わらず、対応する位置合わせオーバレイ画像をなおも基準としてよい。上述の通り、ある実施形態では、対応する位置合わせオーバレイ画像の不透明度は所定でもよく、又はユーザによって手動調整されてもよい。
ある実施形態では、プログラム40は、後続の画像の撮像の間にユーザがカメラ21を配置して位置合わせするのを支援するために、全地球測位システム(GPS)データ(例えば、GPS座標)を利用する。例えば、このアプリケーションは、画像が撮像された際に、カメラ21のGPS座標を記録する各画像に、地理的タグを供給し得る。後続の画像を撮像するためにプログラム40が使用される場合、プログラム40は、前に撮像した画像のGPS座標を呼び出して、カメラ21の前のGPS座標を現在のGPS座標と比較してもよく、その後、前に撮像された画像のGPS座標に戻るために、ユーザが移動すべき方向(例えば、右又は左)を提案するメッセージを、ユーザのためにディスプレイ22上に表示してよい。従って、ユーザは、後続の画像間の一定した位置合わせの可能性をさらに高めるために、対応するGPS座標に従って、前の画像の実際の位置と、位置合わせオーバレイ画像とを基準としてよい。
一つ以上の実施形態において、画像取得方法は、ドローンとの無線通信でドローン及び外部スクリーンを用いて実施してもよい。例えば、ユーザは、ドローン上のカメラ21と通信して、ディスプレイ22上のプレビュー23を見得る。ドローンは、画像と画像の間で同一の又はほぼ同一の位置にそのカメラ21を位置合わせするために、GPS座標を利用し得る。そして、ユーザは、経時的変化にアクセスするために、ドローンによって撮像された前に撮像された画像のプレビュー23及び位置合わせオーバレイ画像を基準とし得る。またユーザは、後続の画像を撮像する前に、位置合わせオーバレイ画像及びプレビュー23を基準とし、かつドローン上のカメラの位置を調整し得る。
本発明の一実施形態では、カメラシステムの角度及び位置を自動的に制御するために使用されるロボットアーム上に、カメラシステムが搭載される。これらの実施形態では、プロセッサ41は、メモリ24に記憶された第1画像が、カメラ21で撮像される画像と位置合わせされるように、カメラ21の角度及び位置を制御するために、ロボットアームを制御するように構成される。この制御を提供するため、第1画像とカメラによって撮像中の画像の顕著な特徴を自動的に検出するために、コンピュータビジョン技術を適用することができる。ロボットアームのこの閉ループ制御を用いるある実施形態では、カメラシステムには、リアルタイムプレビューが示されるディスプレイ22は含まれない。
別の例として、ある実施形態では、プログラム40はカメラ21のGPS座標を監視して、ユーザが、ユーザのプロジェクト30のうちの一つからの前に撮像した画像の位置の近位にいる場合、ユーザに警告し得る。例えば、ユーザが、カリフォルニア州サンタモニカにいて、カリフォルニア州ヴェニスでのプログラム40を用いて画像を撮像した場合、プログラム40は、ユーザがプロジェクトのために別の画像を撮像するように、ユーザが前の場所の近くにいると、ユーザに警告又は通知し得る。別の例として、プログラム40は、地図機能を含んでよく、又はプロジェクト30用の画像が撮像された位置を追跡するために、スマートフォン42の地図機能と対話してよい。例えば、プログラム40は、画像のGPS座標を記録してよく、かつユーザがプロジェクト30のために画像を撮像した場所である、又は他のユーザがプロジェクト30のために画像を撮像した場所であるGPS座標に対応する地図上にピンを作成してよい。そして、ユーザは、様々なプロジェクトの位置を学習するために、地図を基準とし得る。そのため、ユーザは、その位置に戻って追加の画像を撮像してよい。同様に、位置又はGPS座標をシェアしてよく、かつ複数のユーザ間で協力して使用してよい。例えば、特定の位置で撮影された画像をシェアしてもよく、かつ他のユーザらが当該画像(例えば、位置合わせオーバレイ画像)にアクセスし、同じ位置で同様の画像を撮像するために、位置合わせオーバレイ画像を使用してもよい。
ある実施形態では、プログラム40は、後続の画像を位置合わせする又はかかる位置合わせを手助けするために、顔認識(又はオブジェクト認識もしくはエッジ検出)を使用し得る。ある実施形態では、オーバレイ画像は、第1位置合わせオーバレイ画像20A内の顔(単数又は複数)の位置(単数又は複数)の指標を提供するのみである。例えば、画像内の顔の位置を識別するために第1位置合わせオーバレイ画像20Aを処理するために、顔検出アルゴリズム(Viola−Jonesオブジェクト検出アルゴリズムなど)を使用してよい。このアルゴリズムは、画像内の目及びその他の顔の特徴の位置も検出する。その後、第1位置合わせオーバレイ画像20Aに基づいてオーバレイを生成し、かつプレビュー23と複合してよく、ここでオーバレイとは、顔の描写(例えば、楕円形を用いて)及び顔面の特徴(目など)を表す抽象線を表示することによって、顔(単数又は複数)の位置(単数又は複数)を示す。Viola−Jonesオブジェクト検出アルゴリズムは、画像内のその他の(例えば、顔ではない)オブジェクトを検出するために使用されてもよい。
さらに、オブジェクトのオブジェクト認識又は顔認識によって、システムが位置合わせオーバレイ画像と現在のプレビュー画像との自動的位置合わせを試みることが可能になる。例えば、位置合わせオーバレイ画像内のオブジェクト(例えば、顔)を検出した後、システムは、現在のプレビュー画像内の同じオブジェクトを自動的に検出するよう試みてよく、かかる一致するオブジェクトを検出した場合、これらの一致するオブジェクトが位置合わせされたという指標(例えば、視覚的又は可聴式指標)を提供する。本開示のある実施形態では、システムは、一致するオブジェクトが最終画像の同じ部分になるように(例えば、デジタル画像の安定化又は電子画像の安定化のために使用されるものとほぼ同様の態様で)、画像の部分を自動的にトリミングし得る。
ある実施形態では、カメラ21及びプログラム40は、ズーム機能70を含み得る。ズーム機能70は、ユーザがカメラ21とターゲットオブジェクトとの間の焦点距離を調整できるようにし得る。従って、たとえユーザが、前の画像を撮像した正確な位置に戻ることができないとしても、ユーザは、前の位置に隣接する領域にカメラ21を位置合わせし、かつ前の画像と同様の後続の画像をフレーミングするためのズーム機能70を用いて、焦点距離を調整し得る。ある実施形態では、カメラ21を位置合わせするために、自動ズームを使用し得る。例えば、プログラム40は、プレビュー23と対応する位置合わせオーバレイ画像との間の類似オブジェクトを検出して位置合わせするためのエッジ検出を使用し得る。
本開示の一つ以上の実施形態では、プログラム40はさらに、描画又はインポート機能を含み得る。インポート機能は、ユーザが画像に追加のオブジェクトを描画し、もしくはスーパーインポーズし、又はその他の態様で組み合わせることを可能にし得る。例えば、インポート機能は、ユーザが、プロジェクト30の画像に重ねられるグラフィックを取り込むことを可能にし得る。プロジェクトが完成すると、又はプロジェクトの作成中に、グラフィックを画像に重ねてよい。ある実施形態では、グラフィックは、後続の画像の間で移動してもよい。一例として、太陽のグラフィック描写を最初の画像にスーパーインポーズしてよく、かつこの太陽のグラフィック描写を後続の画像のための基準点として使用してよい。そして、この太陽は画像から取り除かれるか、又はプロジェクト30内の画像に残したままでよい。ある実施形態では、太陽は、プロジェクト30内のいくつかの画像では残してよく、かつプロジェクト30内のその他の画像では取り除いてよい。別の例として、空の中の様々なポイントでの太陽のグラフィック描写(例えば、日の出、昼、及び夕日)は、位置合わせオーバレイ画像として使用してよく、かつ複数のユーザが利用可能なようにしてよく、これらの複数のユーザはそれぞれ、実際の太陽と、太陽のグラフィック画像を位置合わせすることによって、太陽(及びその周囲のスカイラインなど)の画像を撮像し得る。そして、後で撮像される画像は、同じ位置合わせオーバレイ画像を使用して、他の画像とまとめてよい。よって、プロジェクトは、幅広く多様な地理的位置からの画像(これらの画像すべては、同じ又は同様のオーバレイ画像によって作成された)から形成してよい。また、異なる時点での同じオブジェクトについて複数の画像を撮影してよく(例えば、日の出、昼、及び夕日の太陽)、かつかかる複数の画像は、複数のユーザによって撮像された太陽の進み具合を示すように、連続して配置され得る。太陽のグラフィック画像は、画像のいくつか又はすべてにおいて残したままとしてよく、又は対応する画像が撮像された後に、画像のいくつか又はすべてから取り除いてよいことが認識されるであろう。
本開示の一つ以上の実施形態は、エラー検出にも適用され得る。例えば、カメラ21は、組立ラインに隣接して位置付けられ、かつ所定の間隔で画像を撮像してよい。そして、位置合わせオーバレイ画像は、カメラ21のディスプレイ22に重ねられて、組み立てライン上の製品の偏差を迅速に監視かつ検出するために使用され得る。そのため、位置合わせオーバレイ画像は、多様な製品の品質管理のために使用してよい。さらに、カメラ21が静止している必要はないため、組立ラインなしに製造される製品の品質管理のためにも使用され得ることが認識されるであろう。
本開示のある実施形態では、システムの異なる部品によって様々な操作が実行され得る。例えば、DSLRカメラ又はスマートフォン(又はその他のモバイル装置)は、デジタル画像(カメラによって撮像される画像など)を処理するための専門の画像プロセッサ又はその他のデジタル信号プロセッサを含んでよい。この画像プロセッサは、プロセッサから受信した命令に基づいて画像センサ21Aを直接制御するために使用され得る。さらに、DSLRカメラ又はスマートフォンは、ディスプレイ上に画像を表示するための専門のグラフィック処理ユニット(GPU)を含んでよい。GPUは、例えば、位置合わせオーバレイ画像の不透明度を減少させるように又は位置合わせオーバレイ画像から輪郭を生成するように、位置合わせオーバレイ画像を修正するために使用され得る。またGPUは、カメラによって撮像される画像のプレビュー23上に位置合わせオーバレイ画像20Aを複合してもよい。いくつかのシステムでは、画像プロセッサ及び/又はグラフィック処理ユニットはプロセッサと一体化され、アプリケーション・プロセッサと呼ばれ得る。別の例として、位置合わせオーバレイ画像20Aは、個別のディスプレイ23に加えて又は当該ディスプレイ23の代わりに、DSLRカメラのファインダーの中で見ることができるようにしてよい。
画像を位置合わせするシステム及び方法は、多くの異なるアプリケーションに適用され得る。例えば、画像を位置合わせするシステム及び方法は、チュートリアルを作成するために使用してよく、ここでプロジェクト30の画像は、多様なプロセス工程に関係する。
一例として、画像を位置合わせするシステム及び方法は、他者を訓練するために、例えば、フィットネス・ルーチンの適正なフォームを教示するために使用してよい。一例として、図11A〜図11Eを参照すると、ある実施形態では、ユーザ(例えば、フィットネス・インストラクター)は、ランジ・ディップの適正なフォームをデモンストレーションするプロジェクト130を作成し得る。プロジェクト130を作成するために、ユーザは、横向きで立っている人(例えば、モデル)101の第1画像120を撮像し得る。そして、ユーザは、第1画像120に対応する第1位置合わせオーバレイ画像120Aを作成するために、本開示の一つ以上の実施形態に従って画像を位置合わせする方法を使用してよく、かつ第2画像122を撮像するために、第1位置合わせオーバレイ画像120Aを基準としてよい。第2画像122は、ランジ・ディップの中間ランジ段階に相当し、ここでモデル101は、前方の脚と後方の脚が両方ともほぼ真直ぐである開脚位置になっている。後方の足103が、第1画像及び第2画像の両方で静止したまま(又はほぼ静止したまま)となるため、ユーザは、第1位置合わせオーバレイ画像120A及び第2画像122の中の基準として後方の足103を使用してよい。そして、第2位置合わせオーバレイ画像122Aを使用して、ユーザは第3画像124を撮像し得る。第3画像124は、ランジ・ディップの「ディップ」段階に相当し、ここでモデル101は、両膝を曲げた開脚位置となる。ユーザは、第2位置合わせオーバレイ画像122A及び第3画像124の中の基準として後方の足103を使用してよい。そして、第3位置合わせオーバレイ画像124Aを使用して、ユーザは第4画像126を撮像し得る。第4画像126は、ランジ・ディップの第2の中間ランジ段階に相当し、ここでモデル101は、第2画像122の位置と同様の、両方の脚を真直ぐにした開脚位置となる。そして、第4位置合わせオーバレイ画像126Aを使用して、ユーザは第5画像128を撮像してよく、ここでモデル101は、横向きで立った位置に戻る。
プログラム40を使用してプロジェクト130がフィード150にアップロードされると、プロジェクト130は、不透明度100%の第1画像乃至第5画像120、122、124、126、128を含み得る。そして、観察者201は、ランジ・ディップの適正なフォームについての情報を取得するために、プロジェクト130を見得る。図12A及び図12Bによると、ある実施形態では、観察者201は、プロジェクト130を取得し(例えば、ダウンロードし)、かつ画像のいずれかを、ランジ・ディップを行う際の基準として位置合わせオーバレイ画像として使用し得る。例えば、カメラ110(例えば、前面カメラ)及びディスプレイ112(例えば、スクリーン)を使用することによって、ユーザは、ディスプレイ112上の自身の動きを見得る。ディスプレイ112上でプロジェクト130からの1枚以上の画像を重ねることによって、ユーザは、エクササイズ中に自分のフォームを改善するために、モデル101に自分自身を位置合わせし得る。
上述の通り、位置合わせオーバレイ画像は、黒塗りされた形などとして減少された不透明度で示されてよい。例えば、モデル101は、位置合わせオーバレイ画像内で黒塗りされてよい。
ユーザが、プログラム40を開き又は作動し又はアクセスした場合、ある実施形態では、プログラム40は、プログラム40の追加コンテンツにアクセスする前に、ユーザにプライミング質問を提示してよい。プライミング質問は、プログラム40を使用するための認識された動機を提供することによって、ユーザの行動に影響を与えるように構成され得る。例えば、プライミング質問は、「はい」又は「いいえ」の記述(「私のストーリーをシェアしたい」と共に「はい」ボタン及び「いいえ」ボタン)を含んでよい。プログラム40のコンテンツにアクセスするには、ユーザは、「はい」又は「いいえ」ボタンのいずれかを押さえなければならない。よって、プライミング質問は、ユーザを引き込み、かつユーザがプロジェクト30を準備して継続するためのより強い当事者意識と方向性を提供する。ある実施形態では、プライミング質問はプログラム40を最初に使用する際に使用されてよく、その他の実施形態では、プライミング質問はより後の時点で提示されてよい。ある実施形態では、ユーザが「はい」を選択すると、プログラム40は生成モードを起動し、ユーザが「いいえ」を選択すると、プログラム40はプレゼンテーションモードを起動する。プライミング質問のその他の例として、ある実施形態では、プライミング質問は「私は興味深いコンテンツを私のネットワークでシェアしたい」を含んでよく、ある実施形態では、プライミング質問は「私は興味深いコンテンツを作成したい」を含んでよい。これらのプライミング質問は、ユーザがプロジェクト30をシェアするか又はプロジェクト30を作成する可能性をそれぞれ高め得る。
一つ以上の実施形態において、プログラム40は、オンライン小売店にリンクするように構成され得る。例えば、プロジェクト330は、絵画の多様な段階を示す一連の画像を含み得る。プログラム40は、プロジェクト330と、絵画を購入し得るオンライン小売店又はウェブサイトとの直接リンクを含んでよい。適切なウェブサイトへのリンクをプロジェクト330に埋め込んでよく、かつユーザがトランスポートコントローラ以外にプロジェクト330の一部を押さえると、ユーザは、外部リンクに誘導され得る。ある実施形態では、小売店のウェブページでプログラム40を利用してよく、プロジェクト330を押さえることで、プロジェクト330は同じリンク又はURL内の購買地点へとリダイレクトする。
一つ以上の実施形態において、画像を位置合わせしかつ/又は比較するカメラシステム及び方法は、医療分野に適用され得る。例えば、カメラシステム及び方法は、非限定的例として、腰椎穿刺、末梢静脈(「IV」)配置、瀉血、心肺蘇(「CPR」)、経口的気管内挿管、経鼻胃管配置、表皮膿瘍の切開及び排液の実施、動脈血ガス(「ABG」)の取得、表在性創傷の清拭、表在性裂傷及び/又は切開の縫合、バッグバルブマスクでの通気の維持、鎖骨下ラインの設置、内頚ラインの配置、IV液の骨内アクセス、胸腔チューブの配置、胸腔穿刺の実施、両手結びの実施、片手結びの実施、器械結びの実施、皮内閉鎖の実施、単純断続閉鎖の実施、腹部単純X線の解釈、滅菌野の準備及びドレーピング、皮膚切開の実施、及び/又は皮膚ステープラーの使用のための説明など、医療処置のチュートリアルを作成するために利用され得る。
一つ以上の実施形態において、カメラシステム及び方法は医療装置に適用され得る。「カメラシステム」について言及されるが、本開示の実施形態は、後述の通り撮像機器に適用され得ることが認識されるであろう。明確にするために、かかるシステム及び方法は撮像システム及び方法として説明されるが、上述のカメラシステムは直ちにあらゆる適切な撮像機器に適用され得ることが認識されるであろう。非限定的例として、撮像システムは、X線放射線医学フィルム研究、磁気共鳴画像法(「MRI」)、ポジトロン断層撮影(「PET」)スキャン、X線断層診断装置(X線CT)及びコンピュータX線体軸断層撮影法(CATスキャン)、超音波スキャン、心エコー図スキャン、ドプラ心エコー図、及びマンモグラムスキャンのいずれか一つに適用され得るが、本発明はこれに又はこれによって限定されない。同様に、撮像機器は、X線装置、MRI装置、PETスキャナ、CTスキャナ、超音波装置、心エコー機械、及びマンモグラフィー機械のうちのいずれか一つであり得るが、本発明はこれに又はこれによって限定されない。
図13、図14、図15A〜図15C、及び図16によると、第1の画像検査法は撮像機器500を用いて実施される(S300)。説明の便宜上、図14及び図15A〜15Cは、第1の画像検査法がマンモグラムスキャンであり、撮像機器500がマンモグラフィー機械である、例示的実施形態を示す。撮像機器500は、撮像装置512と、ディスプレイ514と、メモリ518を有するプロセッサ516とを含む。撮像装置512は、使用される撮像機器516に応じて異なることが認識されるであろう。例えば、MRI装置では、撮像装置512は、一つ以上の磁石と併用してスキャナを含んでよく、CTスキャナでは、撮像装置512は、X線源とデジタルX線検出器を含んでよく、マンモグラフィー機械では、撮像装置512は、X線源とデジタルX線検出器などを含んでよい。撮像装置512は画像を提供するために使用される。
例えば、技術者、看護師、医師などのユーザ600は、第1画像(又はベースライン画像)520を取得するために撮像機器500の撮像装置512にアクセスし得る(S310)。一つ以上の実施形態において、撮像装置512は、画像を撮像するために使用される画像センサ532A(例えば、CMOSセンサ又はCCDセンサ)と、画像センサに光を集中させるように構成されたレンズと、ディスプレイ514とを含む。撮像装置512はプロセッサ516によって制御することができ、プロセッサ516は、バス515(例えば、周辺バス)を介して撮像装置512に接続される。同様に、プロセッサ516がディスプレイ514に画像信号を供給できるように、ディスプレイ514はバス515を介してプロセッサ516に接続される。
ある実施形態では、ディスプレイ514は、画像が撮像される(例えば、撮像装置512によって撮像される)前に、画像(例えば、ターゲット画像)のプレビュー522(例えば、ライブプレビュー)を提供するように構成される。言い換えると、ディスプレイ514は、ユーザ600がターゲット画像を撮像する前にターゲット画像を見ることを可能にする。またディスプレイ514は、前に撮像された(又はインポートされた)画像を表示するようにも構成される。ディスプレイ514は、前に撮像された(又はインポートされた)画像とプレビュー522とを同時に表示するように構成されることが認識されるであろう。ベースライン画像520が取得されると、ベースライン画像520はメモリ518(例えば、コンピュータデータストレージ)内に(又は上に)記憶される(S320)。
次に、図15Bを参照すると、第2の画像検査法(例えば、第1の画像検査法と同じタイプの画像検査法だが、より後の時点で)の実施を容易にするために、ベースライン画像520が呼び出されて、ディスプレイ514上のプレビュー522に、減少された不透明度で重ねられて(又は投影されもしくは可視化されて)、第1オーバレイ画像520Aを生成する(S330)。第1オーバレイ画像520Aとプレビュー522が同時にディスプレイ514上に表示された際に、プレビュー522が完全には遮られず(例えば、第1オーバレイ画像520Aとは区別可能なままで)、第1オーバレイ画像520Aがなおもディスプレイ514上で可視のままであるように、不透明度を選択してよい。例えば、第1オーバレイ画像520Aは約40〜50%の不透明度を有してよい。
カメラシステム及び方法に関して上述したディスプレイ22のように、本実施形態のディスプレイ514は、第2の画像検査法を実施する間、第2画像524のプレビュー522を提供する。第1オーバレイ画像520A及びプレビュー522がディスプレイ514上で提示されるように、第1オーバレイ画像520Aがプレビュー522に重ねられるため、ユーザ600は、基準(例えば、オブジェクト(単数又は複数)、共通オブジェクト(単数又は複数)、共通プロフィールなど)を位置合わせするために第1オーバレイ画像520Aを参照し得る。ある実施形態では、基準は第1オーバレイ画像20A及び第2画像524に共通であってよい。そのため、ベースライン画像520と第2画像524との間で基準が同様の向きに置かれるように、撮像装置512は基準に従って位置づけられてよい。例えば、撮像装置512は、三脚などの外部位置合わせ装置を必要とすることなく、第2の画像検査法の間にベースライン画像520が撮像された位置に対して、ほぼ同じ位置に位置づけられ得る。同様に、撮像装置512が静止している場合、ベースライン画像520と第2画像524との間で(又は第1の画像検査法と第2の画像検査法との間で)基準が同様の向きに置かれるように、患者602は撮像装置512に対して位置付けられ得る。
基準は、望ましい位置合わせを達成するように適切なオブジェクトを含み得ることが認識されるであろう。例えば、ユーザ600は、患者602の骨、臓器、シミなどの一定の体の部分を基準としてよい。別の例として、基準は、患者602の輪郭などの共通プロフィール又はシルエットでよい。さらに、第1オーバレイ画像520Aは減少された不透明度(例えば、不透明度40%)であるため、ユーザ600は、第1オーバレイ画像520A内のオブジェクトを基準としてよく、その間、なおもプレビュー522を見ることができる。ユーザは、ベースライン画像520と第2画像524との間で共通オブジェクトを「一致させる」ために、オプションとして第1オーバレイ画像520Aを使用してよいこと、及び/又は共通の特徴の一致又は含有の有無に拘わらず、位置合わせのためのガイドとして第1オーバレイ画像520Aをオプションとして使用してよいことが認識されるであろう。ある実施形態では、第1オーバレイ画像520Aを生成して、当該第1オーバレイ画像520Aをベースライン画像520と共にメモリ518に記憶してよい。
図13及び図15Cによると、第2の画像検査法は撮像機器500を用いて実施し得る(S340)。第1オーバレイ画像520Aは、撮像機器500のディスプレイ514上に重ねて(又はスーパーインポーズされて)もよく(S350)、これによって第2の画像検査法の間に撮像装置512(又は患者602)の位置合わせが可能となる(S360)。例えば、ユーザ600は、ベースライン画像520及びプレビュー522内の共通オブジェクトを位置合わせする又はほぼ位置合わせするために、第1オーバレイ画像520A及びプレビュー522内の一つ以上の共通オブジェクト(又は類似オブジェクト)を基準としてよい。図15Bに示される通り、撮像装置512と患者602が位置合わせした構成ではない場合、プレビュー522及び第1オーバレイ画像520Aが位置合わせされていないため、ディスプレイ514上の共通オブジェクトのうちのいくつかの複製物は可視であってよい。しかし、図15Cに示される通り、撮像装置512及び患者602が位置合わせした構成となっている場合、位置合わせプロセスの間存在している複製物がもはや可視ではなくなる(又はもはやほぼ可視ではなくなる)ように、共通オブジェクトは並ぶ(又は重なり合う)。
撮像装置512と患者602が位置合わせされると、第2画像524が撮像される(S370)。そして、第2画像524はメモリ518に記憶される(S380)。ある実施形態では、撮像装置512の位置合わせとは、後続の画像の正確な位置合わせと重なり合わせることをいうが、本開示はこれに又はこれによって限定されないことが認識されるであろう。別の例として、撮像装置512と患者602が位置合わせされると、その後、ユーザ600は、ディスプレイ514上のベースライン画像520(すなわち、第1オーバレイ画像520A)とプレビュー522とを比較して、ディスプレイ514上の第1オーバレイ画像520Aとプレビュー522との間のあらゆる変化、成長、異常などを評価し得る。そのため、撮像システム及び方法は、異なる時点での変化、異常、成長など(又はこれらの欠如)を迅速かつ容易に追跡するために使用され得る。従って、医療専門家らは、撮像システム及び方法を利用することによって、あらゆる病変のサイズ、形状、一貫性、コントラストにおける変化、腫瘍の成長、及び骨折の広がりなどを確認し得る。
いくつもの画像検査法を行うために(例えば、いくつものデータポイントを撮像するため、追加画像を撮像するため、追加の表示を比較するためなど)、上記のプロセスを繰り返してよい。例えば、第3画像検査法の間、第2画像524に対応するが、減少された不透明度を有する第2オーバレイ画像524Aを、ディスプレイ514上の第3画像526のプレビュー522に重ねてもよい。撮像装置512と患者602が位置合わせされると、第3画像526が撮像されてメモリ518に記憶されてよく、又はユーザ600は、第3画像検査法の間、第3のポイントのオブジェクトを比較するために、プレビュー522と第2オーバレイ画像524Aを使用してよい。
特に本開示のいくつかの例示的実施形態を参照して、本開示を詳細に説明してきたが、本明細書に記載された例示的実施形態は、徹底的であることが意図されてはおらず、又は開示されたまさにその形態に開示の範囲を限定することが意図されてはいない。図面が必ずしも原寸に比例してはいないことが理解される。本開示が関わる分野及び技術の当業者は、以下の請求項及びその同等物に記載される通り、本開示の原則、精神及び範囲から有意に逸脱することなく、説明された構造並びにアセンブリ及び操作方法の改変及び変更を実施可能であることを、認識するであろう。

Claims (22)

  1. プロセッサと、
    前記プロセッサに接続されたカメラと、
    前記プロセッサに接続されたディスプレイと、
    前記プロセッサによって命令が実行された場合、前記プロセッサをして、
    前記メモリに第1画像を記憶させ、
    減少された不透明度での前記第1画像に対応する修正済み第1画像を生成するために、前記第1画像を修正させ、
    リアルタイムプレビューを取り込むために前記カメラを制御させ、
    複合プレビューを生成するために、前記リアルタイムプレビューに前記修正済み第1画像を重ねさせ、
    前記複合プレビューを前記ディスプレイに出力させ、
    前記カメラを用いて第2画像を撮像させ、かつ
    前記メモリに前記第2画像を記憶させる、
    前記命令を記憶するメモリと
    を備える、カメラシステム。
  2. 前記命令はさらに、前記プロセッサをして、
    前記ディスプレイ上に前記第1画像のリアルタイムプレビューを示させ、かつ
    前記第1画像を撮像するために前記カメラを制御させる、
    請求項1に記載のカメラシステム。
  3. 前記メモリはさらに、前記プロセッサによって命令が実行された場合、前記プロセッサをして、前記第1画像を撮像するために前記カメラを第1の向きに向けさせ、かつ前記第1の向きで前記第2画像を撮像させる、前記命令を記憶する、請求項2に記載のカメラシステム。
  4. 前記修正済み第1画像は前記メモリに記憶される、請求項1に記載のカメラシステム。
  5. 前記プロセッサは、前記第1画像の前記不透明度を40%減少させる、請求項1に記載のカメラシステム。
  6. 前記ディスプレイは、複数のレイヤーを同時に表示するように構成される、請求項1に記載のカメラシステム。
  7. 前記複数のレイヤーは、
    前記リアルタイムプレビューを表示するように構成されたユーザインターフェイスビューレイヤーと、
    前記メモリに記憶された画像を表示するように構成されたオーバレイレイヤーと
    を備える、請求項6に記載のカメラシステム。
  8. 前記命令はさらに、前記プロセッサをして、
    前記ユーザインターフェイスビューレイヤー上にリアルタイムプレビューを示させ、
    前記オーバレイレイヤー中に透明レイヤーを表示させ、かつ
    前記カメラを用いて前記第1画像を撮像させる、
    請求項7に記載のカメラシステム。
  9. アイコンを含むコントローラレイヤーをさらに備える、請求項7に記載のカメラシステム。
  10. 前記カメラシステムは、前記アイコンが押さえられた場合、前記プロセッサに信号を送信するように構成される、請求項9に記載のカメラシステム。
  11. 前記第2画像の前記リアルタイムプレビューのスクリーンショットを撮ることによって、前記第2画像が撮像される、請求項1に記載のカメラシステム。
  12. 前記プロセッサ、前記カメラ、前記ディスプレイ、及び前記メモリは、スマートフォンの部品である、請求項1に記載のカメラシステム。
  13. 前記カメラは、
    画像センサと、
    前記画像センサに光を集中させるように構成されたレンズと
    を備える、請求項1に記載のカメラシステム。
  14. 前記カメラは医療撮像機器を備える、請求項1に記載のカメラシステム。
  15. 前記医療撮像機器は、X線装置、MRI装置、PETスキャナ、CTスキャナ、超音波装置、心エコー機械、又はマンモグラフィー機械のうちの一つを備える、請求項14に記載のカメラシステム。
  16. 一連の位置合わせされた画像を提示するための表示システムであって、
    プロセッサと、
    前記プロセッサに接続されたディスプレイと、
    前記プロセッサに信号を送信するためのユーザインターフェイス装置と、
    前記プロセッサによって命令が実行された場合、前記プロセッサをして、
    前記メモリに複数の画像を記憶させ、
    前記メモリ内の前記複数の画像の中から前記画像の順番に従って前記画像のそれぞれに複数の値を割り当てさせて、第1の値が第1画像に対応し、かつ第2の値が第2画像に対応し、前記第1画像が前記第2画像の前の順番となるようにし、
    前記値をトランスポートコントローラの複数の部分に対して相互に関連付けさせ、
    前記ディスプレイ上に前記第1画像及び前記トランスポートコントローラを表示させ、
    前記第2の値に対応する前記トランスポートコントローラの部分に対応する前記ユーザインターフェイス装置から入力を受信させ、かつ
    当該第2の入力に従って前記第2画像を表示させる
    前記命令を記憶するメモリと
    を備える、表示システム。
  17. 前記トランスポートコントローラは、前記ディスプレイ上で仮想バーに沿ってスライド可能である仮想ボタンを備える、請求項16に記載の表示システム。
  18. 前記ユーザインターフェイス装置は、マウス、前記ディスプレイと一体化されたタッチスクリーン、前記ディスプレイの外部のタッチスクリーン、トラックボール、又はスタイラスを備える、請求項16に記載の表示システム。
  19. 前記トランスポートコントローラは、円経路に沿ってスライド可能な仮想ボタンである、請求項16に記載の表示システム。
  20. 前記トランスポートコントローラの1回転で、前記複数の画像の前記画像のそれぞれを表示する、請求項16に記載の表示システム。
  21. 前記複数の画像はそれぞれ、そのネイティブ解像度で表示される、請求項16に記載の表示システム。
  22. 画像を撮像する方法であって、
    カメラと通信するとともに、メモリを有する装置のメモリに、第1画像を記憶することと、
    前記ディスプレイ上に示されるリアルタイムプレビューに、減少された不透明度での前記第1画像に対応する修正済み第1画像を重ねることと、
    前記カメラを用いて第2画像を撮像することと、
    前記メモリに前記第2画像を記憶することと
    を含む、方法。
JP2018512314A 2015-09-02 2016-09-02 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法 Pending JP2018535568A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562213522P 2015-09-02 2015-09-02
US62/213,522 2015-09-02
PCT/US2016/050294 WO2017041055A1 (en) 2015-09-02 2016-09-02 Camera system and method for aligning images and presenting a series of aligned images

Publications (2)

Publication Number Publication Date
JP2018535568A true JP2018535568A (ja) 2018-11-29
JP2018535568A5 JP2018535568A5 (ja) 2019-08-15

Family

ID=58104489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512314A Pending JP2018535568A (ja) 2015-09-02 2016-09-02 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法

Country Status (8)

Country Link
US (1) US10158806B2 (ja)
EP (1) EP3345160A4 (ja)
JP (1) JP2018535568A (ja)
KR (1) KR20180059803A (ja)
CN (1) CN109196558A (ja)
AU (1) AU2016318139A1 (ja)
CA (1) CA2997029A1 (ja)
WO (1) WO2017041055A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6558088B2 (ja) * 2015-06-12 2019-08-14 リコーイメージング株式会社 撮影装置、撮影制御装置及び撮影制御方法
KR101832966B1 (ko) * 2015-11-10 2018-02-28 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10152059B2 (en) * 2016-10-10 2018-12-11 Qualcomm Incorporated Systems and methods for landing a drone on a moving base
US20180181283A1 (en) * 2016-12-23 2018-06-28 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10594926B2 (en) * 2017-01-25 2020-03-17 International Business Machines Corporation Preferred picture taking
US11227258B2 (en) 2017-05-17 2022-01-18 International Business Machines Corporation Managing project resources
CN109598775B (zh) * 2017-09-30 2023-03-31 腾讯科技(深圳)有限公司 一种动态图像合成方法、装置、终端和存储介质
US10924660B2 (en) * 2018-03-28 2021-02-16 Candice D. Lusk Augmented reality markers in digital photography
JP7077156B2 (ja) * 2018-06-19 2022-05-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11210859B1 (en) * 2018-12-03 2021-12-28 Occam Video Solutions, LLC Computer system for forensic analysis using motion video
US20200213510A1 (en) * 2018-12-30 2020-07-02 Luke Trevitt System and method to capture and customize relevant image and further allows user to share the relevant image over a network
CN110111279B (zh) * 2019-05-05 2021-04-30 腾讯科技(深圳)有限公司 一种图像处理方法、装置及终端设备
CN110502179A (zh) * 2019-08-14 2019-11-26 Oppo广东移动通信有限公司 移动终端的主题加载方法、装置及移动终端
JP7387334B2 (ja) * 2019-08-23 2023-11-28 キヤノン株式会社 撮像制御装置および撮像制御装置の制御方法
US11463680B2 (en) * 2019-11-01 2022-10-04 Faro Technologies, Inc. Using virtual landmarks during environment scanning
DE102019131482B3 (de) * 2019-11-21 2020-11-12 Ifm Electronic Gmbh Kamera und Verfahren zur Überprüfung einer Ausrichtung einer solchen
CN111477305B (zh) * 2020-05-11 2023-10-31 青岛海信医疗设备股份有限公司 一种胶片数字化处理方法、终端和拍摄终端
WO2024036076A1 (en) * 2022-08-08 2024-02-15 SeeScan, Inc. Systems and methods for inspection animation
CN115334246A (zh) * 2022-09-06 2022-11-11 抖音视界有限公司 用于影像拍摄的方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026872A (ja) * 2003-06-30 2005-01-27 Casio Comput Co Ltd 撮影方法、撮像装置、及びプログラム
JP2005143109A (ja) * 2003-11-03 2005-06-02 Hewlett-Packard Development Co Lp デジタルカメラ用のスライダバーインタフェース
JP2006040050A (ja) * 2004-07-28 2006-02-09 Olympus Corp 再生装置、カメラおよび再生装置の表示切換方法
JP2006119854A (ja) * 2004-10-20 2006-05-11 Olympus Corp 再生装置、カメラ、及びコンテンツデータの選択及び再生方法
JP2008135026A (ja) * 2007-11-12 2008-06-12 Sharp Corp 画像検索装置および画像検索装置が読み取り可能な記録媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029997A (en) 1989-11-16 1991-07-09 Faroudja Philippe Y C Stop-frame animation system
US5805289A (en) 1997-07-07 1998-09-08 General Electric Company Portable measurement system using image and point measurement devices
JP4136032B2 (ja) * 1997-08-14 2008-08-20 シャープ株式会社 画像検索装置および画像検索装置が読み取り可能な記録媒体
US6542171B1 (en) * 1998-07-08 2003-04-01 Nippon Telegraph Amd Telephone Corporation Scheme for graphical user interface using polygonal-shaped slider
US6847388B2 (en) * 1999-05-13 2005-01-25 Flashpoint Technology, Inc. Method and system for accelerating a user interface of an image capture unit during play mode
US20050007468A1 (en) * 2003-07-10 2005-01-13 Stavely Donald J. Templates for guiding user in use of digital camera
US20050024517A1 (en) 2003-07-29 2005-02-03 Xerox Corporation. Digital camera image template guide apparatus and method thereof
JPWO2005015899A1 (ja) 2003-08-11 2007-10-04 松下電器産業株式会社 撮影装置及び撮影方法
JP2005110162A (ja) * 2003-10-02 2005-04-21 Olympus Corp カメラ
US7656429B2 (en) * 2004-02-04 2010-02-02 Hewlett-Packard Development Company, L.P. Digital camera and method for in creating still panoramas and composite photographs
US7782384B2 (en) * 2004-11-05 2010-08-24 Kelly Douglas J Digital camera having system for digital image composition and related method
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
JP4910888B2 (ja) * 2007-05-30 2012-04-04 ブラザー工業株式会社 画像処理装置
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP2274711A4 (en) 2008-03-31 2012-12-19 Univ Southern California ESTIMATING THE INSTALLATION OF PHOTOGRAPHIC IMAGES IN A 3D MODEL OF EARTH WITH HUMAN ASSISTANCE
EP2299693B1 (en) * 2009-09-16 2019-03-13 BlackBerry Limited Methods and devices for displaying an overlay on a device display screen
US20110082667A1 (en) 2009-10-06 2011-04-07 Siemens Corporation System and method for view-dependent anatomic surface visualization
US8436872B2 (en) * 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
US20110317034A1 (en) * 2010-06-28 2011-12-29 Athreya Madhu S Image signal processor multiplexing
US9153004B2 (en) * 2010-08-30 2015-10-06 Rakuten, Inc. Product image interpolating device, method and non-transitory information recording medium
US20120062557A1 (en) * 2010-09-10 2012-03-15 Dimensional Photonics International, Inc. Systems and methods for processing and displaying intra-oral measurement data
JP2012138042A (ja) 2010-12-28 2012-07-19 Kowa Co 擬似動画作成装置、擬似動画作成方法、及び擬似動画作成プログラム
US20130315578A1 (en) 2011-11-15 2013-11-28 Kemal Arin Method of creating a time-lapse lenticular print
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices
JP5980154B2 (ja) * 2013-03-21 2016-08-31 京セラ株式会社 撮影装置、プログラムおよび撮影装置の制御方法
KR102092330B1 (ko) * 2013-06-20 2020-03-23 삼성전자주식회사 촬영 제어 방법 및 그 전자 장치
JP6114235B2 (ja) * 2013-07-03 2017-04-12 富士フイルム株式会社 赤外線遮光組成物、赤外線遮光層、赤外線カットフィルタ、カメラモジュール
US9489979B2 (en) 2013-08-06 2016-11-08 Casio Computer Co., Ltd. Image processing apparatus for time-lapse moving image, image processing method, and storage medium
WO2015027290A1 (en) * 2013-09-02 2015-03-05 Project Tripod Pty Ltd A device, method, computer program and data signal for capturing electronic images
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
US9350924B2 (en) * 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026872A (ja) * 2003-06-30 2005-01-27 Casio Comput Co Ltd 撮影方法、撮像装置、及びプログラム
JP2005143109A (ja) * 2003-11-03 2005-06-02 Hewlett-Packard Development Co Lp デジタルカメラ用のスライダバーインタフェース
JP2006040050A (ja) * 2004-07-28 2006-02-09 Olympus Corp 再生装置、カメラおよび再生装置の表示切換方法
JP2006119854A (ja) * 2004-10-20 2006-05-11 Olympus Corp 再生装置、カメラ、及びコンテンツデータの選択及び再生方法
JP2008135026A (ja) * 2007-11-12 2008-06-12 Sharp Corp 画像検索装置および画像検索装置が読み取り可能な記録媒体

Also Published As

Publication number Publication date
WO2017041055A1 (en) 2017-03-09
EP3345160A4 (en) 2019-06-05
KR20180059803A (ko) 2018-06-05
EP3345160A1 (en) 2018-07-11
CA2997029A1 (en) 2017-03-09
US20170064208A1 (en) 2017-03-02
AU2016318139A1 (en) 2018-03-22
CN109196558A (zh) 2019-01-11
US10158806B2 (en) 2018-12-18

Similar Documents

Publication Publication Date Title
US10158806B2 (en) Camera system and method for aligning images and presenting a series of aligned images
CN106687046B (zh) 用于定位进行医学成像的患者的引导系统
US20230072188A1 (en) Calibration for Augmented Reality
US10134296B2 (en) Enhancing movement training with an augmented reality mirror
Stoyanov et al. A practical approach towards accurate dense 3D depth recovery for robotic laparoscopic surgery
US20180247427A1 (en) Patient Position Control for Scanning
CN107016717A (zh) 用于患者的透视视图的系统和方法
US10162935B2 (en) Efficient management of visible light still images and/or video
CN102354345A (zh) 一种具有体感交互方式的医学影像浏览设备
US20150332091A1 (en) Device and method of processing image
US10607340B2 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
CN114363689B (zh) 直播控制方法、装置、存储介质及电子设备
JP2013200867A (ja) アニメーション作成装置、カメラ
WO2019062314A1 (zh) 一种基于虚实结合的人体解剖结构展示与交互方法
EP4094184A1 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image
TW201222476A (en) Image processing system and method thereof, computer readable storage media and computer program product
KR102082290B1 (ko) 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
JP2004357803A (ja) 医療画像処理システム及び医療画像処理プログラム
CN216748998U (zh) 多人沉浸式支气管镜教学的处理系统
US20180189992A1 (en) Systems and methods for generating an ultrasound multimedia product
US20150121276A1 (en) Method of displaying multi medical image and medical image equipment for performing the same
US10049480B2 (en) Image alignment device, method, and program
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
Lammer Performing surgery: exploring gestures in the operating theater
Andersen Effective User Guidance Through Augmented Reality Interfaces: Advances and Applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210330