JP2017068846A - 画像内のオブジェクトの自動測定 - Google Patents

画像内のオブジェクトの自動測定 Download PDF

Info

Publication number
JP2017068846A
JP2017068846A JP2016188610A JP2016188610A JP2017068846A JP 2017068846 A JP2017068846 A JP 2017068846A JP 2016188610 A JP2016188610 A JP 2016188610A JP 2016188610 A JP2016188610 A JP 2016188610A JP 2017068846 A JP2017068846 A JP 2017068846A
Authority
JP
Japan
Prior art keywords
dimension
reference object
image
scene
image editor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016188610A
Other languages
English (en)
Other versions
JP6311764B2 (ja
Inventor
ノット カート
Kurt Knodt
ノット カート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2017068846A publication Critical patent/JP2017068846A/ja
Application granted granted Critical
Publication of JP6311764B2 publication Critical patent/JP6311764B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 測定マーカを使用してシーンの画像の中のオブジェクトを測定するアプローチが提供される。【解決手段】 画像エディタは、関心オブジェクトと少なくとも1つの次元においてシーンの中の既知の実際のサイズを有する基準オブジェクトとを含むシーンの画像を取り込み表示する。画像エディタのユーザは、測定マーカを表示された画像の中の関心オブジェクトの上にオーバレイする。画像エディタは、基準オブジェクトの少なくとも1つの次元の、画像エディタの中の表示サイズと、測定マーカの少なくとも1つの次元の、画像エディタの中の表示サイズと、を決定する。画像エディタは、測定マーカの少なくとも1つの次元のシーンの中の実際のサイズを決定し表示する。実施形態は、ユーザが基準オブジェクトのスケールを調整できるようにする。【選択図】 図3

Description

実施形態は、概して、画像内のオブジェクトの自動測定に関する。
この章に記載されるアプローチは、達成しようとされた可能性のあるアプローチであるが、必ずしも従前に考案され又は達成されたアプローチではない。したがって、特に示さない限り、この章に記載されたいかなるアプローチも、それらが本章に含まれたという理由のみにより従来技術と見なされるべきではない。
ユーザにとって、画像にキャプチャされたシーンの中の関心オブジェクトの実際の大きさを測定できることが有用であるという状況が生じる。例えば、健康管理の状況では、ユーザの目視による概算よりも正確に創傷の実際の大きさを知ることができることが重要な場合が多い。ある従来技術は、画像が取得された後にユーザが定規にある測定マークに基づき創傷の大きさを手動で推定できるように、傷口に隣接して定規のような測定具を有することを含む。このアプローチの1つの欠点は、ユーザが創傷自体の上ではなく創傷の近傍に配置された定規に基づき創傷の大きさを視覚的に推定しなければならないために、創傷の正確な測定を提供できないことである。このアプローチのもう1つの欠点は、異なる個人によって有意に変化し得る、臨床医の技量に依存し、一貫性のない測定結果を提供することである。
装置は、1又は複数のプロセッサと、前記1又は複数のプロセッサに通信可能に結合され命令を記憶する1又は複数のメモリと、を有する。前記1又は複数のプロセッサによる前記命令の実行は、関心オブジェクトと少なくとも1つの次元においてシーンの中の既知の実際のサイズを有する基準オブジェクトとを含むシーンの画像の画像データを取り込ませる。前記関心オブジェクトと少なくとも1つの次元における前記シーンの中の既知の実際のサイズを有する前記基準オブジェクトとは、前記装置で実行する画像エディタにおいて表示される。ユーザ入力に応答して、測定マーカは、前記画像エディタにおいて前記関心オブジェクトの上にオーバレイされ、前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける表示サイズが、前記測定マーカの少なくとも1つの次元の前記画像エディタにおける表示サイズと共に、決定される。前記測定マーカの少なくとも1つの次元の前記画像エディタの中の前記表示サイズ、前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタの中の前記表示サイズ、及び前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元の前記既知の実際のサイズに基づき、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の実際のサイズが決定される。前記画像エディタにおいて、前記シーンの中の前記測定マーカの前記少なくとも1つの次元のシーンの前記決定された実際のサイズが表示される。
添付の図面中、同様の参照符号は同様の要素を表す。
シーンの画像の中のオブジェクトを測定する構成を示すブロック図である。 画像エディタにより生成される例示的な画像エディタスクリーンを示す。 記述的情報と一緒に、説明の特殊定規の上に設けられるバーコードのような符号化データの形式の基準オブジェクトの例示的な実装を示す。 画像表示領域に示されるシーンが特殊定規を含む、画像エディタスクリーンを示す。 ユーザが測定マーカ追加制御を選択し、測定マーカを線セグメントの形式で関心オブジェクトに追加した後の、画像エディタスクリーンを示す。 関心オブジェクトを測定するための複数の測定マーカの使用を示す。 不均一形状を有する関心オブジェクトを示す。 関心オブジェクトと、生成され関心オブジェクトの上にオーバレイされた、長方形の測定マーカと、を示す。 スケール調整制御のユーザ選択に応答して、生成され、基準オブジェクトの上に表示されたスケールマーカを示す。 画像内のオブジェクトを測定するアプローチを示すフロー図である。 実施形態が実装され得る例示的なコンピュータシステムを示すブロック図である。
以下の説明では、説明を目的として、実施形態の完全な理解を提供するために、多くの詳細事項が説明される。しかしながら、当業者は、実施形態がそのような特定の詳細にかかわらず実施できることを理解するだろう。他の例では、良く知られた構造及び装置が、実施形態を不必要に不明瞭にしないために、ブロック図で示される。
I.概略
II.システムアーキテクチャ
A.概要
B.画像エディタ
III.画像内のオブジェクトの測定
A.概要
B.基準オブジェクト
C.測定マーカ
IV. スケール調整
V. 実装メカニズム
<I. 概略>
測定マーカを使用してシーンの画像の中のオブジェクトを測定するアプローチが提供される。画像エディタは、関心オブジェクトと少なくとも1つの次元においてシーンの中の既知の実際のサイズを有する基準オブジェクトとを含むシーンの画像を取り込み表示する。画像エディタのユーザは、測定マーカを、表示された画像の中の関心オブジェクトの上にオーバレイする。画像エディタは、基準オブジェクトの少なくとも1つの次元の、画像エディタの中の表示サイズと、測定マーカの少なくとも1つの次元の、画像エディタの中の表示サイズと、を決定する。画像エディタは、測定マーカの少なくとも1つの次元の、画像エディタの中の表示サイズ、基準オブジェクトの少なくとも1つの次元の、画像エディタの中の表示サイズ、及び基準オブジェクトの少なくとも1つの次元の、シーンの中の既知の実際のサイズに基づき、測定マーカの少なくとも1つの次元の、シーンの中の実際のサイズを決定し表示する。本アプローチは、ユーザが画像のシーンの中のオブジェクトの実際のサイズを迅速且つ容易に測定できるようにする。実施形態は、ユーザが基準オブジェクトのスケールを調整できるようにする。
<II. システムアーキテクチャ>
図1は、シーンの画像の中のオブジェクトを測定する構成100を示すブロック図である。構成の中に示す特定の要素は、全部が必須ではなく、実施形態は、特定の実装に依存して変化し得るより少数の要素又は追加要素を有する構成100に適用可能である。
(A.概略)
図1に示す例では、構成100は、画像取得装置102、画像エディタ104、画像レポジトリ106、クライアント装置108、及びコンテンツ管理システム110を有する。画像取得装置102は、画像を取得するよう構成される任意の装置により実装されても良い。画像取得装置102の例は、限定ではなく、カメラ、ワークステーション、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピューティング装置、パーソナルデジタルアシスタント、スマートフォン、等を有する。画像エディタ104は、後に詳述するように、画像内のオブジェクトの測定を提供する機能を提供する。画像レポジトリ106は、シーンの画像の画像データを格納する。画像データは、特定の実装に依存して変化し得る、任意のフォーマットで及び任意の構造に従って格納されても良い。画像レポジトリ106は、例えば、特定の方法で組織化された画像データを有するデータベースとして実装されても良く、又は、画像データは非構造化方法で格納されても良い。実施形態は、画像レポジトリ106の中の画像データが特定の方法で格納され及び/又は組織化されることに限定されない。
クライアント装置108は、画像エディタ104と相互作用できる任意の種類のクライアント装置であっても良い。クライアント装置108の例は、限定ではなく、ワークステーション、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピューティング装置、パーソナルデジタルアシスタント、スマートフォン、対話型ホワイトボード機器、等を含む。
コンテンツ管理システム110は、情報を格納する任意の種類のシステムであっても良い。コンテンツ管理システム110の例は、限定ではなく、Microsoft SharePoint、Perceptive ImageNow、及びHyland OnBaseのような伝統的なコンテンツ管理システムを含み、さらに、Cerner Millenium、Epic EpicCare、又はSiemens Soarianのような患者臨床情報を格納するEHR/EMR(Electronic Health Records/Electronic Medical Records)システムも表し得る。
ネットワーク112は、説明のみを目的として単一のネットワークとして図1に示されるが、ネットワーク112は、LAN(local area network)、WAN(wide area network)、インターネット、等のような任意の数の及び種類の有線又は無線ネットワークを有しても良い。図1に示す種々の要素は、説明を目的として図1には示されない直接通信リンクを介し互いに通信してもよい。
(B.画像エディタ)
画像エディタ104は、画像内オブジェクトの測定を提供する本願明細書に記載の機能を提供する。画像エディタ104は、技術を実行するために永続的にプログラミングされる1又は複数のASIC(application−specific integrated circuit)又はFPGA(field programmable gate array)の使用を含み得る回路及び/又は特定用途コンピューティング装置を含むハードウェア、コンピュータソフトウェア又はコンピュータハードウェアとソフトウェアとの任意の組合せで実装されても良い。画像エディタ104の例示的な実装は、限定ではなく、JavaScript(登録商標)プロセスのようなスクリプトに基づくプロセス、及びクライアント/サーバプロセスを含む。一実施形態によると、画像エディタ104は、ユーザが測定マーカを用いて画像の中の関心オブジェクトを測定できるようにするグラフィカルユーザインタフェースを提供する。グラフィカルユーザインタフェースは、1又は複数のウェブページにより実装されても良い。
画像エディタ104は、図に示され、別個の要素として具現化されるとして本願明細書に記載されるが、これは説明のみを目的として行われ、必要なものではない。画像エディタ104は、スタンドアロンプロセスとして、又は別のプロセスのプラグインのような別のプロセスの部分として実装されても良い。画像エディタ104は、図1に示す要素のうちの任意のものに、例えば画像取得装置102、画像レポジトリ106、クライアント装置108、コンテンツ管理システム110に、又は他の場所に実装されても良い。画像レポジトリ106は、図に示され、別個の要素として具現化されるとして本願明細書に記載されるが、これは説明のみを目的として行われ、必要なものではない。画像レポジトリ106は、図1に示す要素のうちの任意のものに、例えば画像取得装置102、画像エディタ104、クライアント装置108、コンテンツ管理システム110に、又は他の場所に実装されても良い。
<III. 画像内のオブジェクトの測定>
(A.概略)
一実施形態によると、シーンの画像の中の関心オブジェクトの測定は、基準オブジェクト及び1又は複数の測定マーカを用いて画像エディタ104により提供される。図2Aは、画像エディタ104により生成される例示的な画像エディタスクリーン200を示す。画像エディタスクリーン200は、クライアント装置108において実行する画像エディタ104により生成され表示される。別の例として、クライアント装置108のユーザは、クライアント装置108の外部の場所で実行する画像エディタ104へのアクセスを要求しても良い。例えば、クライアント装置108のユーザは、画像エディタ104の先頭ウェブページを要求するためにウェブブラウザを用いても良い。該要求に応答して、画像エディタ104は、先頭ウェブページをクライアント装置108に提供させる。ユーザのクライアント装置108におけるウェブブラウザによる先頭ウェブページの処理は、画像エディタ104のためのグラフィカルユーザインタフェースを提供する。
画像エディタスクリーン200は、画像表示領域202と、画像情報及び制御204と、を有する。画像表示領域202は、関心オブジェクト206及び基準オブジェクトを含むシーンの画像を表示する。関心オブジェクト206は、図の中に、説明を目的として長方形として提示されるが、シーンの中の任意の種類の関心オブジェクトを提示しても良い。例えば、関心オブジェクトは、画像の中にキャプチャされた、任意の形状又は大きさの人、場所、又は物であっても良い。
(B.基準オブジェクト)
基準オブジェクト208は、関心オブジェクト206と共にシーンの中に含まれる任意の種類のオブジェクトであっても良い。基準オブジェクト208の例は、限定ではなく、紙又はカードのような2次元オブジェクト、ブロック又は参照ガイドのような3次元オブジェクトを含む。図2Bは、記述的情報212と一緒に、説明の特殊定規の上に設けられるバーコードのような符号化データの形式の基準オブジェクト208の例示的な実装を示す。記述的情報212は、特定の実装及び/又は特殊定規210の使用に関連する情報を含んでも良く、特定のワークフローに有用であっても良い。例えば、医療の状況では、記述的情報212は、会社名、患者名、日付、使用後廃棄の注記、を含み得る。他の情報は、健康管理職員のような、特殊定規210を使用する人を識別するデータとして含まれても良い。記述的情報212は、任意の特定種類の情報に限定されず、記号等のような非テキスト情報を含んでも良い。記述的情報212は、図2Bに示すように、符号化データと共に含まれても良く、又は別個であっても良い。特殊定規210は、紙、カードストック、カードボード、又は木、金属、等のような他の材料のような任意の種類の物理媒体を用いて実装されても良い。医療の状況における特殊定規210の1つの例示的な実施形態は、測定されるべき傷口に隣接して配置され得る印刷された紙又はカードである。図2Cは、画像表示領域202に示されるシーンが特殊定規210を含む、画像エディタスクリーン200を示す。
一実施形態によると、基準オブジェクト208は、画像表示領域202に表示される画像の中で自動的に検出されても良い。これは、基準オブジェクト208の1又は複数の属性又は属性値を検出するために、画像の画像データを分析する画像エディタ104により達成されても良い。例えば、基準オブジェクト208は、それらを基準オブジェクトとして識別する1又は複数の属性又は属性値を有しても良い。例示的な属性は、限定ではなく、特徴、コード、署名、任意の他の種類の特殊データ、又はデータ若しくはデータ値のパターンを有する。一実施形態によると、基準オブジェクトは、画像エディタ104のユーザに視覚的に識別されても良い。例えば、基準オブジェクトは、色、他の特殊効果、又は境界ボックスのような他のオブジェクトと異なる視覚的属性を用いて画像エディタ104の中で表示され、基準オブジェクトがユーザにはっきり見えるようにしても良い。
一実施形態によると、基準オブジェクト208は、少なくとも1つの次元において、シーンの中の既知の実際のサイズを有しても良い。図2Aに示す例では、基準オブジェクト208の既知の実際のサイズは、基準オブジェクト208の幅214である。しかしながら、実施形態は、基準オブジェクト208の既知の実際のサイズが基準オブジェクト208の幅214であることに限定されない。例えば、基準オブジェクト208の既知の実際のサイズは、基準オブジェクト208の、高さ、又は幅と高さの両方、であっても良い。基準オブジェクト208の既知の実際のサイズは、例えば、画像のメタデータの部分として画像と共に、又は画像と別個に、格納されても良い。基準オブジェクト208の既知の実際のサイズは、例えば、図2Bに示す基準オブジェクト208のバーコード実装に含まれる、画像自体の部分であっても良い。
一実施形態によると、画像エディタ104は、基準オブジェクト208のスケール又はスケール係数を決定するよう構成される。基準オブジェクトのスケールは、基準オブジェクト208の少なくとも1つの次元の、画像エディタ104における表示サイズと、シーンの中の基準オブジェクトの少なくとも1つの次元の、既知の実際のサイズと、に基づき決定される。例えば、画像エディタ104の中の基準オブジェクト208の表示幅は1インチであると仮定する。更に、シーンの中の基準オブジェクト208の既知の実際の幅214は2インチであると仮定する。本例では、基準オブジェクト208のスケールは、基準オブジェクトの幅に対して、0.5(1/2)であり、スケール216により示されるように、画像エディタスクリーン200に表示される。スケール216は、特定の実装に依存して、任意の形式で表現されても良く、スケール216はいかなる特定の形式にも限定されない。例えば、スケール216は、生の数値、パーセンテージ又は比として表現されても良く、画像エディタスクリーン200上の1又は複数のグラフィカルユーザインタフェースオブジェクトを伴い又はそれにより視覚的に提示されても良い。さらに、基準オブジェクト208のスケールは、シーンの中の基準オブジェクトの実際の既知の次元と、基準オブジェクト208の少なくとも1つの次元の画像エディタ104における表示サイズとの比として表現されても良く、本例では、2.0のスケールになる。
(C.測定マーカ)
一実施形態によると、画像エディタ104は、ユーザが測定マーカを生成して関心オブジェクト206にオーバレイし、各々の測定マーカの少なくとも1つの次元のシーン内の実際のサイズを自動的に決定させ及び画像エディタスクリーン200の中に表示させるようにする機能を含む。これは、ユーザが、関心オブジェクト206の1又は複数の実際の次元を迅速且つ容易に決定できるようにする。本願明細書で使用され以後詳細に記載されるように、用語「測定マーカ」は、画像エディタスクリーン200の中の関心オブジェクト206にオーバレイされ得るグラフィカルユーザインタフェースオブジェクトを表す。任意の種類のグラフィカルユーザインタフェースオブジェクトが使用されても良く、実施形態は、いかなる特定種類のグラフィカルユーザインタフェースオブジェクトにも限定されない。測定マーカとして使用され得る例示的なグラフィカルユーザインタフェースオブジェクトは、限定ではなく、線セグメント、任意の種類の多角形、円、楕円、不規則形状、カスタム形状、等を含む。測定マーカの表示属性は、ユーザ経験を向上するために指定されても良い。例えば、測定マーカの表示属性は、基礎となっている関心オブジェクトが測定マーカと同時に現れるように、選択されても良い。これは、ユーザが、測定マーカを関心オブジェクトにより容易に視覚的に整列できるようにする。以後に更に詳細に記載されるように、測定マーカとして使用されるべきグラフィカルユーザインタフェースオブジェクトの種類、及び測定マーカの表示属性、のうちの一方又は両方は、画像エディタ104を介してユーザ選択可能であっても良い。
図2Aを再び参照すると、画像情報及び制御204は、測定マーカ追加218制御及びスケール調整220制御を有する。スケール調整220制御は、以後、より詳細に記載される。測定マーカ追加218制御は、ユーザが測定マーカを関心オブジェクト206の上に追加できるようにする。測定マーカ種類選択222制御は、ユーザが、測定マーカとして使用されるべきグラフィカルユーザインタフェースの種類を選択できるようにする。図示の例示的な種類は、線セグメント、長方形、楕円及び円を含むが、これらの種類は単なる例であり、任意の種類のグラフィカルユーザインタフェースオブジェクトがユーザ選択可能オプションとして提供されても良い。測定マーカ属性選択224制御は、ユーザが、測定マーカの1又は複数の表示属性を選択できるようにする。図示の例示的な表示属性は、実線、破線、及び色選択を含むが、これらは単なる例として提供され、任意の種類の表示属性がユーザ選択可能オプションとして提供されても良い。
図2Dは、ユーザが測定マーカ追加218制御を選択し、測定マーカ226を線セグメントの形式で関心オブジェクト206に追加した後の、画像エディタスクリーン200を示す。測定マーカは、コンピュータにより実装される描画ソフトウェアのユーザに親しみのある制御を用いて、画像エディタスクリーン200の中で描かれても良い。例えば、ユーザは、マウス又はトラックボールのようなポインティングデバイスを用いて、画像エディタスクリーン200上で測定マーカ226を描いても良い。
一実施形態によると、測定マーカ226が作成された後、測定マーカ226の、シーンの中の実際のサイズ228は、自動的に計算され、画像エディタスクリーン200において表示される。測定マーカ226のシーンの中の実際のサイズ228は、画像にキャプチャされたシーンの中の測定マーカ226の少なくとも1つの次元の実際のサイズである。測定マーカ226のシーンの中の実際のサイズ228は、測定マーカ226の画像エディタ104の中の表示サイズ、基準オブジェクト208の画像エディタにおける表示サイズ、及び基準オブジェクト208のシーンの中の既知の実際のサイズ、に基づき決定される。一実施形態よると、以下の通りである。
測定マーカのシーンの中の実際のサイズ=(測定マーカの表示サイズ*シーンの中の基準オブジェクトの実際のサイズ)/基準オブジェクトの表示サイズ
本例では、画像エディタ104の中の測定マーカ226の表示サイズは2インチであり、基準オブジェクト208のシーンの中の既知の実際の幅214は2インチであり、画像エディタ104の中の基準オブジェクト208の表示幅は1インチであると仮定する。本例では、測定マーカ226のシーンの中の実際のサイズ228は、4インチ((2*2)/1)である。代替で、基準オブジェクト208のスケール216が分かるとき、測定マーカのシーンの中の実際のサイズは、次式により決定できる。
測定マーカのシーンの中の実際のサイズ=測定マーカの表示サイズ/基準オブジェクトのスケール
測定マーカ226のシーンの中の実際のサイズ228は、ユーザが測定マーカ226を作成した後に、例えばユーザが測定マーカ226を描画し、測定マーカ226を描画するために使用されたマウスボタン又は他の制御を解放した後に、計算され表示されても良い。測定マーカ226のシーンの中の実際のサイズ228は、ユーザが測定マーカ226を作成するとき、動的に計算され表示されても良く、例えば図2Dの測定マーカ226を短縮し又は伸長することによりユーザが測定マーカ226を変更する任意のときに更新されても良い。このアプローチは、ユーザが、測定マーカ226を作成し、それを関心オブジェクト206に視覚的に揃え、関心オブジェクト206のシーンの中の実際のサイズを直ちに知ることができるようにする。測定マーカ226の実際のサイズは、画像と関連して、例えば画像レポジトリ106の中の画像のメタデータの中に、格納されても良い。測定マーカ226の実際のサイズは、更なる処理のために、コンテンツ管理システム110へ送信されても良い。例えば、測定マーカ226の実際のサイズを指定するデータは、患者の画像と共に、コンテンツ管理システム110に格納されても良い。したがって、創傷領域の時間に渡る経過が評価できる。
一実施形態によると、複数の測定マーカが、関心オブジェクトに関するより多くの情報を提供するために使用されても良い。図2Eは、関心オブジェクトを測定するための複数の測定マーカの使用を示す。図2Dに示す測定マーカ226に加えて、図2Eでは、ユーザは、それぞれ対応する計算され表示された実際のサイズ232、236、240を有する測定マーカ230、234、238を作成している。図2Eに示すように、測定マーカは、水平及び垂直線セグメントに限定されず、任意の角度で配置されても良い。さらに、測定マーカは、関心オブジェクトの周囲に接触する必要がなく、関心オブジェクトの内部又は外部に配置されても良く、或いは、関心オブジェクトの内部及び外部の両方であっても良い。例えば、図2Eでは、測定マーカ242は、関心オブジェクト206の内部に生成され、対応する実際のサイズ244を有する。測定マーカ246は、関心オブジェクト206の内部及び外部の両方に生成され、対応する実際のサイズ248を有する。したがって、測定マーカは、生成され、関心オブジェクトに対して任意の場所にオーバレイされても良い。
測定マーカは、任意の形状の関心オブジェクトを測定するために有用であり得る。図2Fは、不均一形状を有する関心オブジェクト250を示す。水平及び垂直測定マーカ252、254が生成され、関心オブジェクト250にオーバレイされている。測定マーカは、それぞれ計算された実際のサイズ252、256を有する。円弧の形式の測定マーカ260が生成され、関心オブジェクト250の周囲の部分に隣接してオーバレイされている。測定マーカ260は、計算された実際のサイズ262を有する。測定マーカ260は、図2Fに示す左下角のような、ユーザが関心オブジェクト250の特定部分のサイズに関心があるとき、有用であり得る。
一実施形態によると、測定マーカは、関心オブジェクトの面積を測定するために使用されても良い。図2Gは、関心オブジェクト250と、生成され関心オブジェクト250の上にオーバレイされた、長方形の測定マーカ264と、を示す。シーンの中の測定マーカ264の計算された実際の面積266は、画像エディタスクリーン200上に表示される。多角形、円、楕円、不規則形状、カスタム形状、等のような種々の形状の使用は、ユーザに関心オブジェクトの面積を知らせることができるようにする。これは、特に、関心オブジェクトのサイズの時間に渡る変化を監視するのに有用であり得る。シーンの中の測定マーカ264の計算された実際の面積266は、次式に基づき計算できる。
シーンの中の測定マーカの計算された実際の面積=(測定マーカの表示面積*シーンの中の基準オブジェクトの実際のサイズ)/基準オブジェクトの表示サイズ
又は
シーンの中の測定マーカの計算された実際の面積=測定マーカの表示面積/基準オブジェクトのスケール
線セグメントの形式の測定マーカに関して本願明細書に前述したように、シーンの中の測定マーカ264の計算された実際の面積266は、測定マーカ264が作成された後に直ちに計算されても良く、測定マーカ264のサイズに対する任意の変化に応答して動的に更新されても良い。シーンの中の測定マーカ264の計算された実際の面積266の決定は、種々の状況において非常に有用であり得る。例えば、健康管理の状況では、本アプローチは、治療の経過を決定するために、時間に渡り傷口の面積を迅速且つ容易に監視するために使用されても良い。
図3は、一実施形態による、画像内のオブジェクトを測定するアプローチを示すフロー図300である。ステップ302で、画像データは、関心オブジェクト及び基準オブジェクトを含むシーンの画像について取り込まれる。例えば、画像エディタ104は、画像レポジトリ106から、関心オブジェクト206及び基準オブジェクト208を含む特定の画像の画像データを取り込む。基準オブジェクト208の少なくとも1つの次元は、例えば画像データのメタデータにより又は特定の画像に含まれる符号化データを復号化することにより分かる。ステップ304で、シーンの画像は、画像エディタにおいて表示される。例えば、画像エディタ104は、特定の画像を画像表示領域202に表示させる。
ステップ306で、ユーザは、画像エディタを用いて、関心オブジェクトの上に測定マーカをオーバレイする。例えば、画像エディタ104のユーザは、関心オブジェクト206にオーバレイされる測定マーカ226を作成する。ステップ308で、画像エディタにおいて、基準オブジェクトの少なくとも1つの次元の表示サイズが決定される。例えば、画像エディタ104は、基準オブジェクト208の少なくとも1つの次元の表示サイズを自動的に決定しても良い。ステップ310で、画像エディタにおいて、ユーザにより生成され関心オブジェクトにオーバレイされた測定マーカの少なくとも1つの次元の表示サイズが決定される。例えば、画像エディタ104は、関心オブジェクト206にオーバレイされた測定マーカ226の少なくとも1つの次元の表示サイズを自動的に決定しても良い。
ステップ312で、測定マーカの少なくとも1つの次元のシーンの中の実際のサイズが決定される。例えば、本願明細書に前述したように、画像エディタ104は、測定マーカ226の長さの画像エディタ104における表示サイズ、基準オブジェクト208の幅の画像エディタ104における表示サイズ、及び基準オブジェクト208のシーンの中の既知の実際の幅214に基づき、関心オブジェクト206にオーバレイされた測定マーカ226のシーンの中の実際のサイズを決定しても良い。ステップ314で、測定マーカの少なくとも1つの次元のシーンの中の決定された実際のサイズが表示される。例えば、画像エディタ104は、測定マーカ226の長さのシーンの中の決定された実際のサイズ228を表示しても良い。
<IV. スケール調整>
画像の中の基準オブジェクトのスケールが正確ではない又は理想より小さい状況があり得る。これは、非常に様々な理由から生じ得る。例えば、図2Bにおいて、基準オブジェクト208を含む特殊定規210が紙、カードストック、等のような可撓性媒体に印刷され、特殊定規210が存在する表面が一様でない又は完全に平坦ではないと仮定する。この状況は、画像内の基準オブジェクト208の歪みを生じ、また、基準オブジェクト208の表示サイズ及び現在のスケールの不正確な決定を生じ得る。
一実施形態によると、画像エディタ104は、ユーザが基準オブジェクトのスケールを変更できるようにする。図2Hは、スケール調整220制御のユーザ選択に応答して、生成され、基準オブジェクト208の上に表示されたスケールマーカ270を示す。スケールマーカ270は、基準オブジェクトの少なくとも1つの次元の視覚表現を提供する、任意のグラフィカルユーザインタフェースオブジェクト、又はグラフィカルユーザインタフェースオブジェクトの任意の組合せであっても良い。図2Hに示す例では、スケールマーカ270は、基準オブジェクト208の表示幅を視覚的に示すために、破線の長方形の形式である。さらに、破線の長方形は、スケール調整220制御のユーザ選択に応答して、スケールマーカ270の存在をユーザに見えやすくするために、基準オブジェクト208から意図的にずらされている。例えば、形状、サイズ、等を含むスケールマーカ270の視覚的外観は、基準オブジェクト208の視覚的外観に対応するよう選択されても良い。例えば、基準オブジェクト208がバーコードの形式である場合、スケールマーカ270は、バーコードの視覚的外観を基準オブジェクト208に対応させても良い。しかしながら、これは必須ではなく、スケールマーカ270の視覚的外観は、特定の実装に依存して、基準オブジェクト208の視覚的外観と異なっても良い。
一実施形態によると、ユーザは、スケールマーカ270を調整して、基準オブジェクトの少なくとも1つの次元の表示サイズに対応する変化を、及び基準オブジェクトのスケールに対応する変化を生じさせても良い。例えば、図2Hでは、ユーザは、マウスのようなポインティングデバイスを用いて、スケールマーカ270の幅を選択し及び変更しても良い。より具体的には、ユーザは、参照符号272により示されるようにスケールマーカ270を狭くし、又は参照符号274により示されるようにスケールマーカ270を広くしても良い。スケールマーカ270の他の次元に対する調整は、特定の実装に依存して制約されても良く又は制約されなくても良い。例えば、スケールマーカ270の高さは、固定されても良く、又はユーザにより調整可能であっても良い。別個のグラフィカルユーザインタフェース制御が提供され、ユーザがスケールマーカ270を調整できるように、又は代替として若しくは追加で、ユーザがスケールマーカ270の少なくとも1つの次元を直接変更できるようにしても良い。例えば、スケールマーカ270の幅を増大又は減少するために、それぞれ増大及び減少制御が提供されても良い。基準オブジェクトの単一の表示次元を変更する文脈で例が本願明細書に記載されるが、実施形態は、単一の次元に限定されず、複数の次元が本アプローチを用いて変更されても良い。
以上に加えて、画像エディタ104は、追加機能を提供するよう構成されても良い。このような1つの例は、白色点調整である。一実施形態によると、画像エディタ104は、ユーザが関心オブジェクトの白色点調整を変更できるようにする1又は複数のグラフィカルユーザインタフェース制御を提供するよう構成される。これは、また、ユーザが関心オブジェクトの中の関心特徴を良好に識別できるようにし得る。例えば、白色点調整に対応するグラフィカルユーザインタフェースオブジェクトのユーザ選択に応答して、白色点又はグレー点マーカが、画像表示領域202に、例えば関心オブジェクト206に隣接して表示されても良い。白色点又はグレー点マーカは、長方形又は円の形式であり、「完全白色」又は「完全グレー」の色を有しても良い。ユーザは、次に、画像エディタ104の中の制御を用いて、画像の白色点を調整しても良い。同様のアプローチは、黒色点調整、コントラスト、等について使用されても良い。白色点又はグレー点マーカは、本願明細書に前述した特殊定規210の上に含まれても良い。
本願明細書に記載の実施形態は、ユーザフレンドリな、例えば「単一クリック」の、高速な、少なくとも1つの次元において、画像の中の関心オブジェクトのシーンの中の実際のサイズを測定する方法を提供する。実施形態は、広範な種々の状況に対して広い適用可能性を有する。例示的な状況は、限定ではなく、健康管理分野、建築分野、保険金請求分野、気象学分野、地質学分野、又は画像内の関心オブジェクトを迅速且つ容易に測定できることが有用である任意の他の状況を含む。
実施形態は、測定マーカを用いてシーンの2次元画像の中のオブジェクトを測定する状況において本願明細書に記載され図示されたが、実施形態は、この状況に限定されず、3次元の状況に適用可能である。例えば、本願明細書に記載の実施形態では、画像は、JPGファイル、又はTIFF及びPBGのような他のフォーマットで指定される2次元ラスタ画像であっても良い。画像は、3次元空間を通じる平面が測定される、3次元フォーマット(STL、OBJ、PLY、VRML、等)であっても良い。平面は、1つの次元、2つの次元(面積)、3つの次元(体積)、又はそれらの組合せにおいて測定されても良い。画像は、PDFのような複合文書フォーマットで表現されても良い。
解決される問題の部分は、基礎であるカメラ/写真光学系及び光センサが2D/3D距離センサと分離され、したがって、キャプチャされた画像のスケールと距離センサデータとの間の相関を確立するために、画像の中に基準オブジェクトを有することにより提供される利益がある。距離センサは、センサからオブジェクトまでの距離を決定できるが、シーンがどのように画像にキャプチャされるかを制御する多くの因子、及びレンズの焦点長、光学マクロ/ズーム、及びデジタルマクロ/ズームのような、キャプチャされる画像のスケール係数が存在する。シーンの中の基準オブジェクトを利用することは、2D/3D距離センサからの距離データをキャプチャされる画像データのスケールと相関させ、さらに、カメラ又は距離センサに対するいかなる変更も有しないで、2D/3D距離センサをカメラ及びレンズと共に使用可能にする。
<IV. 実装メカニズム>
本願のフロー図は特定のステップのセットを特定の順序で示すが、他の実装は、図示したものより少ない又は多くのステップを同じ又は異なる順序で使用しても良い。
一実施形態によると、本願明細書に記載した技術は、1又は複数の特定目的コンピュータ装置により実施される。特定目的コンピュータ装置は、この技術を実行するためにハードウェアに組み込まれても良く、この技術を実行するよう永続的にプログラムされた1又は複数の特定用途向け集積回路(ASIC)若しくはフィールドプログラマブルゲートアレイ(FPGA)のようなデジタル電子装置を有しても良く、この技術を実行するようプログラム命令に従ってファームウェア、メモリ、他の記憶若しくは組合せでプログラムされた1又は複数の汎用目的ハードウェアプロセッサを有しても良い。このような特定目的コンピュータ装置は、この技術を達成するために、カスタムハードワイヤードロジック、ASIC又はFPGAをカスタムプログラミングと組み合わせても良い。特定目的コンピュータ装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーク装置、又はこの技術を実施するためのハードワイヤードロジック及び/又はプログラムロジックを組み込んだ任意の他の装置であっても良い。
図4は、実施形態が実装され得る例示的なコンピュータシステム400を示すブロック図である。コンピュータシステム400は、バス402又は情報を通信する他の通信機構、及びバス402に結合され情報を処理するプロセッサ404を有する。コンピュータシステム400は、また、ランダムアクセスメモリ(RAM)又は他のダイナミック記憶素子のような、バス402に結合され情報及びプロセッサ404により実行されるべき命令を格納する主記憶406も有する。主記憶406は、プロセッサ404により実行されるべき情報の実行中に、一時変数又は他の中間的情報を格納するために用いられても良い。コンピュータシステム400は、バス402に結合され、静的情報及びプロセッサ404のための命令を格納する読み出し専用メモリ(ROM)408又は他の静的記憶装置を更に有する。情報及び命令の格納のために、磁気ディスク又は光ディスクのような記憶装置410が設けられバス402に結合される。
コンピュータシステム400は、バス402を介して、陰極線管(CRT)のような、コンピュータユーザに情報を表示するディスプレイ412に結合されて良い。バス402は単一のバスとして図示されるが、バス402は1又は複数のバスを有しても良い。例えば、バス402は、プロセッサ404がコンピュータシステム400内の他の装置を制御する制御バス、プロセッサ404が実行のために命令のメモリ位置を指定するアドレスバス、又はコンピュータシステム400のコンポーネント間でデータ又は信号を転送するための任意の他の種類のバスを有しても良いが、これらに限定されない。
入力装置414は、英数字及び他のキーを有し、バス402に結合され、プロセッサ404に情報及びコマンド選択を伝達する。別の種類のユーザ入力装置は、マウス、トラックボール又はカーソル方向キーのようなカーソル制御416であり、プロセッサ404に方向情報及びコマンド選択を伝達し、ディスプレイ412上のカーソルの移動を制御する。この入力装置は、通常、2軸、つまり第1の軸(例えばX)及び第2の軸(例えばY)における2度の自由度を有し、装置に平面内の位置を指定させる。
コンピュータシステム400は、本願明細書に記載した技術を、カスタマイズハードワイヤードロジック、1又は複数のASIC若しくはFPGA、コンピュータシステムと組み合わせて、コンピュータシステム400を特定用途向け機械にする若しくはプログラムするファームウェア及び/又はプログラムロジック若しくはコンピュータソフトウェアを用いて実装してもよい。一実施形態によると、上述の技術は、プロセッサ404が主記憶406に格納された命令を処理することに応答して、コンピュータシステム400により実行される。このような命令は、記憶装置410のような別のコンピュータ可読媒体から主記憶406に読み込まれてもよい。主記憶406に含まれる命令の処理は、プロセッサ404に本願明細書に記載した機能を実行させる。代替の実施形態では、ハードワイヤード回路が、実施形態を実施するソフトウェア命令の代わりに又はそれと組み合わせて用いられてもよい。このように、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。
本願明細書で用いられる用語「コンピュータ可読媒体」は、コンピュータを特定の方法で動作させるデータを提供する際に関与する任意の媒体を表す。コンピュータシステム400を用いて実施される実施形態では、種々のコンピュータ可読媒体が、例えば命令をプロセッサ404に実行するために提供する際に、関与する。このような媒体は、不揮発性媒体及び揮発性媒体を含む多くの形態を取ることができ、これらに限定されない。不揮発性媒体は、例えば、記憶装置410のような光又は磁気ディスクを含む。揮発性媒体は、主記憶406のような動的記憶を含む。コンピュータ可読媒体の共通形態は、限定ではなく、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は任意の他の磁気媒体、CD−ROM、任意の他の光学媒体、RAM,PROM及びEPROM、FLASH−EPROM、任意の他のメモリチップ若しくはメモリカートリッジ、メモリスティック、又はコンピュータが読み取れる任意の他の媒体を含む。
様々な形式のコンピュータ可読媒体は、プロセッサ404による処理のための命令を格納することに関与しても良い。例えば、命令は、始めに、リモートコンピュータの記憶媒体に格納され、1又は複数の通信リンクを介してコンピュータシステム400へ送信されても良い。バス402は、データを主記憶406に伝達する。主記憶406から、プロセッサ404が命令を取り込み処理する主記憶406により受信された命令は、任意的に、プロセッサ404により処理される前又は後に、記憶装置410に格納されても良い。
コンピュータシステム400は、バス402に結合された通信インタフェース418も含む。通信インタフェース418は、ローカルネットワーク422に接続されるネットワークリンク420への通信結合を提供する。例えば、通信インタフェース418は、電話線へのデータ通信接続を提供するためにモデムであっても良い。別の例として、通信インタフェース418は、互換性のあるLANへのデータ通信接続を提供するLAN(Local Area Network)カードであっても良い。無線リンクも実装されても良い。任意のこのような実装で、通信インタフェース418は、種々の情報を表すデジタルデータストリームを伝達する電気、電磁気又は光信号を送信及び受信する。
ネットワークリンク420は、通常、1又は複数のネットワークを通じて他のデータ装置へのデータ通信を提供する。例えば、ネットワークリンク420は、ローカルネットワーク422を通じてホストコンピュータ424への又はISP(Internet Service Provider)426により稼働されるデータ機器への接続を提供できる。ISP426は、また、現在一般的に「インターネット」428と称される世界的規模のパケットデータ通信ネットワークを通じてデータ通信サービスを提供する。ローカルネットワーク422及びインターネット428の両者は、デジタルデータストリームを伝達する電気、電磁気又は光信号を用いる。
コンピュータシステム400は、ネットワーク、ネットワークリンク420及び通信インタフェース418を通じて、プログラムコードを含む、メッセージを送信し及びデータを受信できる。インターネットの例では、サーバ430は、インターネット428、ISP426、ローカルネットワーク422及び通信インタフェース418を通じてアプリケーションプログラムのために要求されたコードを送信し得る。受信されたコードは、受信されるとプロセッサ404により処理され、及び/又は後の実行のために記憶装置410若しくは他の不揮発性記憶に格納され得る。
上述の明細書では、本発明の実施形態は、実施形態毎に変化し得る多数の特定の詳細を参照し説明された。したがって本発明の、および出願人により発明であるように意図したものの唯一の指標は、特許請求の範囲が由来する特定の形式の、いかなる今後の補正も含む本出願に由来する一組の特許請求の範囲である。したがって請求項内で明示的に記述されない限界、要素、特性、特徴、利点、または属性がこのような特許請求の範囲を決して制限してはならない。したがって本願明細書と添付図面は限定的ではなく例示的であると解釈すべきである。
102 画像取得装置
104 画像エディタ
106 画像レポジトリ
108 クライアント装置
110 コンテンツ管理システム
112 ネットワーク
200 画像エディタスクリーン
202 画像表示領域
204 画像情報及び制御
206 関心オブジェクト
208 基準オブジェクト
210 特殊定規
212 記述的情報
218 測定マーカ追加
220 スケール調整

Claims (20)

  1. 命令を記憶している1又は複数の非一時的コンピュータ可読媒体であって、前記命令は、1又は複数のプロセッサにより実行されると、
    関心オブジェクトと少なくとも1つの次元においてシーンの中の既知の実際のサイズを有する基準オブジェクトとを含む該シーンの画像の画像データを取り込むステップと、
    前記関心オブジェクトと少なくとも1つの次元において前記シーンの中の既知の実際のサイズを有する前記基準オブジェクトとを含む前記シーンの前記画像を、1又は複数のコンピューティング装置で実行する画像エディタにおいて表示させるステップと、
    ユーザ入力に応答して、前記画像エディタにおいて、前記関心オブジェクトに測定マーカをオーバレイするステップと、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける表示サイズを決定するステップと、
    前記測定マーカの少なくとも1つの次元の前記画像エディタにおける表示サイズを決定するステップと、
    前記測定マーカの少なくとも1つの次元の前記画像エディタにおける前記表示サイズ、前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズ、及び前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元の前記既知の実際のサイズに基づき、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の実際のサイズを決定するステップと、
    前記画像エディタにおいて、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の前記決定された実際のサイズを表示するステップと、
    を生じる、1又は複数の非一時的コンピュータ可読媒体。
  2. 前記測定マーカは、1又は複数の線セグメント、1又は複数の長方形、1又は複数の円形状、又は1又は複数の他の形状、のうちの1又は複数である、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  3. 前記基準オブジェクトの前記シーンの前記少なくとも1つの次元における前記既知の実際のサイズは、前記画像データに含まれる符号化データの中にある、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  4. 追加命令を更に有し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    前記基準オブジェクトの1又は複数のユニークな特徴に基づき、前記シーンの前記画像の中の前記基準オブジェクトの存在を検出するステップを生じる、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  5. 前記基準オブジェクトはバーコードであり、前記基準オブジェクトの1又は複数のユニークな特徴に基づき前記シーンの前記画像の中の前記基準オブジェクトの存在を検出するステップは、前記シーンの前記画像の中の前記バーコードの存在を検出するステップを有する、請求項4に記載の1又は複数の非一時的コンピュータ可読媒体。
  6. 追加命令を更に有し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    前記画像エディタのユーザに前記基準オブジェクトを視覚的に示す情報を前記画像エディタにおいて表示するステップを生じる、請求項4に記載の1又は複数の非一時的コンピュータ可読媒体。
  7. 追加命令を更に有し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズと、前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元における前記既知の実際のサイズと、に基づき、スケール係数を決定するステップと、
    前記画像エディタにおいて前記スケール係数を表示するステップと、
    を生じる、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  8. 追加命令を更に有し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    前記画像エディタにおいて、ユーザが前記基準オブジェクトのスケールを変更できるようにする1又は複数のグラフィカルユーザインタフェースオブジェクトを表示するステップと、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズに対する変更を生じる前記1又は複数のグラフィカルユーザインタフェースオブジェクトのユーザ選択に応答して、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記変更された表示サイズと前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元における前記既知の実際のサイズとに基づき、修正されたスケール係数を決定するステップと、
    前記画像エディタにおいて前記修正されたスケール係数を表示するステップと、
    を生じる、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  9. 追加命令を更に有し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    コンテンツ管理システムへ、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の前記決定された実際のサイズを指定するデータを送信するステップ、
    を生じる、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  10. 前記1又は複数の命令は、1又は複数のウェブページの中に実装される、請求項1に記載の1又は複数の非一時的コンピュータ可読媒体。
  11. 1又は複数のプロセッサと、
    命令を記憶している1又は複数のメモリと、
    を有し、前記命令は、1又は複数のプロセッサにより実行されると、
    関心オブジェクトと少なくとも1つの次元においてシーンの中の既知の実際のサイズを有する基準オブジェクトとを含む該シーンの画像の画像データを取り込むステップと、
    前記関心オブジェクトと少なくとも1つの次元において前記シーンの中の既知の実際のサイズを有する前記基準オブジェクトとを含む前記シーンの画像を1又は複数のコンピューティング装置で実行する画像エディタにおいて表示させるステップと、
    ユーザ入力に応答して、前記画像エディタにおいて、前記関心オブジェクトに測定マーカをオーバレイするステップと、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける表示サイズを決定するステップと、
    前記測定マーカの少なくとも1つの次元の前記画像エディタにおける表示サイズを決定するステップと、
    前記測定マーカの少なくとも1つの次元の前記画像エディタにおける前記表示サイズ、前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズ、及び前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元の前記既知の実際のサイズに基づき、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の実際のサイズを決定するステップと、
    前記画像エディタにおいて、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の前記決定された実際のサイズを表示するステップと、
    を生じる、装置。
  12. 前記測定マーカは、1又は複数の線セグメント、1又は複数の長方形、1又は複数の円形状、又は1又は複数の他の形状、のうちの1又は複数である、請求項11に記載の装置。
  13. 前記基準オブジェクトの前記シーンの前記少なくとも1つの次元における前記既知の実際のサイズは、前記画像データに含まれる符号化データの中にある、請求項11に記載の装置。
  14. 前記1又は複数のメモリは、追加命令を更に記憶し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、前記基準オブジェクトの1又は複数のユニークな特徴に基づき、前記シーンの前記画像の中の前記基準オブジェクトの存在を検出するステップを生じる、請求項11に記載の装置。
  15. 前記基準オブジェクトはバーコードであり、前記基準オブジェクトの1又は複数のユニークな特徴に基づき前記シーンの前記画像の中の前記基準オブジェクトの存在を検出するステップは、前記シーンの前記画像の中の前記バーコードの存在を検出するステップを有する、請求項14に記載の装置。
  16. 前記1又は複数のメモリは、追加命令を更に記憶し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、前記画像エディタのユーザに前記基準オブジェクトを視覚的に示す情報を前記画像エディタにおいて表示するステップを生じる、請求項14に記載の装置。
  17. 前記1又は複数のメモリは、追加命令を更に記憶し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズと、前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元における前記既知の実際のサイズと、に基づき、スケール係数を決定するステップと、
    前記画像エディタにおいて前記スケール係数を表示するステップと、
    を生じる、請求項11に記載の装置。
  18. 前記1又は複数のメモリは、追加命令を更に記憶し、前記追加命令は、前記1又は複数のプロセッサにより実行されると、
    前記画像エディタにおいて、ユーザが前記基準オブジェクトのスケールを変更できるようにする1又は複数のグラフィカルユーザインタフェースオブジェクトを表示するステップと、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズに対する変更を生じる前記1又は複数のグラフィカルユーザインタフェースオブジェクトのユーザ選択に応答して、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記変更された表示サイズと前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元における前記既知の実際のサイズとに基づき、修正されたスケール係数を決定するステップと、
    前記画像エディタにおいて前記修正されたスケール係数を表示するステップと、
    を生じる、請求項11に記載の装置。
  19. コンテンツ管理システムへ、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の前記決定された実際のサイズを指定するデータを送信するステップ、を更に有する、請求項11に記載の装置。
  20. 関心オブジェクトと少なくとも1つの次元においてシーンの中の既知の実際のサイズを有する基準オブジェクトとを含む該シーンの画像の画像データを取り込むステップと、
    前記関心オブジェクトと少なくとも1つの次元において前記シーンの中の既知の実際のサイズを有する前記基準オブジェクトとを含む前記シーンの前記画像を、1又は複数のコンピューティング装置で実行する画像エディタにおいて表示させるステップと、
    ユーザ入力に応答して、前記画像エディタにおいて、前記関心オブジェクトに測定マーカをオーバレイするステップと、
    前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける表示サイズを決定するステップと、
    前記測定マーカの少なくとも1つの次元の前記画像エディタにおける表示サイズを決定するステップと、
    前記測定マーカの少なくとも1つの次元の前記画像エディタにおける前記表示サイズ、前記基準オブジェクトの前記少なくとも1つの次元の前記画像エディタにおける前記表示サイズ、及び前記シーンの中の前記基準オブジェクトの前記少なくとも1つの次元の前記既知の実際のサイズに基づき、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の実際のサイズを決定するステップと、
    前記画像エディタにおいて、前記シーンの中の前記測定マーカの前記少なくとも1つの次元の前記決定された実際のサイズを表示するステップと、
    を有する方法。
JP2016188610A 2015-09-30 2016-09-27 画像内のオブジェクトの自動測定 Expired - Fee Related JP6311764B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/871,664 US9965159B2 (en) 2015-09-30 2015-09-30 Automatic measurement of objects in images
US14/871664 2015-09-30

Publications (2)

Publication Number Publication Date
JP2017068846A true JP2017068846A (ja) 2017-04-06
JP6311764B2 JP6311764B2 (ja) 2018-04-18

Family

ID=57256038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016188610A Expired - Fee Related JP6311764B2 (ja) 2015-09-30 2016-09-27 画像内のオブジェクトの自動測定

Country Status (3)

Country Link
US (1) US9965159B2 (ja)
EP (1) EP3151197B1 (ja)
JP (1) JP6311764B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965159B2 (en) * 2015-09-30 2018-05-08 Ricoh Company, Ltd. Automatic measurement of objects in images
US10375130B2 (en) 2016-12-19 2019-08-06 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances by an application using a wrapper application program interface
US10250592B2 (en) 2016-12-19 2019-04-02 Ricoh Company, Ltd. Approach for accessing third-party content collaboration services on interactive whiteboard appliances using cross-license authentication
US10395405B2 (en) * 2017-02-28 2019-08-27 Ricoh Company, Ltd. Removing identifying information from image data on computing devices using markers
US10755431B2 (en) 2018-07-19 2020-08-25 Radius Technologies, LLC Systems and methods for sizing objects via a computing device
US11055868B2 (en) 2018-07-19 2021-07-06 Radius Technologies, LLC Systems and methods for sizing objects via a computing device
US10820478B1 (en) * 2019-07-30 2020-11-03 Cnh Industrial America Llc System and method for providing a visual indication of field surface conditions
US11335084B2 (en) * 2019-09-18 2022-05-17 International Business Machines Corporation Image object anomaly detection
TWI720644B (zh) * 2019-10-08 2021-03-01 財團法人國家實驗研究院 針對特定已知比例尺之標的物影像辨識進行量測推估之方法
US20230154028A1 (en) * 2020-03-20 2023-05-18 British Telecommunications Public Limited Company Image feature measurement
CN112927577A (zh) * 2021-01-12 2021-06-08 深圳点猫科技有限公司 一种在线教育中的长度测量方法、装置及设备
CN113345034A (zh) * 2021-07-14 2021-09-03 山东诺德能源科技有限公司 一种利用图像识别方法快速测量钢筋直径的方法
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281728A (ja) * 1997-04-02 1998-10-23 Minolta Co Ltd 画像データ処理装置及び撮影装置
WO2013059599A1 (en) * 2011-10-19 2013-04-25 The Regents Of The University Of California Image-based measurement tools

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443303B2 (en) * 2011-09-09 2016-09-13 Calgary Scientific Inc. Image display of a centerline of tubular structure
US10515414B2 (en) * 2012-02-03 2019-12-24 Eagle View Technologies, Inc. Systems and methods for performing a risk management assessment of a property
US9230339B2 (en) * 2013-01-07 2016-01-05 Wexenergy Innovations Llc System and method of measuring distances related to an object
US9691163B2 (en) * 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US9741134B2 (en) * 2013-12-16 2017-08-22 Symbol Technologies, Llc Method and apparatus for dimensioning box object
CN104461009B (zh) * 2014-12-22 2018-01-09 百度在线网络技术(北京)有限公司 物体的测量方法和智能设备
US9786042B2 (en) * 2015-01-29 2017-10-10 Honeywell International Inc. Algorithm for measuring wear pin length using an input image
US9965159B2 (en) * 2015-09-30 2018-05-08 Ricoh Company, Ltd. Automatic measurement of objects in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281728A (ja) * 1997-04-02 1998-10-23 Minolta Co Ltd 画像データ処理装置及び撮影装置
WO2013059599A1 (en) * 2011-10-19 2013-04-25 The Regents Of The University Of California Image-based measurement tools

Also Published As

Publication number Publication date
US20170090730A1 (en) 2017-03-30
JP6311764B2 (ja) 2018-04-18
US9965159B2 (en) 2018-05-08
EP3151197B1 (en) 2019-08-28
EP3151197A1 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
JP6311764B2 (ja) 画像内のオブジェクトの自動測定
US10346560B2 (en) Electronic blueprint system and method
CN104811660B (zh) 控制装置及控制方法
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP2018004541A (ja) 情報処理装置、情報処理方法及びプログラム
US20130083990A1 (en) Using Videogrammetry to Fabricate Parts
US9633450B2 (en) Image measurement device, and recording medium
JP2016042246A (ja) マーカに基づいて特定される情報を提示する装置、方法およびプログラム
KR101825200B1 (ko) 직선/선분의 흡착방법 및 장치, 다변형의 구축방법 및 장치
CN104025148A (zh) 报告制作支援装置以及报告阅览装置
JP5618728B2 (ja) 配筋情報取得方法
US10313558B2 (en) Determining image rescale factors
JP2019536505A (ja) コンテキスト依存拡大鏡
JP2016174656A (ja) 画像処理装置及びプログラム
JP2017199259A (ja) 資材認識装置、および、資材認識方法
JP6736348B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018142953A (ja) マーカを用いるコンピューティング装置における画像データからの識別情報の削除
KR100991570B1 (ko) 다양한 형태를 갖는 간판크기를 원격으로 측정하는 방법 및그 방법을 이용한 간판크기 원격 측정 장치
JP7398945B2 (ja) 拡張現実の文書編集方法、プログラム及びシステム
JP2019082927A (ja) 情報処理装置、情報処理方法、プログラム
JP6168872B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6887745B2 (ja) 医用画像表示装置
JP2011110173A (ja) 医用画像システム及びプログラム
US20170337719A1 (en) Image processing device, image processing method and program
JP6908953B1 (ja) 情報処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180305

R151 Written notification of patent or utility model registration

Ref document number: 6311764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees