JP2023062575A - Image processing device, image processing method and program - Google Patents
Image processing device, image processing method and program Download PDFInfo
- Publication number
- JP2023062575A JP2023062575A JP2021172627A JP2021172627A JP2023062575A JP 2023062575 A JP2023062575 A JP 2023062575A JP 2021172627 A JP2021172627 A JP 2021172627A JP 2021172627 A JP2021172627 A JP 2021172627A JP 2023062575 A JP2023062575 A JP 2023062575A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- image processing
- processing device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000008859 change Effects 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、画像データを処理する画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program for processing image data.
従来、電子ゴーグルに設けられたカメラでキャプチャされた画像データに基づいて特定した位置に対応する拡張現実画像を電子ゴーグルのディスプレイに表示する技術が知られている（例えば、特許文献１を参照）。
Conventionally, there is known a technique for displaying an augmented reality image corresponding to a position specified based on image data captured by a camera provided in electronic goggles on a display of electronic goggles (see
特許文献１に記載された電子ゴーグルのような画像処理装置においては、予め画像処理装置に設けられたカメラにより生成された撮像画像データ内の被写体の特徴点のパターンを、予め空間内の位置に関連付けられた特徴点のパターンと比較することにより、画像処理装置の位置を特定することができる。画像処理装置は、一例として、特定した位置に応じた拡張現実画像を表示することができる。
In an image processing apparatus such as the electronic goggles described in
ところが、このような画像処理装置を通して、移動体内の人が移動中の移動体の内部の空間と外部の空間とを同時に見る場合、撮像画像データ内の被写体の特徴点のパターンを外部空間内の位置に予め関連付けられた特徴点のパターンと比較しても、これらのパターンが一致せず、画像処理装置の位置を特定できないという問題があった。 However, when a person in a moving vehicle sees the space inside the moving vehicle and the space outside the moving vehicle at the same time through such an image processing apparatus, the pattern of the feature points of the subject in the imaged image data is converted to the space outside the moving vehicle. Even when compared with patterns of feature points pre-associated with positions, these patterns do not match, and there is a problem that the position of the image processing apparatus cannot be specified.
そこで、本発明はこれらの点に鑑みてなされたものであり、移動体内の人が移動体の内部の空間と外部の空間とを同時に見る場合においても、画像処理装置の位置を特定できるようにすることを目的とする。 Therefore, the present invention has been made in view of these points, and is capable of specifying the position of an image processing apparatus even when a person in a mobile body sees the space inside and outside the mobile body at the same time. intended to
本発明の第１の態様の画像処理装置は、人が装着可能な画像処理装置であって、移動体に乗っている人が装着している前記画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得する画像データ取得部と、前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとの境界を特定する境界特定部と、前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定し、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定する位置特定部と、を有する。 An image processing apparatus according to a first aspect of the present invention is an image processing apparatus that can be worn by a person, wherein the image processing apparatus worn by a person riding a moving body is configured to be an internal space of the moving body and the an image data acquisition unit that acquires imaged image data generated by photographing an external space of a moving object; internal space image data corresponding to the internal space in the imaged image data; and the exterior in the imaged image data. a boundary identifying unit that identifies a boundary with external space image data corresponding to the space; a position identifying unit that identifies and identifies the position of the image processing device in the external space based on the positions of the plurality of feature points of the subject included in the external space image data.
前記位置特定部は、最新の前記内部空間画像データに含まれる前記複数の特徴点の位置と、直前の前記内部空間画像データに含まれる前記複数の特徴点の位置との関係に基づいて、前記内部空間における前記画像処理装置の位置を特定し、最新の前記外部空間画像データに含まれる前記複数の特徴点の位置と、直前の前記外部空間画像データに含まれる前記複数の特徴点の位置との関係に基づいて、前記外部空間における前記画像処理装置の位置を特定してもよい。 The position specifying unit, based on the relationship between the positions of the plurality of feature points included in the latest internal space image data and the positions of the plurality of feature points included in the previous internal space image data, The positions of the image processing device in the internal space are specified, and the positions of the plurality of feature points included in the latest external space image data and the positions of the plurality of feature points included in the immediately previous external space image data are determined. The position of the image processing device in the external space may be identified based on the relationship of .
前記位置特定部は、前記外部空間における前記画像処理装置の位置を特定する処理を実行する周期よりも遅い周期で、前記内部空間における前記画像処理装置の位置を特定してもよい。 The position specifying unit may specify the position of the image processing device in the internal space at a cycle that is slower than a cycle of performing processing for specifying the position of the image processing device in the external space.
前記画像処理装置は、前記位置特定部が特定した前記内部空間における前記画像処理装置の位置に対応する内部拡張現実画像を前記画像処理装置が有する表示部に表示させる内部画像表示処理部と、前記位置特定部が特定した前記外部空間における前記画像処理装置の位置に対応する外部拡張現実画像を前記表示部に表示させる外部画像表示処理部と、をさらに有してもよい。 The image processing device includes an internal image display processing unit that causes a display unit of the image processing device to display an internal augmented reality image corresponding to the position of the image processing device in the internal space specified by the position specifying unit; It may further include an external image display processing unit that causes the display unit to display an external augmented reality image corresponding to the position of the image processing device in the external space specified by the position specifying unit.
前記内部画像表示処理部は、前記表示部における、前記撮像画像データにおける前記内部空間内の所定の被写体を基準とする位置に前記内部拡張現実画像を表示させてもよい。 The internal image display processing unit may cause the display unit to display the internal augmented reality image at a position based on a predetermined subject in the internal space in the captured image data.
前記内部画像表示処理部は、前記撮像画像データにおける一以上の被写体の特徴を示す複数の特徴点のパターンに基づいて決定した大きさの前記内部拡張現実画像を前記表示部に表示させてもよい。 The internal image display processing unit may cause the display unit to display the internal augmented reality image having a size determined based on a pattern of a plurality of feature points representing characteristics of one or more subjects in the captured image data. .
前記外部画像表示処理部は、前記表示部における、前記外部空間における前記画像処理装置の位置に関連付けて予め記憶部に記憶された位置に前記外部拡張現実画像を表示させてもよい。 The external image display processing unit may cause the display unit to display the external augmented reality image at a position stored in advance in a storage unit in association with the position of the image processing device in the external space.
前記画像データ取得部は、所定の時間間隔ごとに前記撮像画像データを取得し、前記境界特定部は、異なる時刻に取得された複数の前記撮像画像データにおける含まれる複数の被写体それぞれの位置の変化速度に基づいて前記境界を特定してもよい。 The image data acquiring unit acquires the captured image data at predetermined time intervals, and the boundary specifying unit changes the position of each of the plurality of subjects included in the plurality of captured image data acquired at different times. The boundary may be identified based on velocity.
本発明の第２の態様の画像処理方法は、プロセッサが実行する、移動体に乗っている人が装着している画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、を有する。 According to a second aspect of the present invention, there is provided an image processing method executed by a processor, wherein an image processing device worn by a person riding a moving object captures an interior space of the moving object and an external space of the moving object. obtaining imaged image data generated by: specifying internal space image data corresponding to the internal space in the imaged image data and external space image data corresponding to the external space in the imaged image data; identifying the position of the image processing device in the internal space based on the positions of a plurality of feature points of the object contained in the internal space image data; and determining the position of the object contained in the external space image data. and identifying the position of the image processing device in the external space based on the positions of a plurality of feature points.
本発明の第３の態様のプログラムは、プロセッサに、移動体に乗っている人が装着している画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、を実行させる。 A program according to a third aspect of the present invention is stored in a processor and generated by an image processing device worn by a person riding a moving body, which captures an interior space of the moving body and an outer space of the moving body. a step of acquiring captured image data, identifying internal space image data corresponding to the internal space in the captured image data, and external space image data corresponding to the external space in the captured image data; identifying a position of the image processing device in the internal space based on positions of a plurality of feature points of the subject included in the internal space image data; and a step of specifying a plurality of feature points of the subject included in the external space image data. and determining the position of the image processing device in the external space based on the position of the .
本発明によれば、移動体内の人が移動体の内部の空間と外部の空間とを同時に見る場合においても、画像処理装置の位置を特定できるという効果を奏する。 According to the present invention, there is an effect that the position of the image processing device can be identified even when a person in the moving body sees the space inside the moving body and the space outside the moving body at the same time.
［画像処理装置１の概要］
図１は、画像処理装置１の概要を説明するための図である。画像処理装置１は、移動体Ｐに乗っているユーザＵ（例えば操縦者）が装着可能な端末であり、例えば眼鏡又はゴーグルの形状をしている。移動体Ｐは、人が乗った状態で移動可能な任意の物体であり、例えば飛行機、船舶、鉄道又は車両である。図１は、飛行機のコックピットにおいてユーザＵが操縦桿Ｈを使って操縦している様子を模式的に示している。
[Overview of Image Processing Apparatus 1]
FIG. 1 is a diagram for explaining an outline of an
ユーザＵは、画像処理装置１のレンズを介して、コックピットの内部の空間（以下、「内部空間」という。）と、窓Ｗの外部の空間（以下、「外部空間」という。）とを見ることができる。ユーザＵは、例えば内部空間における操縦桿Ｈ、メータＭ１、Ｍ２等の物体を見るとともに、外部空間における滑走路を見ることができる。また、ユーザＵは、内部空間及び外部空間を見ている状態で、画像処理装置１がレンズに表示する拡張現実画像（以下、「ＡＲ画像」という。）を見ることもできる。
The user U sees the space inside the cockpit (hereinafter referred to as "internal space") and the space outside the window W (hereinafter referred to as "external space") through the lens of the
図２は、ユーザＵが画像処理装置１を装着した状態で見る画像の一例を模式的に示す図である。図２における領域Ｒ１は外部空間の滑走路を示しており、領域Ｒ２は内部空間のコックピットを示している。図２（ａ）は、ユーザＵが垂直方向に座っている状態で見た内部空間及び外部空間に重ねて表示されたＡＲ画像を示しており、図２（ｂ）は、ユーザＵが垂直方向に対して傾いた状態で見た内部空間及び外部空間に重ねて表示されたＡＲ画像を示している。
FIG. 2 is a diagram schematically showing an example of an image viewed by the user U wearing the
図２（ａ）に示す画像には内部ＡＲ画像Ｇ１及び外部ＡＲ画像Ｇ２が表示されている。内部ＡＲ画像Ｇ１は飛行機の速度を示しており、操縦桿Ｈの上方に表示されている。外部ＡＲ画像Ｇ２は飛行機が進むべき位置を示しており、滑走路の所定の位置に表示されている。 An internal AR image G1 and an external AR image G2 are displayed in the image shown in FIG. 2(a). The internal AR image G1 shows the speed of the airplane and is displayed above the control stick H. The external AR image G2 shows the position to which the airplane should proceed, and is displayed at a predetermined position on the runway.
図２（ｂ）に示す画像にも同様に、内部ＡＲ画像Ｇ１’及び外部ＡＲ画像Ｇ２’が表示されている。内部ＡＲ画像Ｇ１と内部ＡＲ画像Ｇ１’とは、操縦桿Ｈの上方の位置に向きが同じ状態で表示されている。これに対して、外部ＡＲ画像Ｇ２と外部ＡＲ画像Ｇ２’とは向きが異なる状態で表示されている。具体的には、図２（ａ）においては操縦者が傾いていないことにより滑走路が上下方向に見えており、外部ＡＲ画像Ｇ２は上下方向と左右方向の直線により構成されている。これに対して、図２（ｂ）においては操縦者が傾いていることにより滑走路が斜め方向に見えており、外部ＡＲ画像Ｇ２’は斜め方向の複数の直線により構成されている。 An internal AR image G1' and an external AR image G2' are similarly displayed in the image shown in FIG. 2(b). The internal AR image G1 and the internal AR image G1' are displayed above the control stick H with the same orientation. On the other hand, the external AR image G2 and the external AR image G2' are displayed in different orientations. Specifically, in FIG. 2A, the runway is visible in the vertical direction because the pilot is not tilted, and the external AR image G2 is composed of straight lines in the vertical and horizontal directions. On the other hand, in FIG. 2(b), the runway appears obliquely because the pilot is tilted, and the external AR image G2' is composed of a plurality of oblique straight lines.
画像処理装置１は、内部空間に関連する情報を含むＡＲ画像を、内部空間における画像処理装置１の位置に基づいて決定した位置に表示し、外部空間に関連する情報を含むＡＲ画像を、外部空間における画像処理装置１の位置に基づいて決定した位置に表示する。画像処理装置１は、内部空間に対応するＡＲ画像と外部空間に対応するＡＲ画像のそれぞれを適切な位置に表示するために、画像処理装置１が撮影して生成した撮像画像データに基づいて、内部空間における画像処理装置１の位置と、外部空間における画像処理装置１の位置とを特定する。
The
具体的には、画像処理装置１は、撮像画像データにおける内部空間に対応する内部空間画像データに基づいて、内部空間における画像処理装置１の位置を特定し、撮像画像データにおける外部空間に対応する外部空間画像データに基づいて、外部空間における画像処理装置１の位置を特定する。このように、画像処理装置１は、移動体Ｐ内の人が移動中の移動体Ｐの内部の空間と外部の空間とを同時に見る場合においても画像処理装置１の位置を特定でき、特定した位置に基づいて、内部空間の状態に適したＡＲ画像と外部空間の状態に適したＡＲ画像とを表示することができる。
Specifically, the
［画像処理装置１の構成］
図３は、画像処理装置１のハードウェア構成を示す図である。図４は、画像処理装置１の機能構成を示す図である。
[Configuration of image processing apparatus 1]
FIG. 3 is a diagram showing the hardware configuration of the
図３に示すように、画像処理装置１は、撮像部１１と、右側レンズ１２１と、左側レンズ１２２と、右側投影部１２３と、左側投影部１２４と、を有する。右側レンズ１２１、左側レンズ１２２、右側投影部１２３及び左側投影部１２４は、図４に示す表示部１２を構成する。表示部１２は、ユーザＵが内部空間及び外部空間内の被写体を見ている状態でＡＲ画像をユーザが視認できるように表示する。表示部１２においては、右側投影部１２３が右側レンズ１２１に向けて投影画像Ｌ１と投影し、左側投影部１２４が左側レンズ１２２に向けて投影画像Ｌ２を投影することにより、ＡＲ画像を右側レンズ１２１及び左側レンズ１２２に表示する。
As shown in FIG. 3 , the
撮像部１１は、被写体を撮影することにより撮像画像データを作成する撮像素子を有する。図３に示す例においては、撮像部１１が画像処理装置１の中央付近に設けられているが、撮像部１１が設けられている位置は、ユーザＵが見る領域に対応する撮像画像データを作成することができる限りにおいて任意である。撮像部１１は左右方向の異なる位置に設けられた複数の撮像素子を有しており、奥行方向のデータを生成できるステレオカメラとして機能してもよい。
The imaging unit 11 has an imaging device that creates captured image data by photographing a subject. In the example shown in FIG. 3, the image pickup unit 11 is provided near the center of the
右側レンズ１２１は、ユーザＵの右目に対応しており、ユーザＵが画像処理装置１を装着した状態でユーザＵの右目の前方に位置する。右側レンズ１２１は光透過性を有しており、ユーザＵは、右側レンズ１２１を介して周辺の被写体を見ることができる。また、右側レンズ１２１は、右側投影部１２３が投影したＡＲ画像をユーザＵが見ることができる態様で表示する。右側レンズ１２１は、例えば右側投影部１２３が右側レンズ１２１の一部の領域に投影した光を伝搬した後にユーザＵの右目に向けて屈折させる導光板を有している。
The
左側レンズ１２２は、右側レンズ１２１と同等の構成を有する。左側レンズ１２２は、ユーザＵの左目に対応しており、ユーザＵが画像処理装置１を装着した状態でユーザＵの左目の前方に位置する。左側レンズ１２２は光透過性を有しており、ユーザＵは、左側レンズ１２２を介して周辺の被写体を見ることができる。また、左側レンズ１２２は、左側投影部１２４が投影したＡＲ画像をユーザＵが見ることができる態様で表示する。左側レンズ１２２は、例えば左側投影部１２４が左側レンズ１２２の一部の領域に投影した光を伝搬した後にユーザＵの右目に向けて屈折させる導光板を有している。
The
右側投影部１２３は、ＡＲ画像を右側レンズ１２１に投影する。右側投影部１２３は、表示処理部１６６から入力された右目用のＡＲ画像を右側レンズ１２１に投影する。右側投影部１２３及び左側投影部１２４は、ユーザが右側レンズ１２１及び左側レンズ１２２を介して被写体を視認している間に、右側レンズ１２１及び左側レンズ１２２にＡＲ画像を投影する。
The
左側投影部１２４は、ＡＲ画像を左側レンズ１２２に投影する。左側投影部１２４は、表示処理部１６６から入力された左目用のＡＲ画像を左側レンズ１２２に投影する。
The
続いて、図４を参照しながら画像処理装置１の内部構成及び機能について説明する。図４に示すように、画像処理装置１は、撮像部１１及び表示部１２に加えて、操作部１３と、通信部１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、画像データ取得部１６１と、境界特定部１６２と、位置特定部１６３と、内部画像表示処理部１６４と、外部画像表示処理部１６５と、表示処理部１６６と、を有する。
Next, the internal configuration and functions of the
操作部１３は、ユーザＵによる画像処理装置１の操作を受けるためのデバイスである。操作部１３は、例えばタッチスイッチ又はプッシュスイッチであってもよく、スマートフォン又はタブレット等の外部端末から操作データを受信する近距離無線通信デバイスであってもよい。操作データは、例えば、ＡＲ画像の表示を開始したり停止したりする操作内容を示すデータ、移動体Ｐの機種名を示すデータ、又は移動体Ｐが移動する場所を示すデータ（空港の名称、港の名称、鉄道路線の名称又は道路の名称を示すデータ）である。操作部１３は、ユーザＵの操作内容を示す操作データを制御部１６に通知する。
The
通信部１４は、制御部１６の処理に使用されるデータを提供する外部サーバとの間でデータを送受信するための通信インターフェースを有する。通信部１４は、例えば無線通信回線を用いて通信するための無線通信コントローラを有する。通信部１４は、例えば、ユーザＵが乗っている移動体Ｐが移動する付近の空間にある各種の物体の特徴点を示す基準点群データ、及び表示部１２に表示されるＡＲ画像データを外部サーバから取得し、取得した基準点群データ及びＡＲ画像データを記憶部１５に記憶させる。
The
通信部１４は、内部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の内部基準点群データを取得する。また、通信部１４は、外部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の外部基準点群データを取得する。
The
ＡＲ画像データは、一以上の内部基準点群データ又は外部基準点群データに関連付けられている。画像処理装置１は、撮像画像データにおける内部空間に対応する領域に含まれる被写体の特徴点に基づく点群データがいずれかの内部基準点群データと一致しており、当該内部基準点群データにＡＲ画像データが関連付けられている場合に、当該ＡＲ画像データに基づくＡＲ画像を表示する。同様に、画像処理装置１は、撮像画像データにおける外部空間に対応する領域に含まれる被写体の特徴点に基づく点群データがいずれかの外部基準点群データと一致しており、当該外部基準点群データにＡＲ画像データが関連付けられている場合に、当該ＡＲ画像データに基づくＡＲ画像を表示する。
AR image data is associated with one or more internal reference point cloud data or external reference point cloud data. The
内部基準点群データ、及び当該内部基準点群データに対応する内部ＡＲ画像データは、移動体Ｐの機種名に関連付けられていてもよい。また、外部基準点群データ、及び当該外部基準点群データに対応する外部ＡＲ画像データは、緯度・経度・高度を示す位置情報、又はエリアを示す情報に関連付けられていてもよい。一例として、外部基準点群データ及び外部ＡＲ画像データは、空港の名称、港の名称、鉄道路線の名称又は道路の名称に関連付けられていてもよい。 The internal reference point cloud data and the internal AR image data corresponding to the internal reference point cloud data may be associated with the model name of the moving object P. Also, the external reference point cloud data and the external AR image data corresponding to the external reference point cloud data may be associated with position information indicating latitude/longitude/altitude or information indicating an area. As an example, the external reference point cloud data and the external AR image data may be associated with airport names, port names, railway line names, or road names.
なお、画像処理装置１は外部サーバから各種のデータを取得せず、予め記憶部１５に記憶された基準点群データ及びＡＲ画像データを用いてもよい。この場合、画像処理装置１が通信部１４を有していなくてもよい。
Note that the
記憶部１５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、通信部１４が外部サーバから受信した基準点群データとＡＲ画像データとを関連付けて記憶する。記憶部１５は、位置情報又はエリアを示す情報に関連付けて複数の基準点群データ及びＡＲ画像データを記憶してもよい。
The
記憶部１５は、基準点群データとして、内部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の内部基準点群データを記憶する。記憶部１５は、内部空間における位置及び向きに関連付けて内部基準点群データを記憶してもよい。内部空間における位置は、内部空間の基準位置に対する距離及び向きにより示される。内部空間における向きは、内部空間の基準向き（例えば前方）に対する向きにより示される。
The
記憶部１５は、基準点群データとして、外部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の外部基準点群データを記憶する。記憶部１５は、外部空間における位置及び向きに関連付けて外部基準点群データを記憶してもよい。外部空間における位置は、基準位置に対する位置（座標）により示される。基準位置は、例えば、画像処理装置１が存在する空港、港、鉄道路線又は道路のいずれかの位置である。基準位置は、緯度及び経度が０度の位置を基準位置とする緯度・経度と、海面の位置に対する高度とにより表されていてもよい。外部空間における向きは、外部空間の基準向き（例えば北向き）に対する向きにより示される。
The
さらに、記憶部１５は、複数の内部基準点群データそれぞれに関連付けて内部ＡＲ画像データを記憶する。記憶部１５は、例えば、複数の内部基準点群データそれぞれに関連付けて異なる内容を示す内部ＡＲ画像データを記憶したり、複数の内部基準点群データそれぞれに関連付けて同じ内容で大きさが異なる内部ＡＲ画像データを記憶したりする。さらに、記憶部１５は、移動体Ｐの状態（例えば速度、高度、発生した問題の種別）に関連付けて内部ＡＲ画像データを記憶してもよい。
Furthermore, the
また、記憶部１５は、複数の外部基準点群データそれぞれに関連付けて外部ＡＲ画像データを記憶する。記憶部１５は、例えば、複数の外部基準点群データそれぞれに関連付けて異なる内容を示す外部ＡＲ画像データを記憶したり、複数の外部基準点群データそれぞれに関連付けて同じ内容で大きさが異なる外部ＡＲ画像データを記憶したりする。記憶部１５は、外部空間における位置及び向きに関連付けて外部ＡＲ画像データを記憶してもよい。
The
記憶部１５は、空港の名称、港の名称、鉄道路線の名称又は道路の名称に関連付けて外部基準点群データを記憶してもよい。記憶部１５は、例えば、Ａ空港内の多数の地点において複数の向きでの撮影により生成された撮像画像データに基づいて作成された多数の外部基準点群データを、Ａ空港用の外部基準点群データとして記憶する。
The
また、記憶部１５は、移動体Ｐを識別するための移動体識別情報（例えば機種名）に関連付けて内部基準点群データを記憶してもよい。記憶部１５は、例えば機種Ｂのコックピット内の複数の位置において複数の向きでの撮影により生成された撮像画像データに基づいて作成された多数の内部基準点群データを、機種Ｂ用の内部基準点群データとして記憶する。
Further, the
制御部１６は、記憶部１５に記憶されたプログラムを実行することにより各種のデータを処理するプロセッサとしてＣＰＵ（Central Processing Unit）を有している。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、画像データ取得部１６１、境界特定部１６２、位置特定部１６３、内部画像表示処理部１６４、外部画像表示処理部１６５及び表示処理部１６６として機能する。
The
画像データ取得部１６１は、移動体Ｐに乗っているユーザＵが装着している画像処理装置１が移動体Ｐの内部空間と移動体Ｐの外部空間とを撮影することにより生成された撮像画像データを取得する。すなわち、画像データ取得部１６１は、ユーザＵが画像処理装置１を装着している状態で撮像部１１が生成した撮像画像データを取得する。画像データ取得部１６１は、所定の時間間隔ごとに撮像画像データを取得する。所定の時間間隔は任意であるが、例えば３３．３ミリ秒（フレームレート３０ｆｐｓに対応）である。画像データ取得部１６１は、取得した撮像画像データを境界特定部１６２及び表示処理部１６６に入力する。
The image
境界特定部１６２は、画像データ取得部１６１から入力された撮像画像データにおける内部空間に対応する領域と外部空間に対応する領域との境界を特定する。境界特定部１６２は、撮像画像データにおける境界の位置に基づいて、撮像画像データにおける内部空間に対応する内部空間画像データと、撮像画像データにおける外部空間に対応する外部空間画像データとを作成する。当該境界は、図２に示した例における一点鎖線で示した位置である。
The
境界特定部１６２が境界を特定する方法は任意であるが、例えば、機械学習（例えば深層学習）によって境界を特定してもよく、特徴点の変化速度の差によって境界を特定してもよく、特徴点までの距離の差によって境界を特定してもよい。
The
境界特定部１６２は、機械学習を用いて境界を特定する場合、例えば、境界位置を示すデータを含む撮像画像データを教師データとして学習し、撮像画像データが入力されると境界位置を示す境界位置データを出力する機械学習モデルに、画像データ取得部１６１が取得した撮像画像データを入力する。境界特定部１６２は、機械学習モデルから出力される境界位置データに基づいて、撮像画像データにおける境界を特定する。
When identifying a boundary using machine learning, the
境界特定部１６２は、特徴点の変化速度の差によって境界を特定する場合、例えば、異なる時刻に取得された複数の撮像画像データにおける含まれる複数の被写体それぞれの位置の変化速度に基づいて境界を特定する。具体的には、境界特定部１６２は、第１時刻に生成された撮像画像データに含まれている複数の被写体の特徴点から構成される第１点群データと、第１時刻の次の第２時刻に生成された撮像画像データに含まれている複数の被写体の特徴点から構成される第２点群データとを作成する。特徴点は、被写体の輪郭線上の位置、凹凸の境界線上の位置、又は異なる色の領域の境界線上の位置の点である。
When the
境界特定部１６２は、第１点群データに含まれる複数の特徴点と、第２点群データにおけるこれらに対応する複数の特徴点との位置の差を特定する。この差が大きければ大きいほど特徴点の変化速度が大きい。そこで、境界特定部１６２は、変化速度の大きさによって複数の特徴点を２つのグループに分類し、変化速度が比較的小さい特徴点が含まれている領域が内部空間であり、変化速度が比較的大きい特徴点が含まれている領域が外部空間であることを特定する。
The
図５は、境界特定部１６２が作成する点群データの一例である。図５に示す点群データは、図２に示した画像に対応している。図５においては、内部空間に対応する特徴点を白い四角形で示しており、外部空間に対応する特徴点を黒い丸で示している。
FIG. 5 is an example of point cloud data created by the
白い四角形で示す内部空間の特徴点は、黒い丸で示す外部空間の特徴点よりも変化速度が小さいので、境界特定部１６２は、変化速度に基づいて白い四角形で示す特徴点が含まれる内部空間と黒い丸で示す特徴点が含まれる外部空間との境界を特定することができる。境界特定部１６２は、例えば、変化速度が比較的小さい特徴点のうち、上下方向及び左右方向において、変化速度が比較的大きい特徴点に最も近い複数の特徴点を結ぶ線を境界として特定する。
Since the feature points in the internal space indicated by the white rectangles have a lower change speed than the feature points in the outer space indicated by the black circles, the
同様に、境界特定部１６２は、特徴点までの距離の差によって境界を特定する場合、内部空間に対応する所定の距離（例えば１ｍ）以内の距離に対応する特徴点を内部空間に対応する特徴点であると特定する。また境界特定部１６２は、所定の距離よりも遠い距離に対応する特徴点を外部空間に対応する特徴点であると特定する。例えば、図５において白い四角形で示す特徴点までの距離は、黒い丸で示す特徴点までの距離よりも小さいので、白い四角形で示す特徴点が含まれる内部空間と黒い丸で示す特徴点が含まれる外部空間との境界を特定することができる。
Similarly, when the
境界特定部１６２は、特定した境界に基づいて作成した内部空間画像データに基づいて内部空間に対応する内部空間点群データを作成し、外部空間画像データに基づいて外部空間に対応する外部空間点群データを作成する。境界特定部１６２は、作成した内部空間点群データ及び外部空間点群データを位置特定部１６３に入力する。境界特定部１６２は、撮像画像データを内部空間画像データと外部空間画像データとに分割し、内部空間画像データ及び外部空間画像データを位置特定部１６３に入力してもよい。
The
なお、ユーザＵが頻繁に内部空間内で移動しない場合、境界の位置はほとんど変化しないと考えられる。そこで、境界特定部１６２は、移動体Ｐが移動を開始してから所定の時間が経過するまでの間に境界を特定し、特定した境界の位置を記憶部１５に記憶させてもよい。その後、境界特定部１６２は、記憶部１５に記憶された境界の位置に基づいて内部空間点群データ及び外部空間点群データを作成してもよい。
It should be noted that if the user U does not frequently move within the internal space, it is considered that the position of the boundary hardly changes. Therefore, the
また、境界特定部１６２は他の方法を用いて境界を特定してもよい。一例として、境界特定部１６２は、ユーザＵが使用する情報端末（例えばスマートフォン）に撮像画像データに基づく画像を表示させ、操作部１３を介して、ユーザＵが情報端末において入力した境界を示すデータを取得することにより境界を特定してもよい。
Also, the
位置特定部１６３は、境界特定部１６２から入力された内部空間点群データに基づいて、内部空間における画像処理装置１の位置を特定し、外部空間点群データに基づいて、外部空間における移動体Ｐの位置を特定する。すなわち、位置特定部１６３は、内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、内部空間における画像処理装置１の位置を特定し、外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、外部空間における画像処理装置１の位置を特定する。位置特定部１６３は、内部空間における画像処理装置１の向き、及び外部空間における画像処理装置１の向きをさらに特定してもよい。
The
一例として、位置特定部１６３は、記憶部１５に記憶された複数の内部基準点群データと、境界特定部１６２から入力された内部空間点群データとを比較することにより、内部空間点群データに最も近い内部基準点群データを特定する。位置特定部１６３は、内部基準点群データに関連付けて記憶部１５に記憶された位置又は向きを内部空間における画像処理装置１の位置又は向きとして特定する。位置特定部１６３は、特定した画像処理装置１の位置又は向きを内部画像表示処理部１６４に通知する。
As an example, the
位置特定部１６３は、最新の第１撮像画像データに含まれる複数の第１特徴点の位置と、直前の第２撮像画像データに含まれる複数の第２特徴点の位置との関係に基づいて、画像処理装置１の位置及び向きを特定してもよい。具体的には、位置特定部１６３は、複数の第１特徴点の位置と、複数の第１特徴点それぞれに対応する第２特徴点との位置の変化量を特定し、特定した変化量に相当する距離及び向きだけ、直前に特定した画像処理装置１の位置及び向きから変化させた位置及び向きを、画像処理装置１の最新の位置及び向きとして特定する。
The
この場合、位置特定部１６３が画像処理装置１の位置の特定に用いる特徴点に、それぞれ変化速度が異なる内部空間の特徴点と外部空間の特徴点とが混在していると、特徴点によって変化量が異なるので、位置特定部１６３は、画像処理装置１が存在している空間を特定できない。その結果、位置特定部１６３が、直前に特定した画像処理装置１の位置及び向きに基づいて、画像処理装置１の最新の位置及び向きを特定することができないという問題が生じる。
In this case, if the feature points used by the
これに対して、位置特定部１６３は、最新の内部空間画像データに含まれる複数の第１特徴点の位置と、直前の内部空間画像データに含まれる複数の第２特徴点の位置との関係（すなわち位置の変化量）に基づいて、内部空間における画像処理装置１の位置を特定する。また、位置特定部１６３は、最新の外部空間画像データに含まれる複数の第１特徴点の位置と、直前の外部空間画像データに含まれる複数の第２特徴点の位置との関係に基づいて、外部空間における画像処理装置１の位置を特定する。位置特定部１６３がこのように動作することで、撮像画像データに内部空間画像データと外部空間画像データとが含まれている場合であっても、画像処理装置１は、内部空間における位置と外部空間における位置を正しく特定することができる。
On the other hand, the
位置特定部１６３は、操作部１３を介して入力された操作データが示す移動体Ｐの機種名に対応する内部基準点群データを用いて内部空間における画像処理装置１の位置を特定してもよい。位置特定部１６３がこのように動作することで、位置特定部１６３は多数の機種に対応する多数の内部基準点群データを参照する必要がないため、内部空間における画像処理装置１の位置を特定するために要する時間を短縮することができる。
The
同様に、位置特定部１６３は、記憶部１５に記憶された複数の外部基準点群データと、境界特定部１６２から入力された外部空間点群データとを比較することにより、外部空間点群データに最も近い外部基準点群データを特定する。位置特定部１６３は、外部基準点群データに関連付けて記憶部１５に記憶された位置又は向きを外部空間における画像処理装置１の位置又は向きとして特定する。位置特定部１６３は、特定した画像処理装置１の位置又は向きを外部画像表示処理部１６５に通知する。
Similarly, the
位置特定部１６３は、操作部１３を介して入力された操作データが示す移動体Ｐの場所に対応する外部基準点群データを用いて外部空間における画像処理装置１の位置を特定してもよい。位置特定部１６３がこのように動作することで、位置特定部１６３は多数の場所に対応する多数の外部基準点群データを参照する必要がないため、外部空間における画像処理装置１の位置を特定するために要する時間を短縮することができる。
The
ところで、内部空間画像データは外部空間画像データに比べて変化が少ない。そこで、位置特定部１６３は、外部空間における画像処理装置１の位置を特定する処理を実行する周期よりも遅い周期で、内部空間における画像処理装置１の位置を特定してもよい。位置特定部１６３がこのように動作することで、処理の負荷を下げることができるので、位置特定部１６３が外部空間における画像処理装置１の位置の特定に要する時間を短縮することができる。
By the way, internal space image data changes less than external space image data. Therefore, the
内部画像表示処理部１６４は、記憶部１５に記憶された複数の内部ＡＲ画像データを参照し、位置特定部１６３が特定した内部空間における画像処理装置１の位置に対応する内部ＡＲ画像を表示部１２に表示させるように表示処理部１６６に指示する。内部画像表示処理部１６４は、内部空間における画像処理装置１の向きに対応する内部ＡＲ画像を表示させてもよい。内部画像表示処理部１６４は、記憶部１５に記憶された複数の内部基準点群データのうち内部点群データに最も近い内部基準点群データを特定し、特定した内部基準点群データに関連付けて記憶された内部ＡＲ画像データを表示部１２に表示させてもよい。
The internal image
内部画像表示処理部１６４は、表示部１２における、特定した内部ＡＲ画像データに関連付けて記憶部１５に記憶された位置に、内部ＡＲ画像データに基づく内部ＡＲ画像を表示させるように表示処理部１６６に指示する。内部画像表示処理部１６４は、例えば、図２（ａ）に示した内部ＡＲ画像Ｇ１及び図２（ｂ）に示した内部ＡＲ画像Ｇ１’のように、撮像画像における内部空間内の所定の被写体（例えば操縦桿Ｈ）の位置を基準にして定められた位置に内部ＡＲ画像を表示させる。メータＭ２が速度計である場合、内部画像表示処理部１６４は、速度計の位置を基準にして定められた位置に、速度に関する情報を含む内部ＡＲ画像を表示させてもよい。
The internal image
この際、内部画像表示処理部１６４は、画像処理装置１の傾き（すなわちユーザＵの傾き）によらず、表示部１２の方向を基準として定められた方向に内部ＡＲ画像を表示してもよい。内部ＡＲ画像が、内部画像及び外部画像の被写体の傾きに連動する必要がない内容を含む場合、内部画像表示処理部１６４がこのように動作することで、ユーザＵが姿勢を傾けた状態においても内部ＡＲ画像の内容を把握しやすくなる。なお、内部ＡＲ画像が、内部空間内の被写体を操作する向きを示す情報を含む場合、内部画像表示処理部１６４は、画像処理装置１の傾きに連動して内部ＡＲ画像が表示部１２の方向に対して傾いた状態で内部ＡＲ画像を表示させてもよい。
At this time, the internal image
また、内部画像表示処理部１６４は、内部空間の状態が所定の状態になったことを条件にして内部ＡＲ画像を表示させてもよい。一例として、内部画像表示処理部１６４は、内部空間画像データに基づいてコックピット内の表示灯（例えばアラーム灯）の状態が変化したことを検出した場合に、当該表示灯を基準とする所定の位置に、どのような対応をすべきかを示す情報を含む内部ＡＲ画像を表示させてもよい。
Further, the internal image
ところで、ユーザＵが後ろにのけぞった姿勢になった場合、内部空間の被写体（例えばコックピットの操縦桿ＨやメータＭ１）が小さく見える。そこで、内部画像表示処理部１６４は、これらの被写体の大きさに合わせて内部ＡＲ画像の大きさが変化させてもよい。具体的には、内部画像表示処理部１６４は、撮像画像データにおける一以上の被写体の特徴を示す複数の特徴点のパターンに基づいて決定した大きさの内部拡張現実画像を表示部１２に表示させてもよい。
By the way, when the user U takes a posture of leaning back, objects in the interior space (for example, the control stick H of the cockpit and the meter M1) look small. Therefore, the internal image
より具体的には、内部画像表示処理部１６４は、位置特定部１６３が作成した内部空間点群データに最も近い内部基準点群データに関連付けて記憶部１５に記憶された大きさの内部ＡＲ画像データを特定し、特定した内部ＡＲ画像を表示部１２に表示させる。内部画像表示処理部１６４がこのように動作することで、ユーザＵの姿勢によって内部ＡＲ画像の大きさが変化するので、あたかも内部空間に内部ＡＲ画像が存在するかのように見えて臨場感が増す。
More specifically, the internal image
外部画像表示処理部１６５は、記憶部１５に記憶された複数の外部ＡＲ画像データを参照し、位置特定部１６３が特定した外部空間における画像処理装置１の位置に対応する外部ＡＲ画像を表示部１２に表示させるように表示処理部１６６に指示する。外部画像表示処理部１６５は、表示部１２における、外部空間における画像処理装置１の位置に関連付けて予め記憶部１５に記憶された位置に、外部ＡＲ画像を表示させる。外部画像表示処理部１６５は、外部空間における画像処理装置１の向きに対応する内部ＡＲ画像を表示させてもよい。外部画像表示処理部１６５は、位置特定部１６３が作成した外部空間点群データに最も近い外部基準点群データに関連付けて記憶部１５に記憶された外部ＡＲ画像データを特定し、特定した外部ＡＲ画像データに基づく外部ＡＲ画像を表示部１２に表示させてもよい。
The external image
表示処理部１６６は、内部画像表示処理部１６４から入力された内部ＡＲ画像データ及び外部画像表示処理部１６５から入力された外部ＡＲ画像データを表示部１２に表示させる。表示処理部１６６は、画像データ取得部１６１から撮像画像データを取得し、取得した撮像画像データと内部ＡＲ画像データ及び外部ＡＲ画像データを合成した画像データに基づく画像を表示部１２に表示させてもよい。
The
［画像処理装置１における処理の流れ］
図６は、画像処理装置１における処理の流れを示すフローチャートである。図６に示すフローチャートは、画像処理装置１の電源が投入された時点から開始している。
[Flow of processing in image processing apparatus 1]
FIG. 6 is a flow chart showing the flow of processing in the
画像データ取得部１６１は、所定の時間間隔で撮像部１１から撮像画像データを取得する（Ｓ１１）。境界特定部１６２は、取得された撮像画像データに含まれる被写体の特徴点を抽出することにより点群データを作成し、作成した点群データを時刻に関連付けて記憶部１５に記憶させる（Ｓ１２）。
The image
境界特定部１６２は、作成した点群データを直前の撮像画像データに対応する点群データと比較することにより、各特徴点の位置の変化速度を特定する（Ｓ１３）。境界特定部１６２は、特定した変化速度を分類することにより、撮像画像データにおける内部空間に対応する領域と外部空間に対応する領域との境界を特定する（Ｓ１４）。境界特定部１６２は、特定した境界に基づいて、内部空間に対応する内部空間点群データと、外部空間に対応する外部空間点群データとを作成する（Ｓ１５）。境界特定部１６２は、作成した内部空間点群データ及び外部空間点群データを時刻に関連付けて記憶部１５に記憶させる。
The
続いて、位置特定部１６３は、記憶部１５に記憶された複数の内部基準点群データのうち境界特定部１６２が作成した内部空間点群データに最も類似する内部基準点群データを特定し、特定した内部基準点群データに関連付けて記憶部１５に記憶された位置を、画像処理装置１の内部空間における位置として特定する（Ｓ１６）。内部画像表示処理部１６４は、位置特定部１６３が特定した内部空間における位置に対応する内部ＡＲ画像を表示部１２に表示させる（Ｓ１７）。
Subsequently, the
同様に、位置特定部１６３は、記憶部１５に記憶された複数の外部基準点群データのうち境界特定部１６２が作成した外部空間点群データに最も類似する外部基準点群データを特定し、特定した外部基準点群データに関連付けて記憶部１５に記憶された位置を、画像処理装置１の外部空間における位置として特定する（Ｓ１８）。外部画像表示処理部１６５は、位置特定部１６３が特定した外部空間における位置に対応する外部ＡＲ画像を表示部１２に表示させる（Ｓ１９）。なお、Ｓ１６及びＳ１７とＳ１８及びＳ１９とを実行する順序は任意である。
Similarly, the
画像処理装置１は、ＡＲ画像の表示を中止する操作が操作部１３で行われるまでの間（Ｓ２０においてＮＯ）、Ｓ１１からＳ１９までの処理を繰り返す。
The
［画像処理装置１による効果］
以上説明したように、位置特定部１６３は、内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、内部空間における画像処理装置１の位置を特定し、外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、外部空間における画像処理装置の位置を特定する。画像処理装置１がこのように構成されていることで、移動体Ｐに乗っている人が移動体Ｐの内部の空間と外部の空間とを同時に見る場合においても、画像処理装置１の位置を正しく特定することができる。
[Effect of Image Processing Apparatus 1]
As described above, the
また、位置特定部１６３が、内部空間における画像処理装置１の位置を特定することで、内部画像表示処理部１６４は、内部空間における画像処理装置１の位置に対応する内部ＡＲ画像を、ユーザが見ている内部空間又は外部空間における所定の位置に表示部１２に表示させることができる。また、外部画像表示処理部１６５は、外部空間における画像処理装置１の位置に対応する外部ＡＲ画像を、ユーザＵが見ている内部空間又は外部空間における所定の位置に表示部１２に表示させることができる。
Further, the
内部画像表示処理部１６４及び外部画像表示処理部１６５がこのように構成されていることで、変化する速度がそれぞれ異なる内部空間と外部空間をユーザＵが見ている状態において、内部空間の状態及び外部空間の状態のそれぞれに適した内部ＡＲ画像及び外部ＡＲ画像をユーザＵに提示することができる。したがって、画像処理装置１は、移動体Ｐに乗ったユーザＵが装着して使用した状態でＡＲ画像を表示する必要がある用途において好適である。
By configuring the internal image
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist thereof. be. For example, all or part of the device can be functionally or physically distributed and integrated in arbitrary units. In addition, new embodiments resulting from arbitrary combinations of multiple embodiments are also included in the embodiments of the present invention. The effect of the new embodiment caused by the combination has the effect of the original embodiment.
１ 画像処理装置
１１ 撮像部
１２ 表示部
１３ 操作部
１４ 通信部
１５ 記憶部
１６ 制御部
１２１ 右側レンズ
１２２ 左側レンズ
１２３ 右側投影部
１２４ 左側投影部
１６１ 画像データ取得部
１６２ 境界特定部
１６３ 位置特定部
１６４ 内部画像表示処理部
１６５ 外部画像表示処理部
１６６ 表示処理部
1 Image processing device 11
Claims (10)
移動体に乗っている人が装着している前記画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得する画像データ取得部と、
前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとの境界を特定する境界特定部と、
前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定し、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定する位置特定部と、
を有する画像処理装置。 An image processing device wearable by a person,
an image data acquisition unit configured to acquire captured image data generated by the image processing device worn by a person riding a moving object capturing images of an internal space of the moving object and an external space of the moving object; ,
a boundary identifying unit that identifies a boundary between internal space image data corresponding to the internal space in the captured image data and external space image data corresponding to the external space in the captured image data;
The position of the image processing device in the internal space is specified based on the positions of the plurality of feature points of the subject contained in the internal space image data, and the positions of the plurality of feature points of the subject contained in the external space image data. a position specifying unit that specifies the position of the image processing device in the external space based on
An image processing device having
請求項１に記載の画像処理装置。 The position specifying unit, based on the relationship between the positions of the plurality of feature points included in the latest internal space image data and the positions of the plurality of feature points included in the previous internal space image data, The positions of the image processing device in the internal space are specified, and the positions of the plurality of feature points included in the latest external space image data and the positions of the plurality of feature points included in the immediately previous external space image data are determined. Identifying the position of the image processing device in the external space based on the relationship of
The image processing apparatus according to claim 1.
請求項１又は２に記載の画像処理装置。 The position specifying unit specifies the position of the image processing device in the internal space at a cycle slower than the cycle of executing the process of specifying the position of the image processing device in the external space.
The image processing apparatus according to claim 1 or 2.
前記位置特定部が特定した前記外部空間における前記画像処理装置の位置に対応する外部拡張現実画像を前記表示部に表示させる外部画像表示処理部と、
をさらに有する、
請求項１から３のいずれか一項に記載の画像処理装置。 an internal image display processing unit that causes a display unit of the image processing device to display an internal augmented reality image corresponding to the position of the image processing device in the internal space specified by the position specifying unit;
an external image display processing unit that causes the display unit to display an external augmented reality image corresponding to the position of the image processing device in the external space specified by the position specifying unit;
further having
The image processing apparatus according to any one of claims 1 to 3.
請求項４に記載の画像処理装置。 The internal image display processing unit causes the display unit to display the internal augmented reality image at a position based on a predetermined subject in the internal space in the captured image data.
The image processing apparatus according to claim 4.
請求項４又は５に記載の画像処理装置。 The internal image display processing unit causes the display unit to display the internal augmented reality image having a size determined based on a pattern of a plurality of feature points representing characteristics of one or more subjects in the captured image data,
The image processing apparatus according to claim 4 or 5.
請求項４から６のいずれか一項に記載の画像処理装置。 The external image display processing unit causes the display unit to display the external augmented reality image at a position stored in advance in a storage unit in association with the position of the image processing device in the external space.
The image processing apparatus according to any one of claims 4 to 6.
前記境界特定部は、異なる時刻に取得された複数の前記撮像画像データにおける含まれる複数の被写体それぞれの位置の変化速度に基づいて前記境界を特定する、
請求項１から７のいずれか一項に記載の画像処理装置。 The image data acquisition unit acquires the captured image data at predetermined time intervals,
The boundary identifying unit identifies the boundary based on a rate of change in position of each of the plurality of subjects included in the plurality of captured image data acquired at different times.
The image processing apparatus according to any one of claims 1 to 7.
移動体に乗っている人が装着している画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、
前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、
前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、
前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、
を有する画像処理方法。 the processor executes
obtaining captured image data generated by an image processing device worn by a person riding a moving object capturing images of an internal space of the moving object and an external space of the moving object;
identifying internal space image data corresponding to the internal space in the captured image data and external space image data corresponding to the external space in the captured image data;
identifying the position of the image processing device in the internal space based on the positions of a plurality of feature points of the subject included in the internal space image data;
identifying the position of the image processing device in the external space based on the positions of a plurality of feature points of the subject included in the external space image data;
An image processing method comprising:
移動体に乗っている人が装着している画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、
前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、
前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、
前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、
を実行させるためのプログラム。
to the processor,
obtaining captured image data generated by an image processing device worn by a person riding a moving object capturing images of an internal space of the moving object and an external space of the moving object;
identifying internal space image data corresponding to the internal space in the captured image data and external space image data corresponding to the external space in the captured image data;
identifying the position of the image processing device in the internal space based on the positions of a plurality of feature points of the subject included in the internal space image data;
identifying the position of the image processing device in the external space based on the positions of a plurality of feature points of the subject included in the external space image data;
program to run the
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021172627A JP2023062575A (en) | 2021-10-21 | 2021-10-21 | Image processing device, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021172627A JP2023062575A (en) | 2021-10-21 | 2021-10-21 | Image processing device, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023062575A true JP2023062575A (en) | 2023-05-08 |
Family
ID=86269774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021172627A Pending JP2023062575A (en) | 2021-10-21 | 2021-10-21 | Image processing device, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023062575A (en) |
-
2021
- 2021-10-21 JP JP2021172627A patent/JP2023062575A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022470B (en) | Method and system for training object detection algorithm using composite image and storage medium | |
| JP7036879B2 (en) | Techniques for displaying text more efficiently in virtual image generation systems | |
| US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| CN110377148B (en) | Computer readable medium, method of training object detection algorithm, and training apparatus | |
| US10769437B2 (en) | Adaptive sampling of training views | |
| US10884576B2 (en) | Mediated reality | |
| US10634918B2 (en) | Internal edge verification | |
| KR20170031733A (en) | Technologies for adjusting a perspective of a captured image for display | |
| US11710350B2 (en) | Sensor fusion eye tracking | |
| CN114761909A (en) | Content stabilization for head-mounted displays | |
| JP2007042055A (en) | Image processing method and image processor | |
| CN110031975B (en) | Method and system for calibrating augmented reality glasses in vehicle and augmented reality glasses | |
| CN110895676B (en) | dynamic object tracking | |
| US10755434B2 (en) | Low feature object detection and pose estimation for image data streams | |
| US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN112840379A (en) | Information processing apparatus, information processing method, and program | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| CN108885802B (en) | Information processing apparatus, information processing method, and storage medium | |
| JP6632298B2 (en) | Information processing apparatus, information processing method and program | |
| JP2019066618A (en) | Image display system, image display method and image display program | |
| JP2023062575A (en) | Image processing device, image processing method and program | |
| JPWO2016185634A1 (en) | Information processing device | |
| TWI767179B (en) | Method, virtual reality system and recording medium for detecting real-world light resource in mixed reality | |
| JP2020149216A (en) | Information processing device, information processing method, and program | |
| KR20230106800A (en) | Augmented reality display device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231128 |