JP6774445B2 - Mobile control system, mobile and mobile control method - Google Patents

Mobile control system, mobile and mobile control method Download PDF

Info

Publication number
JP6774445B2
JP6774445B2 JP2018017985A JP2018017985A JP6774445B2 JP 6774445 B2 JP6774445 B2 JP 6774445B2 JP 2018017985 A JP2018017985 A JP 2018017985A JP 2018017985 A JP2018017985 A JP 2018017985A JP 6774445 B2 JP6774445 B2 JP 6774445B2
Authority
JP
Japan
Prior art keywords
moving body
mobile
virtual line
control system
travelable area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018017985A
Other languages
Japanese (ja)
Other versions
JP2019135579A (en
Inventor
越膳　孝方
孝方 越膳
修吾 宮本
修吾 宮本
康夫 鳥本
康夫 鳥本
貴成 松本
貴成 松本
広明 川瀬
広明 川瀬
樋口　誠
誠 樋口
佐藤　文明
文明 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Imasen Electric Industrial Co Ltd
Toho University
Original Assignee
Honda Motor Co Ltd
Imasen Electric Industrial Co Ltd
Toho University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, Imasen Electric Industrial Co Ltd, Toho University filed Critical Honda Motor Co Ltd
Priority to JP2018017985A priority Critical patent/JP6774445B2/en
Priority to CN201910100417.8A priority patent/CN110119141B/en
Publication of JP2019135579A publication Critical patent/JP2019135579A/en
Application granted granted Critical
Publication of JP6774445B2 publication Critical patent/JP6774445B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、移動体制御システム、移動体及び移動体制御方法に関する。 The present invention relates to a mobile body control system, a mobile body and a mobile body control method.

従来、連設した点字ブロックで形成される誘導経路を車両搭載の撮像手段にて撮像し、この撮像画像に基づいて車両の走行を制御する走行システムが知られている（例えば、特許文献１参照）。この走行システムによれば、撮像画像に基づいて車両を誘導することができるのでシステム自体を簡素化することができる。 Conventionally, there is known a traveling system in which a guidance path formed by a series of Braille blocks is imaged by an imaging means mounted on a vehicle and the traveling of the vehicle is controlled based on the captured image (see, for example, Patent Document 1). ). According to this traveling system, the vehicle can be guided based on the captured image, so that the system itself can be simplified.

特開２０１７−１０２６０１号公報JP-A-2017-102601

ところで、このような走行システムにおいて、車両として車椅子を想定すると、特に屋内などのように狭い環境での走行移動を余儀なくされる。そのため、従来の走行システム（例えば、特許文献１参照）においては、走行中の車椅子が周囲とぶつからないように動き中心を走行可能経路の中心に位置させるべく、車椅子のふらつきを抑制したい要請があった。また、従来の走行システムと異なって点字ブロックを有しない環境においても適用できる走行システムが望まれていた。 By the way, in such a traveling system, assuming a wheelchair as a vehicle, the vehicle is obliged to travel in a narrow environment such as indoors. Therefore, in the conventional traveling system (see, for example, Patent Document 1), there is a request to suppress the wobbling of the wheelchair so that the moving center is positioned at the center of the travelable route so that the traveling wheelchair does not collide with the surroundings. It was. Further, a traveling system that can be applied even in an environment that does not have a Braille block unlike a conventional traveling system has been desired.

そこで、本発明の課題は、走行中のふらつきを抑制でき、従来よりも幅広い使用環境適用性を有する移動体制御システム、移動体及び移動体制御方法を提供することにある。 Therefore, an object of the present invention is to provide a mobile body control system, a mobile body, and a mobile body control method which can suppress wobbling during traveling and have a wider range of application to the usage environment than before.

前記課題を解決する本発明の移動体制御システムは、移動体に搭載される撮像手段と、前記撮像手段による撮像画像に基づいて前記移動体の走行可能領域を抽出する走行可能領域抽出手段と、前記移動体の出発地から目的地までの経路にわたって当該経路に沿うように前記走行可能領域の中央で前記移動体を誘導するように設定されて折れ線状となる前記移動体の走行経路を、前記撮像画像に基づいて滑らかな仮想線に生成する仮想線生成手段と、前記仮想線に沿って前記移動体が走行するように制御する走行制御手段と、
を有することを特徴とする。
また、本発明の移動体は、このような移動体制御システムを備えることを特徴とする。
また、本発明の移動体制御方法は、撮像手段による撮像画像に基づいて移動体の走行可能領域を抽出する走行可能領域抽出工程と、前記移動体の出発地から目的地までの経路にわたって当該経路に沿うように前記走行可能領域の中央で前記移動体を誘導するように設定されて折れ線状となる前記移動体の走行経路を、前記撮像画像に基づいて滑らかな仮想線に生成する仮想線生成工程と、前記仮想線に沿って前記移動体が走行するように制御する走行制御工程と、を有することを特徴とする。 The mobile body control system of the present invention that solves the above problems includes an imaging means mounted on the moving body, a travelable area extraction means that extracts a travelable area of the mobile body based on an image captured by the image pickup means, and a travelable area extraction means. a travel route of the moving body to be set to the center in the moving body of the travelable area along the said path over a route to the destination to induction polygonal line from the start point of the moving body, a virtual line generation means for generating a smooth virtual line based on the previous SL IMAGING image, and running control means for the moving body along the imaginary line is controlled so as to travel,
It is characterized by having.
Further, the mobile body of the present invention is characterized by including such a mobile body control system.
In addition, the moving body control method of the present invention includes a travelable area extraction step of extracting a travelable area of a moving body based on an image captured by an imaging means , and the route from the starting point to the destination of the moving body. the are at the center of the travelable area set the movable body so as to induction by the travel path of the moving body as a polygonal line along the produces a smooth virtual line based on the previous SL IMAGING image It is characterized by having a virtual line generation step and a traveling control step of controlling the moving body to travel along the virtual line.

本発明の移動体制御システム及びこれを備える移動体並びに移動体制御方法によれば、乗員の快適性を確保する走行経路を設定することができる。 According to the moving body control system of the present invention, the moving body provided with the moving body, and the moving body control method, it is possible to set a traveling route for ensuring the comfort of the occupant.

本発明の実施形態に係る移動体制御システムの概略図である。It is the schematic of the moving body control system which concerns on embodiment of this invention. 本発明の実施形態に係る移動体の全体斜視図である。It is an overall perspective view of the moving body which concerns on embodiment of this invention. 本発明の実施形態に係る移動体制御システムのブロック図である。It is a block diagram of the mobile body control system which concerns on embodiment of this invention. 本発明の実施形態に係る移動体制御システムが適用される領域を例示する地図である。It is a map which illustrates the area to which the mobile body control system which concerns on embodiment of this invention is applied. 本発明の実施形態に係る移動体制御システムによる移動体の走行制御処理の手順を示すフロー図である。It is a flow chart which shows the procedure of the traveling control processing of a moving body by the moving body control system which concerns on embodiment of this invention. （ａ）から（ｃ）は、移動体の撮像手段によって撮像された走行経路の撮像画像である。(A) to (c) are images of the traveling path captured by the image pickup means of the moving body.

本発明を実施する形態（本実施形態）の移動体制御システム、移動体及び移動体制御方法について詳細に説明する。
以下では、移動体としての電動車椅子を所定の施設内にて現在位置から目的地まで誘導するものを例にとって本実施形態について詳細に説明する。
本実施形態の移動体制御システムは、電動車椅子に搭載される撮像手段による撮像画像に基づいて形成した滑らかな仮想線に沿って電動車椅子を走行させる構成となっている。 The mobile body control system, the mobile body, and the mobile body control method of the embodiment of the present invention (the present embodiment) will be described in detail.
Hereinafter, the present embodiment will be described in detail by taking as an example a motorized wheelchair as a moving body that guides an electric wheelchair from a current position to a destination in a predetermined facility.
The mobile body control system of the present embodiment is configured to drive the electric wheelchair along a smooth virtual line formed based on an image captured by an imaging means mounted on the electric wheelchair.

＜移動体制御システムの全体構成＞
概略図である図１に示すように、本実施形態に係る移動体制御システム１００は、電動車椅子である移動体１０２と、移動体１０２の走行路１０４の周辺に設置された複数のビーコン送信機１０６及びＡＲ（Augmented Reality：拡張現実）マーカ１０７と、サーバ１１０と、を有している。
また、移動体１０２は、サーバ１１０に対して通信可能に接続された移動体制御装置１０８と、この移動体制御装置１０８に対して通信可能に接続された端末２１０（図２参照）と、をさらに備えている。 <Overall configuration of mobile control system>
As shown in FIG. 1, which is a schematic diagram, the mobile body control system 100 according to the present embodiment includes a mobile body 102, which is an electric wheelchair, and a plurality of beacon transmitters installed around the traveling path 104 of the mobile body 102. It has 106, an AR (Augmented Reality) marker 107, and a server 110.
Further, the mobile body 102 connects the mobile body control device 108 communicably connected to the server 110 and the terminal 210 (see FIG. 2) communicably connected to the mobile body control device 108. Further prepared.

ビーコン送信機１０６は、少なくとも互いの電波の到達範囲が重なる範囲ではそれぞれ異なる周波数を有するように、その送信周波数及び設置位置が設定されている。
ＡＲマーカ１０７は、走行路１０４を走行する移動体１０２に搭載される後記する撮像手段２０８（図３参照）によって、撮像可能なように、走行路１０４に沿って複数配置されている。 The beacon transmitter 106 is set in its transmission frequency and installation position so that it has different frequencies at least in the range where the reach of the radio waves overlaps with each other.
A plurality of AR markers 107 are arranged along the traveling path 104 so that they can be imaged by the imaging means 208 (see FIG. 3) mounted on the moving body 102 traveling on the traveling path 104.

本実施形態の移動体制御システム１００では、撮像手段２０８（図３参照）による撮像画像の画角内にＡＲマーカ１０７が映り込むと、端末２１０の表示手段２１４（図３参照）に映し出される撮像画像に重ね合わせて、目的地に向かう走行経路が映し出されるようになっている。また、ＡＲマーカ１０７の絶対位置（座標）は、予めサーバ１１０に記憶されている。これによりサーバ１１０は、後記するように、ＡＲマーカ１０７の撮像画像に基づいて、これを撮像した移動体１０２の現在位置を特定する。 In the mobile control system 100 of the present embodiment, when the AR marker 107 is reflected in the angle of view of the image captured by the imaging means 208 (see FIG. 3), the image is projected on the display means 214 (see FIG. 3) of the terminal 210. The travel route to the destination is projected by superimposing it on the image. Further, the absolute position (coordinates) of the AR marker 107 is stored in the server 110 in advance. As a result, as will be described later, the server 110 identifies the current position of the moving body 102 that has captured the image based on the captured image of the AR marker 107.

ちなみに、このＡＲマーカ１０７は、予め定めた文字、図形、記号又はこれらの組み合わせで形成される標識で構成することができる。また、ＡＲマーカ１０７は、周辺の椅子、机、置物などの調度品の外形、色彩や、特徴的な路面地模様などの視覚的要素で構成することもできる。また、ＡＲマーカ１０７は、壁、床及び天井で仕切られる特徴的な空間形状（通路形状）で構成することもできる。そして、このようなＡＲマーカは、後記するビーコンとともに、本実施形態での位置伝達標識を構成することができる。 By the way, the AR marker 107 can be composed of predetermined characters, figures, symbols or a sign formed by a combination thereof. Further, the AR marker 107 can also be composed of visual elements such as the outer shape and color of furniture such as chairs, desks, and figurines in the vicinity, and a characteristic road surface pattern. Further, the AR marker 107 can also be configured with a characteristic space shape (passage shape) partitioned by a wall, a floor, and a ceiling. Then, such an AR marker can form a position transmission sign in the present embodiment together with a beacon described later.

移動体制御装置１０８は、ビーコン送信機１０６や移動体１０２に搭載される後記の端末２１０（図３参照）から出力される各種情報データをサーバ１１０へ送信する。また、移動体制御装置１０８は、サーバ１１０から目標車速及び目標操舵角の情報を受信して移動体１０２の走行制御を行う。
これら移動体制御装置１０８及びサーバ１１０については後に詳しく説明する。 The mobile control device 108 transmits various information data output from the beacon transmitter 106 and the terminal 210 (see FIG. 3) mounted on the mobile 102 to the server 110. Further, the moving body control device 108 receives information on the target vehicle speed and the target steering angle from the server 110 and controls the traveling of the moving body 102.
The mobile control device 108 and the server 110 will be described in detail later.

図２は、移動体１０２（電動車椅子）の全体斜視図である。
図２に示すように、移動体１０２（電動車椅子）は、両側のそれぞれに駆動輪１０３ａ，１０３ａ（図中、一方の駆動輪は不図示）を有する車椅子本体１０３と、各駆動輪１０３ａ，１０３ａを独立に駆動するアクチュエータ２０４と、を有している。また、車椅子本体１０３には、前記の移動体制御装置１０８が取り付けられている。 FIG. 2 is an overall perspective view of the moving body 102 (electric wheelchair).
As shown in FIG. 2, the moving body 102 (motorized wheelchair) includes a wheelchair body 103 having drive wheels 103a and 103a (one drive wheel is not shown in the figure) on both sides, and drive wheels 103a and 103a, respectively. It has an actuator 204 that independently drives the wheelchair. Further, the mobile body control device 108 is attached to the wheelchair body 103.

また、車椅子本体１０３のフレーム１０３ｂには、支持アーム１０３ｃを介して端末ホルダ１０３ｄが取り付けられている。この端末ホルダ１０３ｄには、端末２１０が着脱自在に取り付けられている。
なお、図示しないが、各駆動輪１０３ａ，１０３ａには、所定の回転角だけ回転するごとに信号パルス（回転信号パルス）を出力する回転角センサが配置されている。この回転角センサは、移動体制御装置１０８の後記するオドメトリ情報処理ユニット３６０（図３参照）と連携する。 Further, the terminal holder 103d is attached to the frame 103b of the wheelchair body 103 via the support arm 103c. A terminal 210 is detachably attached to the terminal holder 103d.
Although not shown, rotation angle sensors that output a signal pulse (rotation signal pulse) each time the drive wheels 103a and 103a rotate by a predetermined rotation angle are arranged. This rotation angle sensor cooperates with the odometry information processing unit 360 (see FIG. 3) described later of the mobile control device 108.

図３は、移動体制御システム１００（図１参照）のブロック図である。
移動体制御システム１００は、前記のように、端末２１０と、移動体制御装置１０８と、サーバ１１０と、を主に備えて構成されている。 FIG. 3 is a block diagram of the mobile control system 100 (see FIG. 1).
As described above, the mobile control system 100 mainly includes a terminal 210, a mobile control device 108, and a server 110.

≪端末≫
図３に示すように、端末２１０（移動端末）は、移動体制御装置１０８と通信する通信器２００と、この端末２１０に対して目的地などの情報を入力する入力手段２１２と、移動体１０２の前方の環境を撮像する撮像手段２０８と、後記する仮想線１４（図６（ｃ）参照）などを表示する表示手段２１４と、移動体１０２が位置するポイントでの地磁気を測定して出力する地磁気検出手段２１６と、を備えている。 ≪Terminal≫
As shown in FIG. 3, the terminal 210 (mobile terminal) includes a communication device 200 that communicates with the mobile body control device 108, an input means 212 that inputs information such as a destination to the terminal 210, and a mobile body 102. The imaging means 208 that images the environment in front of the moving body 102, the display means 214 that displays the virtual line 14 (see FIG. 6C) described later, and the geomagnetism at the point where the moving body 102 is located are measured and output. It includes a geomagnetic detection means 216.

本実施形態での端末２１０は、移動端末としてのタブレットを想定しているが、後記に詳しく説明するように移動体制御装置１０８との間で相互通信を行うことができれば特に制限はない。したがって、端末２１０は、例えばスマートホン、ラップトップパソコンなどであってもよい。なお、この端末２１０については、移動体制御装置１０８との関係で後にさらに詳しく説明する。 The terminal 210 in the present embodiment is assumed to be a tablet as a mobile terminal, but there is no particular limitation as long as mutual communication can be performed with the mobile control device 108 as described in detail later. Therefore, the terminal 210 may be, for example, a smartphone, a laptop computer, or the like. The terminal 210 will be described in more detail later in relation to the mobile control device 108.

≪移動体制御装置≫
移動体制御装置１０８は、通信器３００と、処理装置３０４と、走行可能領域抽出手段３７０と、仮想線生成手段３８０と、走行制御手段３９０と、を主に備えて構成されている。
通信器３００は、端末２１０とサーバ１１０との間の通信を行う。 ≪Mobile control device≫
The mobile body control device 108 is mainly composed of a communication device 300, a processing device 304, a travelable area extraction means 370, a virtual line generation means 380, and a travel control means 390.
The communication device 300 communicates between the terminal 210 and the server 110.

本実施形態での処理装置３０４は、入力した前記の各種情報データを、通信器３００を介してサーバ１１０に向けて出力する。
処理装置３０４は、具体的には、入力情報処理ユニット３１０と、ビーコン処理ユニット３２０と、ＡＲマーカ処理ユニット３４０と、地磁気処理ユニット３５０と、画像処理ユニット３３０と、オドメトリ情報処理ユニット３６０と、を主に備えて構成されている。 The processing device 304 in the present embodiment outputs the input various information data to the server 110 via the communication device 300.
Specifically, the processing device 304 includes an input information processing unit 310, a beacon processing unit 320, an AR marker processing unit 340, a geomagnetic processing unit 350, an image processing unit 330, and an odometry information processing unit 360. It is mainly configured for preparation.

入力情報処理ユニット３１０は、端末２１０の入力手段２１２と連携している。
具体的には、ユーザによって入力手段２１２の所定のスイッチ（図示省略）がオンになったことを検知した入力情報処理ユニット３１０は、各スイッチに応じて、後記する走行制御開始要求信号、目的地情報などを識別ＩＤとともにサーバ１１０に送信する。 The input information processing unit 310 is linked with the input means 212 of the terminal 210.
Specifically, the input information processing unit 310, which has detected that a predetermined switch (not shown) of the input means 212 has been turned on by the user, responds to each switch with a travel control start request signal and a destination, which will be described later. Information and the like are transmitted to the server 110 together with the identification ID.

また、入力情報処理ユニット３１０は、ユーザの入力手段２１２を介しての選択によって、後記のように、サーバ１１０が、ビーコン、ＡＲ（Augmented Reality：拡張現実）マーカ、及び地磁気のうちのどの要素に基づいて移動体１０２の経路決定を行うかの要求信号を、サーバ１１０に送信する。 Further, the input information processing unit 310 can be selected by the user via the input means 212, and the server 110 can be used as an element of a beacon, an AR (Augmented Reality) marker, or geomagnetism, as described later. Based on this, a request signal for determining the route of the moving body 102 is transmitted to the server 110.

ちなみに、本実施形態の移動体制御システム１００においては、後記のように、ビーコン、ＡＲ（Augmented Reality：拡張現実）マーカ、及び地磁気のうちのいずれか１つの要素で経路決定を行う構成を想定している。しかしながら、本実施形態では、２以上の要素を選択して最良の経路決定を設定するようにサーバ１１０を構成とすることもできる。 By the way, in the mobile control system 100 of the present embodiment, as described later, it is assumed that the route is determined by any one of the beacon, the AR (Augmented Reality) marker, and the geomagnetism. ing. However, in this embodiment, the server 110 can also be configured to select two or more elements and set the best routing.

ビーコン処理ユニット３２０は、移動体１０２（図１参照）の周囲の各ビーコン送信機１０６（図１参照）から受信したビーコン電波の受信強度を測定する。
ビーコン処理ユニット３２０は、この測定値と、ビーコン電波の周波数とを含むビーコン受信情報を、通信器３００を介してサーバ１１０へ送信する。 The beacon processing unit 320 measures the reception intensity of beacon radio waves received from each beacon transmitter 106 (see FIG. 1) around the mobile body 102 (see FIG. 1).
The beacon processing unit 320 transmits the beacon reception information including the measured value and the frequency of the beacon radio wave to the server 110 via the communication device 300.

なお、ビーコン処理ユニット３２０によるビーコン電波の受信は、ビーコン処理ユニット３２０に内蔵されるビーコン受信器（図示省略）を介して行われる。また、ビーコン電波の受信強度は、一定の時間間隔で、ビーコン電波ごと（すなわち、受信したビーコン電波の周波数ごと）に測定される。そして、ビーコン処理ユニット３２０は、このようなビーコン受信情報を一定の時間間隔でサーバ１１０へ送信する。 The beacon radio wave received by the beacon processing unit 320 is performed via a beacon receiver (not shown) built in the beacon processing unit 320. In addition, the reception intensity of the beacon radio wave is measured for each beacon radio wave (that is, for each frequency of the received beacon radio wave) at regular time intervals. Then, the beacon processing unit 320 transmits such beacon reception information to the server 110 at regular time intervals.

画像処理ユニット３３０は、端末２１０の撮像手段２０８によって取得した撮像画像のデータを識別ＩＤとともにサーバ１１０に送信する。また、この撮像画像のデータは、以下で説明するＡＲマーカ処理ユニット３４０、走行可能領域抽出手段３７０及び仮想線生成手段３８０と共有する。 The image processing unit 330 transmits the data of the captured image acquired by the imaging means 208 of the terminal 210 to the server 110 together with the identification ID. Further, the data of the captured image is shared with the AR marker processing unit 340, the travelable area extraction means 370, and the virtual line generation means 380 described below.

ＡＲマーカ処理ユニット３４０は、端末２１０の撮像手段２０８による撮像画像からこれに映り込んだＡＲマーカ１０７（図１参照）を抽出する。ＡＲマーカ処理ユニット３４０は、抽出したＡＲマーカ１０７の撮像画像のデータを識別ＩＤとともにサーバ１１０に送信する。 The AR marker processing unit 340 extracts the AR marker 107 (see FIG. 1) reflected in the image captured by the imaging means 208 of the terminal 210. The AR marker processing unit 340 transmits the data of the captured image of the extracted AR marker 107 to the server 110 together with the identification ID.

地磁気処理ユニット３５０は、端末２１０の地磁気検出手段２１６で検出された地磁気情報（磁気方位、磁束密度など）を入力し、この検出された地磁気情報を識別ＩＤとともにサーバ１１０に送信する。ちなみに、本実施形態での地磁気検出手段２１６は、前記のタブレットなどの端末２１０にオプションで搭載するものを想定している。このような地磁気検出手段２１６は、端末２１０のＯＳ（オペレーティングシステム）が公開しているＡＰＩ(Application Programming Interface)を活用する磁気方位センサを構築することで容易に実現することができる。 The geomagnetic processing unit 350 inputs the geomagnetic information (magnetic direction, magnetic flux density, etc.) detected by the geomagnetic detection means 216 of the terminal 210, and transmits the detected geomagnetic information to the server 110 together with the identification ID. Incidentally, the geomagnetic detection means 216 in the present embodiment is assumed to be optionally mounted on the terminal 210 such as the tablet. Such a geomagnetic detection means 216 can be easily realized by constructing a magnetic compass sensor that utilizes an API (Application Programming Interface) published by the OS (operating system) of the terminal 210.

オドメトリ情報処理ユニット３６０は、移動体１０２のアクチュエータ２０４に連動する各駆動輪１０３ａ，１０３ａ（図２参照）に配置された前記の回転角センサ（図示省略）からの回転信号パルスを検出する。オドメトリ情報処理ユニット３６０は、回転信号パルスの発生数に基づいて換算される駆動輪１０３ａ，１０３ａの個別の走行距離を、オドメトリ情報としてサーバ１１０へ送信する。 The odometry information processing unit 360 detects rotation signal pulses from the rotation angle sensors (not shown) arranged on the drive wheels 103a and 103a (see FIG. 2) interlocked with the actuator 204 of the moving body 102. The odometry information processing unit 360 transmits the individual mileages of the drive wheels 103a and 103a, which are converted based on the number of rotation signal pulses generated, to the server 110 as odometry information.

走行可能領域抽出手段３７０は、端末２１０の撮像手段２０８による撮像画像から移動体１０２の走行が可能な領域を抽出する。
具体的には、走行可能領域抽出手段３７０は、撮像画像に基づく画像判定によって、床面と壁面との境界線を算出し、この境界線よりも床面側を走行可能領域として設定する。この際、撮像画像内に移動体１０２の走行を妨げる障害物が映り込んでいる場合には、画像判定によって、障害物を避けるように走行可能領域が設定される。 The travelable area extraction means 370 extracts a travelable area of the moving body 102 from the image captured by the image pickup means 208 of the terminal 210.
Specifically, the travelable area extraction means 370 calculates a boundary line between the floor surface and the wall surface by image determination based on the captured image, and sets the floor surface side of the boundary line as the travelable area. At this time, if an obstacle that hinders the traveling of the moving body 102 is reflected in the captured image, the travelable area is set so as to avoid the obstacle by the image determination.

仮想線生成手段３８０は、前記の走行可能領域内で、仮想線１４（図６（ｃ）参照）を生成する。この仮想線１４は、サーバ１１０から送信される後記の走行指令と、端末２１０の撮像手段２０８から送信される撮像画像とに基づいて生成される。仮想線生成手段３８０は、後記するように、例えばベジェ曲線法によって生成される。 The virtual line generating means 380 generates the virtual line 14 (see FIG. 6C) within the travelable area. The virtual line 14 is generated based on the following travel command transmitted from the server 110 and the captured image transmitted from the imaging means 208 of the terminal 210. The virtual line generating means 380 is generated by, for example, the Bezier curve method, as described later.

走行制御手段３９０は、仮想線１４（図６（ｃ）参照）に沿って移動体１０２が走行するように、各駆動輪１０３ａ，１０３ａ（図２参照）を独立に駆動するアクチュエータ２０４を制御する。 The travel control means 390 controls the actuator 204 that independently drives the drive wheels 103a and 103a (see FIG. 2) so that the moving body 102 travels along the virtual line 14 (see FIG. 6C). ..

以上のような移動体制御装置１０８は、ＣＰＵ（Central Processing Unit）等のプロセッサ、プログラムが書き込まれたＲＯＭ（Read Only Memory）、データの一時記憶のためのＲＡＭ（Random Access Memory）などで構成することができる。 The mobile control device 108 as described above is composed of a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory) in which a program is written, a RAM (Random Access Memory) for temporarily storing data, and the like. be able to.

≪サーバ≫
図３に示すように、サーバ１１０は、通信器４００と、処理装置４０２と、記憶装置４０４と、を備えている。本実施形態でのサーバ１１０としては、例えば、無線ネットワークを介して移動体制御装置１０８と接続されるクラウドサーバ、移動体１０２の走行路１０４を備える施設内のサーバなどが挙げられる。 ≪Server≫
As shown in FIG. 3, the server 110 includes a communication device 400, a processing device 402, and a storage device 404. Examples of the server 110 in the present embodiment include a cloud server connected to the mobile control device 108 via a wireless network, a server in a facility provided with a travel path 104 of the mobile 102, and the like.

通信器４００は、サーバ１１０と、移動体制御装置１０８との間の通信を行う。
記憶装置４０４は、例えば、ハードディスク装置、ＤＶＤ、ＣＤＲＯＭなどのコンピュータ読み取り可能な読み取り装置で構成されている。
この記憶装置４０４は、地図情報データベース４５０と、ＡＲマーカ情報データベース４５１と、ビーコン情報データベース４５２と、地磁気マップ情報データベース４５３と、で主に構成されている。 The communication device 400 communicates between the server 110 and the mobile control device 108.
The storage device 404 is composed of, for example, a computer-readable reading device such as a hard disk device, a DVD, or a CDROM.
The storage device 404 is mainly composed of a map information database 450, an AR marker information database 451 and a beacon information database 452, and a geomagnetic map information database 453.

地図情報データベース４５０には、移動体１０２（図１参照）の走行路１０４（図１参照）のルート、形状、及び走行路１０４の周辺の様子を示す地図が記憶されている。 The map information database 450 stores a map showing the route, shape, and the surroundings of the traveling path 104 (see FIG. 1) of the moving body 102 (see FIG. 1).

ＡＲマーカ情報データベース４５１には、各ＡＲマーカ１０７（図１参照）の埋め込み情報と、設置位置座標（例えば緯度・軽度）とが記憶されている。 The AR marker information database 451 stores embedded information of each AR marker 107 (see FIG. 1) and installation position coordinates (for example, latitude / mild).

ビーコン情報データベース４５２には、各ビーコン送信機１０６（図１参照）の送信周波数と、設置位置座標（例えば緯度・経度）とが記憶されている。また、ビーコン情報データベース４５２には、地図情報データベース４５０に記憶される地図に対応させて、各地図を、例えば１００×１００の桝目に区画したそれらの桝目ごとの各ビーコン送信機１０６（図１参照）のビーコン情報（ビーコン電波の受信強度及び周波数）が記憶されている。ちなみに、各地図のビーコン情報は、予め桝目ごとに測定されたものである。これらの桝目ごとのビーコン情報は相互に異なっており、ビーコン情報が特定されることでこれを測定した地図上の位置が明らかになる。なお、地図の区画は、前記の１００×１００に限定されるものではなく、地図の大きさに応じて適宜に設定することができる。 The beacon information database 452 stores the transmission frequency of each beacon transmitter 106 (see FIG. 1) and the installation position coordinates (for example, latitude / longitude). Further, in the beacon information database 452, each beacon is divided into, for example, 100 × 100 squares in correspondence with the map stored in the map information database 450, and each beacon transmitter 106 for each of those squares (see FIG. 1). ) Beacon information (reception strength and frequency of beacon radio waves) is stored. By the way, the beacon information of each map is measured in advance for each square. Beacon information for each of these squares is different from each other, and when the beacon information is specified, the position on the map where this is measured becomes clear. The map section is not limited to the above 100 × 100, and can be appropriately set according to the size of the map.

地磁気マップ情報データベース４５３には、地図情報データベース４５０に記憶される地図に対応させて、各地図を、例えば１００×１００の桝目に区画したそれらの桝目ごとの地磁気が記憶されている。ちなみに、各地図の地磁気は、予め桝目ごとに測定されたものである。これらの桝目ごとの地磁気は相互に異なっており、地磁気が特定されることでこれを測定した地図上の位置が明らかになる。なお、地図の区画は、前記の１００×１００に限定されるものではなく、地図の大きさに応じて適宜に設定することができる。 The geomagnetic map information database 453 stores the geomagnetism of each of the squares of each map, for example, divided into 100 × 100 squares, in correspondence with the maps stored in the map information database 450. By the way, the geomagnetism of each map is measured in advance for each square. The geomagnetism of each of these squares is different from each other, and by identifying the geomagnetism, the position on the map where this is measured becomes clear. The map section is not limited to the above 100 × 100, and can be appropriately set according to the size of the map.

本実施形態での処理装置４０２は、移動体制御装置１０８が送信した各種情報データを、通信器４００を介して入力する。また、処理装置４０２は、入力した各種情報データに基づいて記憶装置４０４を参照し、移動体１０２が現在位置から目的地まで移動する経路を決定する。そして、処理装置４０２は、決定した経路を、通信器４００を介して移動体制御装置１０８に送信する。 The processing device 402 in the present embodiment inputs various information data transmitted by the mobile control device 108 via the communication device 400. Further, the processing device 402 refers to the storage device 404 based on various input information data, and determines a route for the moving body 102 to move from the current position to the destination. Then, the processing device 402 transmits the determined route to the mobile control device 108 via the communication device 400.

処理装置４０２は、具体的には、現在位置特定ユニット４１０と、目的地特定ユニット４１２と、経路決定ユニット４１４と、を備えている。 Specifically, the processing device 402 includes a current position specifying unit 410, a destination specifying unit 412, and a routing unit 414.

現在位置特定ユニット４１０は、移動体制御装置１０８からの各種情報データに基づいて記憶装置４０４を参照し、移動体１０２が現在位置を算出する。
具体的には、移動体制御装置１０８からの情報データが、移動体１０２が現在位置で撮像したＡＲマーカ１０７の撮像画像のデータである場合には、現在位置特定ユニット４１０は、記憶装置４０４のＡＲマーカ情報データベース４５１を参照する。これにより現在位置特定ユニット４１０は、移動体１０２の現在位置である撮像画像のＡＲマーカ１０７（図１参照）の座標を特定する。 The current position specifying unit 410 refers to the storage device 404 based on various information data from the mobile control device 108, and the mobile 102 calculates the current position.
Specifically, when the information data from the moving body control device 108 is the data of the captured image of the AR marker 107 captured by the moving body 102 at the current position, the current position specifying unit 410 is the storage device 404. Refer to the AR marker information database 451. As a result, the current position specifying unit 410 specifies the coordinates of the AR marker 107 (see FIG. 1) of the captured image, which is the current position of the moving body 102.

また、移動体制御装置１０８からの情報データが、ビーコン情報（ビーコン電波の受信強度及び周波数）である場合には、現在位置特定ユニット４１０は、記憶装置４０４のビーコン情報データベース４５２を参照する。これにより現在位置特定ユニット４１０は、ビーコン情報に対応する地図上の移動体１０２の現在位置を特定する。 Further, when the information data from the mobile control device 108 is beacon information (reception intensity and frequency of beacon radio waves), the current position specifying unit 410 refers to the beacon information database 452 of the storage device 404. As a result, the current position specifying unit 410 identifies the current position of the moving body 102 on the map corresponding to the beacon information.

また、移動体制御装置１０８からの情報データが、地磁気情報である場合には、現在位置特定ユニット４１０は、記憶装置４０４の地磁気マップ情報データベース４５３を参照する。これにより現在位置特定ユニット４１０は、地磁気情報に対応する地磁気マップ上の移動体１０２の現在位置を特定する。 When the information data from the mobile control device 108 is geomagnetic information, the current position specifying unit 410 refers to the geomagnetic map information database 453 of the storage device 404. As a result, the current position specifying unit 410 identifies the current position of the moving body 102 on the geomagnetic map corresponding to the geomagnetic information.

目的地特定ユニット４１２は、移動体制御装置１０８からの前記の目的地情報に基づいて地図情報データベース４５０を参照し、移動体１０２の目的地を特定する。 The destination identification unit 412 refers to the map information database 450 based on the destination information from the mobile control device 108, and identifies the destination of the mobile 102.

経路決定ユニット４１４は、現在位置特定ユニット４１０と目的地特定ユニット４１２とが特定した現在位置と目的地とに基づいて、記憶装置４０４の地図情報データベース４５０を参照し、現在位置から目的地に至る経路を決定する。この経路決定は、一般に公開されている地図の経路検索に使用される公知のアルゴリズムを使用することができる。
そして、経路決定ユニット４１４で決定された経路は、通信器４００を介して移動体制御装置１０８に送信される。 The routing unit 414 refers to the map information database 450 of the storage device 404 based on the current position and the destination specified by the current position specifying unit 410 and the destination specifying unit 412, and reaches the destination from the current position. Determine the route. This route determination can use a known algorithm used for route search of publicly available maps.
Then, the route determined by the route determination unit 414 is transmitted to the mobile control device 108 via the communication device 400.

以上のような処理装置４０２は、ＣＰＵ（Central Processing Unit）等のプロセッサ、プログラムが書き込まれたＲＯＭ（Read Only Memory）、データの一時記憶のためのＲＡＭ（RandomAccess Memory）などで構成することができる。 The processing device 402 as described above can be composed of a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory) in which a program is written, a RAM (RandomAccess Memory) for temporarily storing data, and the like. ..

＜移動体制御システムの動作＞
次に、移動体制御システム１００の制御工程を示しながら動作について説明する。
図４は、本実施形態に係る移動体制御システム１００が適用される領域を例示する地図である。図５は、本実施形態に係る移動体制御システム１００による移動体１０２（図１参照）の走行制御処理の手順を示すフロー図である。 <Operation of mobile control system>
Next, the operation will be described while showing the control process of the mobile control system 100.
FIG. 4 is a map illustrating an area to which the mobile control system 100 according to the present embodiment is applied. FIG. 5 is a flow chart showing a procedure of traveling control processing of the moving body 102 (see FIG. 1) by the moving body control system 100 according to the present embodiment.

図４に示すように、移動体制御システム１００が適用される一例としての領域は、１Ｆ（一階）の領域αと、２Ｆ（２階）の領域βとで構成されている。
図４中の「現在位置Ａ」は、移動体１０２の出発地を意味している。そして、この図４に示す例では、１Ｆ（一階）の現在位置Ａからエレベータを介して２Ｆ（２階）の目的地Ｂに向かう経路Ｒ１からＲ７を移動体制御システム１００が設定する場合を想定している。このような経路Ｒ１からＲ７は、図４中のビーコン、ＡＲマーカ、及び／又は図４中、図示しない地磁気に基づいて以下に説明するように移動体制御システム１００が決定する。 As shown in FIG. 4, the region to which the mobile control system 100 is applied is composed of a region α on the 1st floor (first floor) and a region β on the 2nd floor (second floor).
The “current position A” in FIG. 4 means the starting point of the moving body 102. Then, in the example shown in FIG. 4, the case where the mobile control system 100 sets the routes R1 to R7 from the current position A on the 1st floor (first floor) to the destination B on the 2nd floor (second floor) via the elevator. I'm assuming. Such paths R1 to R7 are determined by the mobile control system 100 as described below based on the beacon, AR marker in FIG. 4, and / or the geomagnetism (not shown) in FIG.

図５に示すように、移動体制御システム１００の制御工程は、サーバ１１０によるステップＳ５０１からステップＳ５０３の経路決定工程と、移動体制御装置１０８によるステップＳ５０５及びステップＳ５０６の仮想線生成工程と、移動体制御装置１０８によるステップＳ５０７の移動体１０２の走行制御工程と、を有している。 As shown in FIG. 5, the control steps of the mobile control system 100 include a route determination step from step S501 to step S503 by the server 110, a virtual line generation step of steps S505 and S506 by the mobile control device 108, and movement. It has a traveling control step of the moving body 102 in step S507 by the body control device 108.

経路決定工程においては、サーバ１１０は、前記のように、移動体１０２の現在位置を特定する（ステップＳ５０１）。なお、前記した図４中の「現在位置Ａ」は、移動体１０２の出発地を意味しているが、ステップＳ５０１における現在位置は、出発地（出発地点）と相違することもある。つまり、移動体１０２が現実の出発地から所定の経路を進んだ後の現在位置は、前記の出発地（出発地点）を意味しない。 In the route determination step, the server 110 specifies the current position of the moving body 102 as described above (step S501). The "current position A" in FIG. 4 described above means the starting point of the moving body 102, but the current position in step S501 may be different from the starting point (starting point). That is, the current position after the moving body 102 has taken a predetermined route from the actual starting point does not mean the starting point (starting point).

この経路決定工程では、端末２１０、移動体制御装置１０８、及びサーバ１１０が起動した状態で移動体１０２が「現在位置」に位置すると、端末２１０の撮像手段２０８は移動体１０２の直近に位置するＡＲマーカ１０７が映り込んだ撮像画像を撮像する。また、端末２１０の地磁気検出手段２１６は、出発地における地磁気を検出する。移動体制御装置１０８は、ビーコン送信機１０６からのビーコン情報（ビーコン電波の受信強度及び周波数）をサーバ１１０に送信する。 In this route determination step, when the moving body 102 is located at the “current position” with the terminal 210, the moving body control device 108, and the server 110 activated, the image pickup means 208 of the terminal 210 is located in the immediate vicinity of the moving body 102. The captured image in which the AR marker 107 is reflected is captured. Further, the geomagnetic detection means 216 of the terminal 210 detects the geomagnetism at the starting point. The mobile control device 108 transmits beacon information (reception intensity and frequency of beacon radio waves) from the beacon transmitter 106 to the server 110.

また、移動体制御装置１０８は、端末２１０からのＡＲマーカ情報と地磁気情報とをサーバ１１０に送信する。サーバ１１０は、前記のように、記憶装置４０４の地図情報データベース４５０、ＡＲマーカ情報データベース４５１、ビーコン情報データベース４５２及び地磁気マップ情報データベース４５３のうちの少なくとも一つを参照する。これによりサーバ１１０は、ＡＲマーカ情報、ビーコン情報及び地磁気情報のうちの少なくとも一つに基づいて、移動体１０２の「現在位置」を特定する。
なお、本実施形態での「ＡＲマーカ情報」及び「ビーコン情報」に供されるＡＲマーカ及びビーコンのそれぞれは、特許請求の範囲にいう「位置伝達標識」を構成する。 Further, the mobile control device 108 transmits the AR marker information and the geomagnetic information from the terminal 210 to the server 110. As described above, the server 110 refers to at least one of the map information database 450, the AR marker information database 451 and the beacon information database 452 and the geomagnetic map information database 453 of the storage device 404. As a result, the server 110 identifies the "current position" of the mobile body 102 based on at least one of the AR marker information, the beacon information, and the geomagnetic information.
Each of the AR marker and the beacon provided in the "AR marker information" and the "beacon information" in the present embodiment constitutes a "position transmission sign" as defined in the claims.

次に、移動体制御システム１００は、サーバ１１０によって、移動体１０２から目的地情報を受信する（ステップＳ５０２参照）。
ちなみに、移動体１０２からの目的地情報は、移動体１０２のユーザが端末２１０の入力手段２１２を介して入力されるものを想定している。このような移動体１０２からの目的地情報は、前記したように、移動体制御装置１０８の入力情報処理ユニット３１０を介してサーバ１１０に送信される。 Next, the mobile control system 100 receives the destination information from the mobile 102 by the server 110 (see step S502).
By the way, it is assumed that the destination information from the mobile body 102 is input by the user of the mobile body 102 via the input means 212 of the terminal 210. As described above, the destination information from the mobile body 102 is transmitted to the server 110 via the input information processing unit 310 of the mobile body control device 108.

移動体制御システム１００は、サーバ１１０が、前記のように、現在位置から目的地までの走行経路を決定する（ステップＳ５０３）。
そして、サーバ１１０は、移動体１０２に対する目的地への走行指令を移動体制御装置１０８に出力する（ステップＳ５０４参照）。 In the mobile control system 100, the server 110 determines the traveling route from the current position to the destination as described above (step S503).
Then, the server 110 outputs a travel command to the destination to the mobile body 102 to the mobile body control device 108 (see step S504).

目的地への走行指令を入力した移動体制御装置１０８は、これを切っ掛けに、端末２１０の撮像手段２０８による撮像画像に基づいて、移動体１０２の走行可能領域を抽出する（ステップＳ５０５参照）。この走行可能領域は、前記のように、移動体制御装置１０８の走行可能領域抽出手段３７０によって抽出される。
本実施形態の移動体制御システム１００においては、移動体制御装置１０８によって抽出された走行可能領域は、端末２１０に出力されて表示手段２１４に表示される。 The mobile body control device 108 that has input the travel command to the destination extracts the travelable area of the mobile body 102 based on the image captured by the image pickup means 208 of the terminal 210 (see step S505). As described above, the travelable area is extracted by the travelable area extraction means 370 of the mobile control device 108.
In the mobile control system 100 of the present embodiment, the travelable area extracted by the mobile control device 108 is output to the terminal 210 and displayed on the display means 214.

図６（ａ）から（ｃ）は、移動体１０２の撮像手段２０８によって撮像された経路の撮像画像１０である。
図６（ａ）に示すように、端末２１０の表示手段２１４には、撮像手段２０８による実際の撮像画像１０に重ねて、走行可能領域１１が表示される。図６（ａ）中、符号１７は、障害物である。
また、本実施形態の移動体制御システム１００においては、抽出された走行可能領域１１の中央部を経路に沿って延びるようにＡＲ（Augmented Reality：拡張現実）線Ｌが設定される。このＡＲ線Ｌは、図６（ａ）中、点線矢印で示している。
表示手段２１４に走行可能領域１１が表示される切っ掛けとしては、ユーザによる入力手段２１２への表示要求の入力が挙げられる。 6 (a) to 6 (c) are captured images 10 of the path captured by the imaging means 208 of the moving body 102.
As shown in FIG. 6A, the display means 214 of the terminal 210 displays the travelable area 11 on the actual image 10 captured by the image pickup means 208. In FIG. 6A, reference numeral 17 is an obstacle.
Further, in the mobile control system 100 of the present embodiment, the AR (Augmented Reality) line L is set so as to extend along the route in the central portion of the extracted travelable area 11. The AR line L is indicated by a dotted arrow in FIG. 6A.
As a trigger for displaying the travelable area 11 on the display means 214, the user may input a display request to the input means 212.

また、走行可能領域１１は、予めＡＲマーカ１０７に盛り込まれた情報であってもよい。このような走行可能領域１１は、ＡＲマーカ１０７が撮像画像１０に映り込んだ際に、撮像画像１０に重ねて走行可能領域１１が表示される。 Further, the travelable area 11 may be information previously included in the AR marker 107. In such a travelable area 11, when the AR marker 107 is reflected in the captured image 10, the travelable area 11 is displayed so as to overlap the captured image 10.

また、ＡＲマーカ１０７によって、走行可能領域１１が表示手段２１４に表示された場合には、所定時間経過後に（例えば数秒後に）、図６（ｂ）に示す選択画面１２に切り換わる。この選択画面１２には、複数のタッチパネルスイッチ１３が設定されている。そしてこれらのタッチパネルスイッチ１３を介して、走行可能領域１１のオンオフの切り替えや、選択画面１２から通常画面への切り替えができるようになっている。なお、図６（ｂ）中、符号Ｌは、ＡＲ線Ｌである。 Further, when the travelable area 11 is displayed on the display means 214 by the AR marker 107, the screen is switched to the selection screen 12 shown in FIG. 6B after a predetermined time has elapsed (for example, after a few seconds). A plurality of touch panel switches 13 are set on the selection screen 12. Then, via these touch panel switches 13, it is possible to switch the travelable area 11 on and off, and to switch from the selection screen 12 to the normal screen. In FIG. 6B, reference numeral L is AR line L.

再び図５に戻って、移動体制御システム１００は、移動体制御装置１０８によって、走行可能領域１１（図６（ａ）参照）内に、前記のＡＲ線Ｌを設定する（ステップＳ５０６参照）。このＡＲ線Ｌは、移動体制御装置１０８の走行可能領域抽出手段３７０が、走行可能領域１１の中央部に設定する。
次いで、移動体制御装置１０８の仮想線生成手段３８０は、ＡＲ線Ｌを滑らか加工することによって仮想線１４を形成する（ステップＳ５０７参照）。
ここでの「滑らか加工」としては、ＡＲ線Ｌの角部に丸みをつける加工法であれば、特に制限はなく、例えば、スプライン曲線法、ベジェ曲線法などを挙げることができる。中でもベジェ曲線法が好ましい。
図６（ｃ）では、ベジェ曲線法によって形成した滑らかな仮想線１４を例示した。 Returning to FIG. 5 again, the mobile body control system 100 sets the AR line L in the travelable area 11 (see FIG. 6A) by the mobile body control device 108 (see step S506). The AR line L is set in the central portion of the travelable area 11 by the travelable area extraction means 370 of the mobile body control device 108.
Next, the virtual line generating means 380 of the mobile control device 108 forms the virtual line 14 by smoothing the AR line L (see step S507).
The "smooth processing" here is not particularly limited as long as it is a processing method for rounding the corners of the AR line L, and examples thereof include a spline curve method and a Bezier curve method. Of these, the Bezier curve method is preferable.
In FIG. 6C, a smooth virtual line 14 formed by the Bezier curve method is illustrated.

サーバ１１０が設定した図４に示す経路Ｒ１からＲ７（以下、目的経路Ｒという）は、目的地に向かう分岐路１５においては、角部を形成する。
これに対して、仮想線生成手段３８０は、図６（ｃ）に示す撮像画像１０に基づいて分岐路１５を画像判定した際に、これまで目的経路Ｒに基づいて走行した走行軌跡の最後の通過点１６をベジェ曲線法の制御点Ｂ０に設定する。また、仮想線生成手段３８０は、例えば分岐路１５の侵入口に向かう目的経路Ｒのうち、角部から離れた任意の点をベジェ曲線法の制御点Ｂ２に設定する。そして、仮想線生成手段３８０は、制御点Ｂ０と制御点Ｂ２との間で延びる目的経路Ｒ上の任意の点をベジェ曲線法の制御点Ｂ１に設定する。 The routes R1 to R7 (hereinafter referred to as the destination route R) set by the server 110 shown in FIG. 4 form corners in the branch road 15 toward the destination.
On the other hand, when the virtual line generating means 380 determines the image of the branch road 15 based on the captured image 10 shown in FIG. 6 (c), the virtual line generating means 380 is the last of the traveling loci that have traveled based on the target route R so far. the passing point 16 is set to the control points B 0 of the Bezier curve method. The virtual line generation means 380, for example among the objective path R toward the penetration opening of the branch path 15 is set to any point away from the corner to the control point B 2 of the Bezier curve method. Then, the virtual line generating means 380 sets an arbitrary point on the target path R extending between the control point B 0 and the control point B 2 as the control point B 1 of the Bezier curve method.

本実施形態での仮想線生成手段３８０は、制御点Ｂ０からＢ２に基づく２次のベジェ曲線を仮想線１４とする。このベジェ曲線は、３次以上とすることもできる。
ちなみに、制御点をＢ０、Ｂ１、・・・ＢＮ−１とするＮ次のベジェ曲線は、次式で表現される。 In the virtual line generating means 380 in the present embodiment, the quadratic Bezier curve based on the control points B 0 to B 2 is set as the virtual line 14. This Bezier curve can also be of degree 3 or higher.
Incidentally, the N-th order Bezier curve having the control points B0, B1, ... BN -1 , is expressed by the following equation.

Figure 0006774445
Figure 0006774445

また、ここで、Ｊｎｉ（ｔ）はブレンディング関数であり、次式で示される。 Further, here, J ni (t) is a blending function and is expressed by the following equation.

Figure 0006774445
Figure 0006774445

また、巨視的には直線とみなせる目的経路Ｒにおいても、微視的には折れ線状に形成される。本実施形態での仮想線生成手段３８０は、微視的に折れ線状に形成される目的経路Ｒにおいてもベジェ曲線法にて滑らかな仮想線１４を形成することができる。 Further, even in the target path R which can be regarded as a straight line macroscopically, it is formed in a polygonal line shape microscopically. The virtual line generating means 380 in the present embodiment can form a smooth virtual line 14 by the Bezier curve method even in the target path R microscopically formed in a polygonal line shape.

再び図５に戻って、移動体制御システム１００は、移動体制御装置１０８によって、仮想線１４に沿うように移動体１０２の走行を制御する（ステップＳ５０８参照）。
そして、移動体制御システム１００は、サーバ１１０によって、移動体１０２の現在位置を特定する（ステップＳ５０９参照）。この移動体１０２の現在位置の特定は、ステップＳ５０１と同様の工程で行うことができる。 Returning to FIG. 5 again, the mobile body control system 100 controls the traveling of the mobile body 102 along the virtual line 14 by the mobile body control device 108 (see step S508).
Then, the mobile body control system 100 specifies the current position of the mobile body 102 by the server 110 (see step S509). The current position of the moving body 102 can be specified in the same step as in step S501.

次いで、サーバ１１０は、特定した現在位置が目的地を含むエリアか否かを判断する（ステップＳ５１０参照）。そして、現在位置が目的地を含むエリアでない場合には（ステップＳ５０９のＮｏ）、ステップＳ５０４に戻ってサーバ１１０による目的地への走行指令が続行される。 Next, the server 110 determines whether or not the specified current position is an area including the destination (see step S510). Then, if the current position is not in the area including the destination (No in step S509), the process returns to step S504 and the travel command to the destination by the server 110 is continued.

これに対して、現在位置が目的地を含むエリアである場合には（ステップＳ５１０のＹｅｓ）、サーバ１１０は、移動体１０２への停止指令を移動体制御装置１０８に送信する（ステップＳ５１１）。そして、移動体制御装置１０８は、移動体１０２から走行制御終了要求信号を受信するのを待って（ステップＳ５１２のＹｅｓ）、移動体１０２の走行制御処理を終了する。 On the other hand, when the current position is the area including the destination (Yes in step S510), the server 110 transmits a stop command to the mobile body 102 to the mobile body control device 108 (step S511). Then, the mobile body control device 108 waits for receiving the travel control end request signal from the mobile body 102 (Yes in step S512), and ends the travel control process of the mobile body 102.

＜作用効果＞
次に、本実施形態の奏する作用効果について説明する。 <Effect>
Next, the effects of the present embodiment will be described.

本実施形態によれば、滑らかな仮想線１４に沿って移動体１０２の走行が制御されるので、移動体１０２が運転中にふらついたり、運転行動が急変化することが避けられる。これにより移動体制御システム１００は、従来の走行システムと異なって点字ブロックなどを要することなく、移動体１０２のユーザに対する快適性を確保することができる。そして、このふらつきが抑制されることで、屋内などのように狭い環境であっても移動体１０２が周囲に存在する物品とぶつかることもない。 According to the present embodiment, since the traveling of the moving body 102 is controlled along the smooth virtual line 14, it is possible to prevent the moving body 102 from swaying during driving or suddenly changing the driving behavior. As a result, the mobile body control system 100 can ensure the comfort of the mobile body 102 for the user without requiring a Braille block or the like unlike the conventional traveling system. By suppressing this wobbling, the moving body 102 does not collide with the surrounding articles even in a narrow environment such as indoors.

また、本実施形態によれば、走行可能領域１１に仮想線１４が設定されるので、移動体の走行が途中で妨げられることがない。これにより、移動体１０２は、よりスムーズに出発地か目的地に移動することができ、移動体１０２の快適性がさらに向上する。 Further, according to the present embodiment, since the virtual line 14 is set in the travelable area 11, the traveling of the moving body is not hindered in the middle. As a result, the moving body 102 can move to the starting point or the destination more smoothly, and the comfort of the moving body 102 is further improved.

また、本実施形態によれば、端末２１０の表示手段２１４によって、仮想線１４を視覚的に確認することができる。つまり、移動体１０２のユーザは、事前に移動経路を確認することができる。これにより移動体制御システム１００に対する信頼性が向上する。 Further, according to the present embodiment, the virtual line 14 can be visually confirmed by the display means 214 of the terminal 210. That is, the user of the moving body 102 can confirm the moving route in advance. This improves the reliability of the mobile control system 100.

また、また、本実施形態によれば、ビーコンによって走行中の移動体１０２の位置を正確に把握することができる。これにより移動体１０２は、より正確に目的経路をふらつきなく正確に走行することができる。 Further, according to the present embodiment, the position of the moving body 102 in motion can be accurately grasped by the beacon. As a result, the moving body 102 can travel more accurately on the target route without wobbling.

また、本実施形態によれば、例えばベジェ曲線法などによって仮想線１４を生成するので、より滑らかな走行経路形成することができる。これにより移動体１０２の快適性がさらに一段と向上する。 Further, according to the present embodiment, since the virtual line 14 is generated by, for example, the Bezier curve method, a smoother traveling path can be formed. As a result, the comfort of the moving body 102 is further improved.

また、本実施形態によれば、測定した地磁気と地磁気マップとを照らし合わせることで移動体１０２の位置を特定することができる。つまり、場所に固有の地磁気を応用することで、移動体制御システム１００は、移動体１０２の位置をより正確に特定することができる。 Further, according to the present embodiment, the position of the moving body 102 can be specified by comparing the measured geomagnetism with the geomagnetic map. That is, by applying the geomagnetism peculiar to the place, the moving body control system 100 can more accurately specify the position of the moving body 102.

また、本実施形態によれば、地磁気検出手段２１６が端末２１０に組み込まれているので、別途に地磁気検出手段２１６を備えるものと比較して、移動体制御システム１００及び移動体１０２の構成を簡素化することができる。 Further, according to the present embodiment, since the geomagnetic detection means 216 is incorporated in the terminal 210, the configurations of the mobile control system 100 and the mobile 102 are simplified as compared with those provided with the geomagnetic detection means 216 separately. Can be transformed into.

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、種々の形態で実施することができる。
前記実施形態では、所定の施設内で電動車椅子の走行を制御する移動体制御システム１００について説明したが、本発明は工場内での電動運搬車を制御する移動体制御システムに適用することもできる。また、本発明は、自動車の走行を屋外エリアで制御する移動体制御システムに適用することもできる。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments and can be implemented in various forms.
In the above embodiment, the moving body control system 100 that controls the running of the electric wheelchair in a predetermined facility has been described, but the present invention can also be applied to a moving body control system that controls an electric carrier in a factory. .. The present invention can also be applied to a mobile body control system that controls the traveling of an automobile in an outdoor area.

また、前記実施形態では、サーバ１１０が、ビーコン情報、ＡＲマーカ情報、及び／又地磁気情報に基づいて目的経路Ｒを設定するものについて説明したが、本発明における目的経路Ｒの設定はこれに限定されない。
したがって、本発明における他の目的経路Ｒとしては、例えば、撮像画像中に画像判定で検出される、路上の白線などに沿う基準線を目的経路Ｒとするものが挙げられる。この場合、目的経路Ｒがベジェ曲線法による仮想線の生成のための対象となる。 Further, in the above embodiment, the server 110 sets the target path R based on the beacon information, the AR marker information, and / or the geomagnetic information, but the setting of the target path R in the present invention is limited to this. Not done.
Therefore, as another target path R in the present invention, for example, a reference line along a white line on the road detected by image determination in a captured image may be set as the target path R. In this case, the target path R is a target for generating a virtual line by the Bezier curve method.

また、前記実施形態では、移動体１０２とサーバ１１０とが分離した構成となっているが、サーバ１１０は移動体１０２に搭載することもできる。 Further, in the above-described embodiment, the mobile body 102 and the server 110 are separated from each other, but the server 110 can also be mounted on the mobile body 102.

１０ 撮像画像
１１ 走行可能領域
１３ タッチパネルスイッチ
１４ 仮想線
１００ 移動体制御システム
１０２ 移動体
１０６ ビーコン送信機
１０７ ＡＲマーカ
１０８ 移動体制御装置
１１０ サーバ
２０８ 撮像手段
２１０ 端末（移動端末）
２１２ 入力手段
２１４ 表示手段
２１６ 地磁気検出手段
３７０ 走行可能領域抽出手段
３８０ 仮想線生成手段
３９０ 走行制御手段
Ｌ ＡＲ線
Ｒ 経路 10 Captured image 11 Travelable area 13 Touch panel switch 14 Virtual line 100 Mobile control system 102 Mobile 106 Beacon transmitter 107 AR marker 108 Mobile control device 110 Server 208 Imaging means 210 Terminal (mobile terminal)
212 Input means 214 Display means 216 Geomagnetic detection means 370 Travelable area extraction means 380 Virtual line generation means 390 Travel control means L AR line R route

Claims (8)

移動体に搭載される撮像手段と、
前記撮像手段による撮像画像に基づいて前記移動体の走行可能領域を抽出する走行可能領域抽出手段と、
前記移動体の出発地から目的地までの経路にわたって当該経路に沿うように前記走行可能領域の中央で前記移動体を誘導するように設定されて折れ線状となる前記移動体の走行経路を、前記撮像画像に基づいて滑らかな仮想線に生成する仮想線生成手段と、
前記仮想線に沿って前記移動体が走行するように制御する走行制御手段と、
を有することを特徴とする移動体制御システム。 The imaging means mounted on the moving body and
A travelable area extraction means for extracting a travelable area of the moving body based on an image captured by the image pickup means ,
A travel route of the moving body to be set to the center in the moving body of the travelable area along the said path over a route to the destination to induction polygonal line from the start point of the moving body, a virtual line generation means for generating a smooth virtual line based on the previous SL IMAGING image,
A traveling control means for controlling the moving body to travel along the virtual line, and
A mobile control system characterized by having. 前記仮想線を表示する表示手段をさらに有することを特徴とする請求項１に記載の移動体制御システム。 The mobile control system according to claim 1, further comprising a display means for displaying the virtual line. 前記走行制御手段は、前記移動体の移動領域の複数箇所に配置された位置伝達標識から取得される情報に基づいて、前記移動体の走行を制御することを特徴とする請求項１又は請求項２に記載の移動体制御システム。 Claim 1 or claim , wherein the traveling control means controls the traveling of the moving body based on information acquired from position transmission signs arranged at a plurality of locations in the moving region of the moving body. 2. The mobile control system according to 2. 前記仮想線生成手段は、ベジェ曲線法によって滑らかな仮想線を生成することを特徴とする請求項１から請求項３のいずれか１項に記載の移動体制御システム。 The mobile control system according to any one of claims 1 to 3, wherein the virtual line generating means generates a smooth virtual line by a Bezier curve method. 前記移動体に搭載される地磁気測定手段をさらに有し、
前記走行制御手段は、
前記地磁気測定手段から出力される所定位置での地磁気と、
前記移動体の移動領域とこの移動領域における複数箇所の地磁気とを対応付けるように予め作成された地磁気マップと、
に基づいて、前記移動体の走行を制御することを特徴とする請求項１から請求項４のいずれか１項に記載の移動体制御システム。 Further having a geomagnetic measuring means mounted on the moving body,
The traveling control means
The geomagnetism at a predetermined position output from the geomagnetic measuring means and
A geomagnetic map created in advance so as to associate the moving region of the moving body with the geomagnetisms of a plurality of locations in the moving region, and
The mobile body control system according to any one of claims 1 to 4, wherein the traveling of the moving body is controlled based on the above. 前記仮想線を表示する表示手段をさらに有し、
前記地磁気測定手段は、前記表示手段とともに前記移動体に搭載される移動端末に配置されていることを特徴とする請求項５に記載の移動体制御システム。 Further having a display means for displaying the virtual line,
The mobile body control system according to claim 5, wherein the geomagnetic measuring means is arranged on a mobile terminal mounted on the mobile body together with the display means. 請求項１から請求項６のいずれか１項に記載の移動体制御システムを備えたことを特徴とする移動体。 A mobile body comprising the mobile body control system according to any one of claims 1 to 6. 撮像手段による撮像画像に基づいて移動体の走行可能領域を抽出する走行可能領域抽出工程と、
前記移動体の出発地から目的地までの経路にわたって当該経路に沿うように前記走行可能領域の中央で前記移動体を誘導するように設定されて折れ線状となる前記移動体の走行経路を、前記撮像画像に基づいて滑らかな仮想線に生成する仮想線生成工程と、
前記仮想線に沿って前記移動体が走行するように制御する走行制御工程と、
を有することを特徴とする移動体制御方法。 A travelable area extraction step for extracting a travelable area of a moving body based on an image captured by an imaging means ,
A travel route of the moving body to be set to the center in the moving body of the travelable area along the said path over a route to the destination to induction polygonal line from the start point of the moving body, a virtual line generation step of generating a smooth virtual line based on the previous SL IMAGING image,
A traveling control step of controlling the moving body to travel along the virtual line, and
A mobile body control method characterized by having.
JP2018017985A 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method Active JP6774445B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018017985A JP6774445B2 (en) 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method
CN201910100417.8A CN110119141B (en) 2018-02-05 2019-01-31 Mobile body control system, electric wheelchair as mobile body, and mobile body control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018017985A JP6774445B2 (en) 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method

Publications (2)

Publication Number Publication Date
JP2019135579A JP2019135579A (en) 2019-08-15
JP6774445B2 true JP6774445B2 (en) 2020-10-21

Family

ID=67520435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018017985A Active JP6774445B2 (en) 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method

Country Status (2)

Country Link
JP (1) JP6774445B2 (en)
CN (1) CN110119141B (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237799B2 (en) * 2019-10-29 2023-03-13 株式会社東芝 Travel control device and operation system
JP7376078B2 (en) * 2019-11-20 2023-11-08 国立大学法人 鹿児島大学 Free-range chicken house management system
JP7366373B2 (en) * 2020-10-02 2023-10-23 本田技研工業株式会社 Mobile object control device, mobile object, mobile object control method, and program
JP7447922B2 (en) * 2021-03-22 2024-03-12 株式会社リコー Display system, communication system, display control method and program
WO2023204025A1 (en) * 2022-04-20 2023-10-26 パナソニックＩｐマネジメント株式会社 Movement management system, movement management method, and program

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3362569B2 (en) * 1995-08-04 2003-01-07 三菱自動車工業株式会社 Vehicle guidance device
JPH1186182A (en) * 1997-09-01 1999-03-30 Honda Motor Co Ltd Automatic driving control system
JP3909300B2 (en) * 2003-04-18 2007-04-25 有限会社ミキシィ Automatic traveling wheelchair, wheelchair automatic traveling system, and wheelchair automatic traveling method
JP2007328486A (en) * 2006-06-07 2007-12-20 Yaskawa Electric Corp Moving robot
JP5093024B2 (en) * 2008-09-23 2012-12-05 株式会社豊田自動織機 Position display system for moving objects
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
JP5218479B2 (en) * 2010-06-10 2013-06-26 株式会社安川電機 Mobile system
CN101984382B (en) * 2010-10-15 2014-06-18 重庆市电力公司检修分公司 Method for intelligently inspection substation equipment by using robot
CN102085875B (en) * 2010-11-25 2012-05-30 中国民航大学 Intelligent baggage car and control method thereof
CN102183958B (en) * 2011-04-12 2014-04-23 中国民航大学 Autonomous guiding vehicle and control method thereof
CN102521566B (en) * 2011-11-25 2013-07-24 中国科学院光电技术研究所 Low-power-consumption real-time road automatic identifying device for ground independent equipment
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
WO2014091611A1 (en) * 2012-12-13 2014-06-19 株式会社日立製作所 Autonomous travelling apparatus
WO2014142057A1 (en) * 2013-03-11 2014-09-18 本田技研工業株式会社 Server device, congestion prediction information display system, congestion prediction information distribution method, congestion prediction information display method, and program
KR101455236B1 (en) * 2013-04-19 2014-11-07 주식회사 제이엠랩 Mobile apparatus for providing augmented reality and method thereof
WO2015178195A1 (en) * 2014-05-20 2015-11-26 本田技研工業株式会社 Driving characteristic evaluation method, program, and driving characteristic evaluation device
WO2015178119A1 (en) * 2014-05-23 2015-11-26 本田技研工業株式会社 Travel assist device and method of controlling travel assist device
CN104019813B (en) * 2014-06-19 2017-01-25 无锡知谷网络科技有限公司 Method and system of target immediate location and map establishing
KR20160019760A (en) * 2014-08-12 2016-02-22 엘지전자 주식회사 Mobile terminal and control method for the mobile terminal
US10896543B2 (en) * 2014-08-25 2021-01-19 X Development Llc Methods and systems for augmented reality to display virtual representations of robotic device actions
JP6269534B2 (en) * 2015-03-02 2018-01-31 トヨタ自動車株式会社 Travel control device
KR101682880B1 (en) * 2015-03-19 2016-12-20 현대자동차주식회사 Vehicle and remote vehicle manipulating system comprising the same
JP5973610B1 (en) * 2015-03-27 2016-08-23 本田技研工業株式会社 Control equipment for unmanned work vehicles
CN104739519B (en) * 2015-04-17 2017-02-01 中国科学院重庆绿色智能技术研究院 Force feedback surgical robot control system based on augmented reality
CN106575402A (en) * 2015-06-26 2017-04-19 深圳市赛亿科技开发有限公司 Smart shopping guide system
JP2017102601A (en) * 2015-11-30 2017-06-08 本田技研工業株式会社 Automatic travel system, automatic travel vehicle provided with the automatic travel system, method of controlling automatic travel system, and control program therefor
JP6304777B2 (en) * 2016-05-17 2018-04-04 本田技研工業株式会社 Moving body
CN106123892A (en) * 2016-06-22 2016-11-16 武汉科技大学 A kind of robot localization method based on wireless sensor network Yu earth magnetism map
CN106289257A (en) * 2016-07-27 2017-01-04 无锡知谷网络科技有限公司 Indoor orientation method and alignment system
CN106338289A (en) * 2016-08-11 2017-01-18 张满仓 Robot-based indoor positioning and navigation system and method
CN106485233B (en) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 Method and device for detecting travelable area and electronic equipment
CN106584472A (en) * 2016-11-30 2017-04-26 北京贝虎机器人技术有限公司 Method and device for controlling autonomous mobile equipment
CN107272685B (en) * 2017-06-21 2021-01-08 国机智能技术研究院有限公司 Method and system for controlling turning of robot
CN107554642B (en) * 2017-08-03 2019-07-02 求实科技集团有限公司 A kind of active leading type navigating robot

Also Published As

Publication number Publication date
CN110119141A (en) 2019-08-13
CN110119141B (en) 2022-11-15
JP2019135579A (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP6774445B2 (en) Mobile control system, mobile and mobile control method
JP6394692B2 (en) Vehicle operating device
JP3798469B2 (en) Navigation device
JP6603253B2 (en) Mobile object control system and mobile object control method
WO2011074165A1 (en) Autonomous mobile device
CN106918334A (en) Indoor navigation method and device
US20140354452A1 (en) Parking assistance system
JP6456516B2 (en) Driving assistance device
EP3147630A1 (en) 3d helicopter view at destination
WO2017057053A1 (en) Information processing device, information processing method
WO2017029759A1 (en) Display control device, display device, and display control method
JP6025814B2 (en) Operating device and autonomous mobile system
JP4833384B1 (en) Navigation device, navigation method, navigation program, and recording medium
JP2014211431A (en) Navigation device, and display control method
JP6328366B2 (en) Display control apparatus and display control method for head-up display
JP6728959B2 (en) Automatic operation control system for mobile
JP6448806B2 (en) Display control device, display device, and display control method
JPWO2019131296A1 (en) Head-up display device
JP2005201883A (en) Navigation device and map indication method of the navigation device
CN114265397A (en) Interaction method and device for mobile robot, mobile robot and storage medium
JP4421410B2 (en) Driving support information providing apparatus and method
JP2006250673A (en) Navigation device and program for navigation
CN111982140A (en) Tour guide method, device and equipment for unmanned tour guide vehicle
EP4194883A1 (en) Device and method for determining objects around a vehicle
JP2014092935A (en) Preceding vehicle recognition system, preceding vehicle recognition method and preceding vehicle recognition program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201002

R150 Certificate of patent or registration of utility model

Ref document number: 6774445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150