JP2015177397A - ヘッドマウントディスプレイおよび農作業補助システム - Google Patents

Abstract

【課題】作業効率を向上させるヘッドマウントディスプレイの提供。【解決手段】ヘッドマウントディスプレイ１において、ヘッドマウントディスプレイ１を装着した状態における作業者の視界方向の景色の少なくとも一部を撮像する撮像部３０と、撮像部３０が撮像した撮像情報に基づいて生成された、景色に含まれる対象物７００〜７０２に対して行われる作業に関する作業情報７１０〜７１２を、景色の対象物に対応する位置に表示する透過型の表示部７０と、を備える。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイおよびヘッドマウントディスプレイを用いた農作業補助システムに関する。

農業従事者の減少と高齢化が進む中、若手農業従事者による収益性の高い効率的な農業経営に期待が掛けられている。特許文献１では、植物栽培プラントにおける人手で行う受粉作業において、作業中に作業対象植物の受粉履歴情報を提供する受粉補助装置が提案されていた。作業者がこの装置を利用して受粉作業することにより、植物の受粉状態を判別することができ、熟練した作業者でなくとも作業できるとされていた。

特開２０１３−１５８２８８号公報

しかしながら、特許文献１に記載の受粉補助装置では、受粉対象の花の画像と受粉履歴情報とが手元の表示装置に表示されるため、作業者は、実物の花と表示装置に表示された花との間で視点を行き来させながら、受粉対象の花の位置を確認しなければならなかった。このような花の位置の確認に掛かる時間は、日々の受粉作業において積算されると大きな時間のロスを生んでしまったり、経験の浅い作業者では、判断に迷ったり間違えた作業をしてしまう虞があった。

本発明は、このような課題に鑑みて考案されたものであり、農作業の生産効率を向上させ、経験の浅い作業者であっても効率良く作業ができる農作業を補助する装置およびシステムを提供することを主目的とするものである。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例に係わるヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着した状態における作業者の視界方向の景色の少なくとも一部を撮像する撮像部と、撮像部が撮像した撮像情報に基づいて生成された景色に含まれる対象物に対して行われる作業に関する作業情報を、景色の対象物に対応する位置に表示する透過型の表示部と、を備える。

本適用例によれば、対象物に対応する表示部上の位置に、作業情報が表示される。作業者は、透過型の表示部を介して、対象物とその対象物に対して行われる作業情報とを同一視界内で視認することができる。また、透過型の表示部であるため、透けて見える景色の中に、作業者の両手を見ることができる。両手の動きを確認しながら作業をすることが可能になる。従って、経験の浅い作業者であっても間違いが少なく、効率良い作業ができるヘッドマウントディスプレイを提供することができる。

［適用例２］撮像部は、景色から反射される反射光を分光する分光素子と、分光素子が分光した分光光を受光する受光素子と、を含み、受光素子の受光結果に基づいて作業情報を生成することが好ましい。

本適用例によれば、撮像情報は、対象物からの反射光を分光した分光光を受光して生成されている。例えば、対象物におけるＲＧＢの各色光波長や対象物の特定成分から反射される特定波長の受光結果には、対象物の状態が反映されている可能性があるため、対象物の状態を反映した作業情報を提供することができる。

［適用例３］撮像情報に含まれる対象物を検出する検出部と、受光結果に基づいて、検出部が検出した対象物の成分を分析する分析部と、成分に基づいて、検出部が検出した対象物に関する作業情報を生成する作業情報生成部と、を更に備えても良い。

本適用例によれば、撮像した撮像情報に基づいて、対象物の検出、対象物の成分を分析すること、および作業情報を生成することができるため、作業者はより的確な作業情報を得ることができる。

［適用例４］測位用情報を取得し、測位用情報に基づいてヘッドマウントディスプレイの位置を算出する位置算出部と、ヘッドマウントディスプレイに対して景色が存在する方向を算出する方向算出部と、を更に備え、撮像部は、位置または方向が変化した場合に撮像を行うことが好ましい。

本適用例によれば、作業者は、作業をする対象物を変えたい場合に、ヘッドマウントディスプレイを装着した状態で、自身の位置と視線方向を変更する動作をすれば、新たな対象物に対する作業情報を得ることができる。

［適用例５］本適用例に係わる農作業補助システムは、ヘッドマウントディスプレイおよびサーバーを含む農作業補助システムであって、ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着した状態における作業者の視界方向の景色の少なくとも一部を撮像する撮像部と、撮像部が撮像した撮像情報に基づいて、景色に含まれる対象物に対して行われる作業に関する端末作業情報を生成する端末作業情報生成部と、端末作業情報を景色の対象物に対応する位置に表示する透過型の表示部と、測位用情報を取得し、測位用情報に基づいてヘッドマウントディスプレイの位置情報を算出する位置算出部と、位置情報をサーバーに送信し、サーバーからサーバー作業情報を受信する端末通信部と、を備え、サーバーは、ヘッドマウントディスプレイから位置情報を受信し、サーバー作業情報を送信するサーバー通信部と、位置情報に基づいて、位置情報が示す農作業場における作業に関するサーバー作業情報を生成するサーバー作業情報生成部と、を備え、表示部は、サーバー作業情報を表示する。

本適用例によれば、対象物に対応する表示部上の位置に、作業情報が表示される。作業者は、透過型の表示部を介して、対象物とその対象物に対して行われる作業情報とを同一視界内で視認することができる。また、透過型の表示部であるため、透けて見える景色の中に、作業者の両手を見ることができる。両手の動きを確認しながら作業をすることが可能になる。従って、経験の浅い作業者であっても間違いが少なく、効率良い作業ができるヘッドマウントディスプレイを提供することができる。更に、サーバーにおいて位置情報に基づいて生成された作業に関するサーバー作業情報が提供される。このようなシステムを利用することで、例えば、作業者の無駄な移動を減らすことができるので、より効率的に作業をすることができる。

実施形態１に係わるヘッドマウントディスプレイの概要を表す説明図。 ヘッドマウントディスプレイの概略構成を示すブロック図。 端末情報６１の詳細を示す説明図。 （Ａ）水平方向算出部４５を説明する平面図、（Ｂ）垂直方向算出部４７を説明する側面図。 制御プログラム６５の処理の流れを表すフローチャート図である。 農作業補助システム２の概略構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。但し、本発明の適用可能な実施形態がこれに限定されるものではない。

（実施形態１）
図１は、実施形態１に係わるヘッドマウントディスプレイの概要を表す説明図である。尚、以降ヘッドマウントディスプレイをＨＭＤ（Head Mount Display）と呼称する。

（ヘッドマウントディスプレイの概要）
図１には、ヘッドマウントディスプレイとしてのＨＭＤ１、ＨＭＤ１の表示部の視界７１、表示部周辺の景色５が示されている。表示部の視界７１および表示部周辺の景色５には、果樹園に「ぶどう」の果房が生育している景色が示されている。以降、ＨＭＤ１の概要について「ぶどう」を収穫する収穫作業を例にして説明する。

ＨＭＤ１は、作業等を行う作業者の眼部正面に装着可能な眼鏡型の装置であり、作業者は、ＨＭＤ１を装着した状態では、眼鏡をかけた状態と同様に軽快な装着感を有し、両手をフリーにし、両手による手作業を可能とする。

ＨＭＤ１は、表示部７０、物質センサー３０、音声や音楽を入出力するヘッドセット（図示は省略）を含み構成されている。

表示部７０には、ハーフミラー７２が眼鏡レンズの位置に配置されている。
ハーフミラー７２は、視界方向の景色の外界光と表示される画像の映像光とを重ねて観ることができる透過型（シースルー型）の光学装置であり、後述する表示部７０の一部として構成されている。作業者がハーフミラー７２を介在して景色を視認している範囲が、表示部の視界７１である。作業者がハーフミラー７２を介在していない部分の景色が、表示部周辺の景色５である。ハーフミラー７２は、作業者の両眼用に２つ備えられている。

物質センサー３０は、表示部の視界７１の範囲における視界方向の景色を表示部７０を介さずに撮像し、ＲＧＢの各色光波長や物質から反射される特定波長の受光量を検出する撮像素子を含んで構成される。ＨＭＤ１では、撮像素子から出力された受光結果の情報を用いて、表示部の視界７１の範囲における景色を撮像した撮像画像に含まれる対象物が検出され、対象物毎に糖分等の成分が検出される。検出された対象物とその成分などの情報から、対象物が収穫に適するか不適であるかといった作業情報が文字列で生成される。対象物に対応する位置に、生成された文字列が配置された表示画像が生成される。生成された表示画像は、映像光としてハーフミラー７２に投影される。

表示部の視界７１は、ＨＭＤ１により生成された表示画像の映像光と、透過して視認される景色の外界光とが作業者の瞳に導かれた結果、作業者に視認されている視界である。対象物７００〜対象物７０２は透過して視認される景色に含まれる対象物である。作業情報７１０〜作業情報７１２は、表示画像の映像光であり、透けて見える景色に重畳して視認される作業情報である。表示画像では、作業情報の文字列と枠が表示されている画素の部分に映像光の表示色が設定されており、その他の画素の部分は白色光であるため透けて見える。作業情報７１０は対象物７００に対応する位置に表示されており、作業情報７１１は対象物７０１に、作業情報７１２は対象物７０２にそれぞれ対応している。

表示部周辺の景色５には、対象物５００〜対象物５０２が存在し、表示部７０は介在していないため作業情報は視認されていない。

尚、表示部７０は、両眼用の構成に限らず、一方に備えられる構成であっても良い。一方の眼に表示部の視界７１の範囲において視認される景色の対象物に対応する位置に作業情報が表示され、両眼の場合と同じ効果を得ることができる。

（ヘッドマウントディスプレイの構成）
図２は、ヘッドマウントディスプレイの概略構成を示すブロック図である。
ＨＭＤ１は、測位センサー１０、測位用アンテナ１１、慣性センサー２０、物質センサー３０、制御部４０、記憶部６０、表示部７０、通信部７５、時計部８０、操作部８５などから構成されている。

測位センサー１０および測位用アンテナ１１は、ＧＮＳＳ（Global Navigation Satellite System）衛星から発信されている衛星信号を利用して、ＨＭＤ１の位置情報を算出することを目的として構成されている。
測位用アンテナ１１は、ＧＮＳＳ衛星から発信されている衛星信号を含むＲＦ（Radio Frequency）信号を受信するアンテナである。受信したＲＦ信号は測位センサー１０に出力される。

測位センサー１０は、ＲＦ受信回路およびベースバンドモジュールなどを含むＬＳＩ（Large Scale Integration）として構成され、測位用アンテナ１１から入力したＲＦ信号に重畳された測位に係る情報を抽出し取得する。詳しくは、入力したＲＦ信号に対し信号処理を行い、ＧＮＳＳ衛星の衛星信号を捕捉する。捕捉した衛星信号に重畳されている航法メッセージを分離し、航法メッセージに含まれる測位用情報を取得する。測位用情報はアルマナックやエフェメリスを含み、デジタルデータに変換される。受信した衛星信号にはＧＮＳＳ衛星から発信された正確な発信時刻と受信時の電波伝搬遅れの情報も含み、ＧＮＳＳ衛星とＨＭＤ１との擬似距離が算出される。擬似距離とアルマナックやエフェメリスの情報は制御部４０の位置算出部４３に出力される。

尚、ＨＭＤ１の位置情報を算出するための測位用情報を取得するために、測位用アンテナ１１および測位センサー１０を備える構成として例示しているが、この構成に限定される訳ではない。例えば、ジャイロセンサーや加速度センサーを備える構成でも良い。この構成によれば自律航法や慣性航法による測位方法を利用し、ＨＭＤ１の位置情報を算出することができる。

慣性センサー２０は、ＨＭＤ１の表示部の視界７１（図１）が向けられている方向（以降、ＨＭＤ１の方向と称す）を算出することを目的として構成されている。尚、ＨＭＤ１の方向は、視線方向に相当する。

慣性センサー２０は、例えば、地磁気センサー、加速度センサー、ジャイロセンサー、加速度センサーなどのセンサー（図示は省略）を有して構成される。

地磁気センサーは、磁界の向きを計測するＭＥＭＳ（Micro Electro Mechanical Systems）センサーであり、水平面におけるＨＭＤ１の方向が算出可能な方位信号を出力する。方位信号は、制御部４０の水平方向算出部４５（後述する）に出力される。

加速度センサーは、略直交する３軸方向の加速度を検出するＭＥＭＳセンサーであり、ＨＭＤ１の傾きや移動量などが算出可能な加速度信号を出力する。ＨＭＤ１の傾きを算出するために、ＨＭＤ１の静止状態における各軸方向に検出される加速度信号が利用される。ＨＭＤ１の移動量を算出するために、移動時に各軸方向に生じる加速度信号の変化量が利用される。加速度信号は、位置算出部４３、水平方向算出部４５、垂直方向算出部４７（いずれも後述する）に出力される。

ジャイロセンサーは、略直交する３軸を中心軸とした角速度を検出するＭＥＭＳセンサーであり、ＨＭＤ１の傾きなどが算出可能な角速度信号を出力する。角速度信号は、制御部４０の垂直方向算出部４７に出力される。

物質センサー３０は、撮像部に相当し、前述したようにＲＧＢの各色光波長や物質から反射される特定波長の分光光の受光量を検出する撮像素子と、特定の波長を抽出するための波長可変干渉フィルターとを含んで構成される。撮像素子は、例えばＣＣＤ（Charge Coupled Device）であり、受光量を光電変換して撮像信号（画像信号）を生成する。波長可変干渉フィルターは、例えばエタロンであり、エタロンにより異なる波長毎に分光された受光量がＣＣＤに出力される。ＣＣＤは、波長毎に複数の撮像画像６１１（図３において後述する）を生成し記憶部６０に端末情報６１として格納する。格納された撮像画像６１１は、マトリックス状に配置された画素毎に受光量に応じた数値が、例えば０〜２５５の値で格納されている。波長毎に生成された複数の撮像画像６１１は、後述する対象検出部４９による対象物の検出、および対象分析部５１による対象物の成分の検出に用いられる。尚、撮像素子は受光素子に相当し、受光量および撮像信号は受光結果に相当する。また、波長毎に生成された複数の撮像画像６１１などの撮像した結果に係わる情報は、受光結果も含め撮像情報に相当する。

尚、物質センサー３０には、光学系部および照明部が含まれる構成であっても良い。光学系部には視野角が変更可能なズームレンズが用いられる。ズームレンズを備えることで、ズーム機能を果たし撮像画像６１１と表示部の視界７１を介して視認される景色との位置合わせ（キャリブレーション）を容易に実現する。照明部には、特定波長を有する照明光源が用いられる。特定波長を有する照明光源を備えることで物質からの特定波長の反射光の光量が増すため受信感度を高くすることができる。

以降、制御部４０および記憶部６０について、図２に加え、適宜、図３および図４を交えて説明する。図３は、端末情報６１の詳細を示す説明図である。図４（Ａ）は、水平方向算出部４５を説明する平面図、（Ｂ）は垂直方向算出部４７を説明する側面図である。
制御部４０は、記憶部６０に記憶されている制御プログラム６５を含む各種プログラムに従ってＨＭＤ１の各部を統括的に制御する制御装置および演算装置であり、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサーを有して構成される。

制御部４０により、制御プログラム６５が実行されると、撮像画像取得部４１、位置算出部４３、水平方向算出部４５、垂直方向算出部４７、対象検出部４９、対象分析部５１、作業情報生成部５３の各機能部が実現される。但し、これらの機能部は一実施例として記載したものに過ぎず、必ずしもこれらすべての機能部を必須構成要素としなければならないわけではない。また、これら以外の機能部を必須構成要素としても良い。

撮像画像取得部４１は、撮像画像６１１を取得する。詳しくは、撮像画像取得部４１は、表示部７０に作業情報を表示するか否かを判定して、作業情報を表示する場合は撮像画像６１１を取得する。作業情報を表示するか否かの状態を管理する状態変数に保有しており、作業者による操作部８５の操作に基づいて状態変数の内容を設定している。作業者が作業情報を必要としている場合は、状態変数は「表示する」に設定され、必要としていない場合は、状態変数は「表示しない」に設定される。状態変数が「表示する」であれば、撮像画像取得部４１は、物質センサー３０を制御して表示部の視界７１の範囲の景色を撮像し、撮像画像６１１を生成する。図３に示すように撮像画像取得部４１から出力された撮像画像６１１は、端末情報６１のデータの一部として記憶部６０に格納される。

尚、上述の例による状態変数は、作業者の操作に基づいて設定されるとしたが、この方法に限らず、視認される景色が撮像された画像を物質センサー３０より取得し、対象物が検出されれば状態変数を「表示する」に設定する方法を機能として備えても良い。このような機能によれば、作業者は操作の手間が省けるため、いっそう収穫作業に集中することができる。

位置算出部４３は、位置算出部に相当し、撮像画像６１１が撮像された場所を算出する。詳しくは、撮像画像取得部４１が撮像画像６１１を撮像したタイミングのＨＭＤ１の位置情報が算出される。測位センサー１０により４個以上のＧＮＳＳ衛星とＨＭＤ１との擬似距離が取得されると、位置算出部４３は、位置計算を行いＨＭＤ１の緯度Ｌｔ６１３および経度Ｌｇ６１５（図３）を含む位置情報を算出し、位置算出部４３により出力された緯度Ｌｔ６１３および経度Ｌｇ６１５は、端末情報６１のデータの一部として記憶部６０に格納される。

水平方向算出部４５は、ＨＭＤ１を装着した作業者の水平面における視線方向の方位を算出する。詳しくは、慣性センサー２０に備えられた地磁気センサーから方位信号を取得し、方位角を算出する。方位角は北を０°、東を９０°、南を１８０°、西を２７０°として１°単位に算出される。ここで、図４（Ａ）を用いて説明する。図４（Ａ）は、ＨＭＤ１を装着した作業者の頭上方向から作業者を見た平面図である。作業者（ＨＭＤ１）の視点Ｖｐは、北Ｎを示す０°の線と東Ｅを示す９０°の線の交点に位置し、その緯度と経度は、位置算出部４３により算出された座標値（緯度Ｌｔ、経度Ｌｇ）である。

水平視線ＳＬｈは、視点Ｖｐを基点とした水平面における視線である。方位Ｄｈは、水平面における視線方向の方位であり、北Ｎと水平視線ＳＬｈとでなす中心角である。視界境界線ＶＬｈは、水平面における視界の境界であり、水平視野角Ｖｈは、２本の視界境界線ＶＬｈの中心角であり、水平面におけるいわゆる視野角または画角である。

水平方向算出部４５は、地磁気センサーから取得した方位信号から、方位Ｄｈを算出する。図３に示すように水平方向算出部４５から出力された方位Ｄｈ６１７は、端末情報６１のデータの一部として記憶部６０に格納される。

垂直方向算出部４７は、ＨＭＤ１を装着した作業者の鉛直面における視線方向の縦方向角度Ｄｖを算出し、ＨＭＤ１の地面Ｇからの高さＨｔを取得する。詳しくは、慣性センサー２０に備えられたジャイロセンサーから鉛直面における傾きを示す角度信号を取得し、縦方向角度を算出する。縦方向角度は、鉛直方向の天側を０°として１°単位に算出される。ＨＭＤ１の地面Ｇからの高さＨｔは、あらかじめ記憶部６０に記憶された作業者の属性情報（図示は省略）から読み込まれ、取得される。ここで、図４（Ｂ）を用いて説明する。図４（Ｂ）は、ＨＭＤ１を装着した作業者の側面方向から作業者を見た側面図である。作業者（ＨＭＤ１）の視点Ｖｐは、地面Ｇから鉛直方向に高さＨｔに位置している。

垂直視線ＳＬｖは、視点Ｖｐを基点とした水平面と垂直な鉛直面における視線である。縦方向角度Ｄｖは、鉛直線Ｖｔを０°とした鉛直面における鉛直線Ｖｔと垂直視線ＳＬｖとでなす中心角である。視線境界線ＶＬｖは、鉛直面における視界の境界であり、垂直視野角Ｖｖは、２本の視界境界線ＶＬｖの中心角であり、鉛直面における視野角（画角）である。

垂直方向算出部４７は、ジャイロセンサーから取得した角度信号から、縦方向角度Ｄｖを算出する。図３に示すように垂直方向算出部４７から出力された縦方向角度Ｄｖ６１９および高さＨｔ６２１は、端末情報６１のデータの一部として記憶部６０に格納される。

尚、角度信号はジャイロセンサーから取得するとしたが、加速度センサーから出力される静止状態におけるＨＭＤ１の傾き（角度）を取得しても、同様に縦方向角度Ｄｖを算出することができる。

尚、水平方向算出部４５および垂直方向算出部４７は、方向算出部に相当する。

図２に戻る。
対象検出部４９は、検出部に相当し、撮像画像６１１の中から作業の対象である対象物を検出する。詳しくは、撮像画像取得部４１が撮像した撮像画像６１１を対象物のパターンと照合する。照合は、対象物のパターンの特徴点を抽出し、撮像画像６１１内に類似の特徴点の存在を確認する。特徴点は、例えば、公知のＳＩＦＴ（Scale Invariant Feature Transform）アルゴリズムを用いて算出される。ＳＩＦＴアルゴリズムにより算出された特徴点は、対象物のパターンと異なる大きさであったり視点が異なる角度であっても撮像画像６１１内の景色から対象物を検出することができる。

対象検出部４９が参照する撮像画像６１１は、画像を構成する画素毎に階調値を有しており、例えば、画像がＲＧＢ色空間であれば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色階調値が記憶されている。ＲＧＢ色空間の画像データを利用することにより、色変化に特徴のある対象物のパターンが抽出されやすい。また、ＲＧＢ色空間から輝度信号と色差で表したＹＣｂＣｒ色空間に変換し、グレースケールとなった輝度信号の階調値を利用しても良い。このような場合では、主に形状に特徴のある対象物のパターンが抽出しやすい。

また、撮像画像６１１として出力された画像の中から、物質から反射される特定波長を受光して生成された画像を用いて、対象物を検出しても良い。このような場合では、画像内に特定の成分に対して反応した画素を調べ、その画素の範囲を対象物として検出する。例えば、収穫期に近い「ぶどう」であれば、糖分が一定の糖度以上を有する果房を他の葉や枝と区別して検出することが可能である。

対象検出部４９では、撮像画像６１１内で検出された対象物の数分の対象物の位置と範囲が算出される。図３に示すように対象検出部４９から出力された対象物毎の対象物位置６２３および対象物範囲６２５は、端末情報６１のデータの一部として記憶部６０に格納される。

対象分析部５１は、分析部に相当し、対象物の成分を分析する。詳しくは、分光された波長毎に格納された複数の撮像画像６１１を分析することにより、対象物の成分が検量される。特定波長の照射光に対する吸光度が物質の糖などの濃度に比例することが知られている。この性質を利用して、特定波長の反射光の受光量を分析する。これらの技術は、特開２０１３−２０５２０９号により公開されている。この技術を利用することにより撮像画像６１１に含まれる対象物の糖質の濃度などの成分量が演算される。また、対象物の画像の範囲を細かく細分化した部位毎の糖度を算出しても良い。例えば、対象物が「ぶどう」である場合は、果房の成長に従って肩房（上部）から房尻（下部）方向に徐々に糖度が増し広がっていくため、上部と下部の糖度の差分を分析することで、収穫に適した時期を細密に判断できる可能性が高まる。図３に示すように対象分析部５１から出力された対象物成分６２７は、端末情報６１のデータの一部として記憶部６０に格納される。

作業情報生成部５３は、作業情報生成部に相当し、対象物に関する作業情報を生成する。詳しくは、対象分析部５１により分析された情報に基づいて、対象物を対象者にどのように作業させるかの情報が生成される。分析された情報は、記憶部６０に予め格納されている収穫判定閾値６３と比較され、収穫に係わる作業情報が文字列で生成される。例えば、収穫判定閾値６３が糖度２０であれば、対象物の糖度が２０以上の場合、「収穫適」が文字列として生成され、対象物の糖度が２０未満の場合は、「収穫不適」が文字列として生成される。

尚、作業情報生成部５３は、更に細密な条件によって、作業情報を生成するとしても良い。例えば、果房の上部の糖度が２０以上で下部の糖度が１８以上であれば「収穫適」、上部が糖度２０以上で下部の糖度が１８未満であれば「収穫不適」というような条件を更に加えても良い。図３に示すように作業情報生成部５３から出力された対象物毎の作業情報６２９は、端末情報６１のデータの一部として記憶部６０に格納される。

制御部４０では、作業情報６２９が対象物位置６２３に対応する位置に配置された画像を生成する。生成された画像は、表示画像の映像光としてハーフミラー７２に投影される。

記憶部６０は、ＲＯＭ（Read Only Memory）やフラッシュＲＯＭ、ＲＡＭ（Random Access Memory）等の記憶装置を有して構成され、制御部４０がＨＭＤ１を制御するためのプログラムや、各種アプリケーション処理を実行するための各種プログラムやデータ等、また、プログラムにより利用される変数等を記憶する。

記憶部６０には、制御部４０によって読み出され、メイン処理（図５参照）として実行される制御プログラム６５が記憶されている。制御プログラム６５の処理については、フローチャートを用いて詳細に後述する。また、記憶部６０には、データとして端末情報６１と、収穫判定閾値６３とが記憶される。

端末情報６１は、図３に示すように、撮像画像取得部４１、位置算出部４３、水平方向算出部４５、垂直方向算出部４７、対象検出部４９、対象分析部５１、作業情報生成部５３の各機能部が出力した撮像画像と対象物に関するデータ群である。データ群は、撮像画像６１１、緯度Ｌｔ６１３、経度Ｌｇ６１５、方位Ｄｈ６１７、縦方向角度Ｄｖ６１９、高さＨｔ６２１、対象物位置６２３、対象物範囲６２５、対象物成分６２７、作業情報６２９を含む。尚、撮像画像６１１は、ＲＧＢ色空間の画像、ＹＣｂＣｒ色空間の画像、特定波長の受光量の画像など複数の画像データが含まれる。また、対象物位置６２３、対象物範囲６２５、対象物成分６２７、作業情報６２９は、撮像画像の範囲内に含まれる対象物毎に生成されたデータである。

収穫判定閾値６３は、農作業従事者の長年の経験により培われた判断が数値化された収穫の適否を判定する閾値である。発明者が収集した農作業従事者が果房を収穫する判断と測定された糖度との関係を統計処理、および解析して導出された数値であり、予め記憶部６０に記憶されている。

収穫判定閾値６３は、作業者がＨＭＤ１を装着する前に、作業管理者などにより設定される数値であっても良い。これにより、作業日の天候や、出荷後の顧客への到着までの期間などの様々な収穫時期に影響する条件が加味された数値を用いることができる。

表示部７０は、前述したように眼鏡のレンズの位置に配置されている部分に、映像光と外界光の両方を人体の瞳に導くためのハーフミラー７２を有して構成されている。また、表示部７０は、更に表示部左右の側部（眼鏡のフレームの内側）に液晶パネルを備え、映像光を出力する。ＨＭＤ１を装着した作業者は、作業情報が表示されている映像光と作業場所の景色の外界光を重畳して、表示部の視界７１を視認する。

通信部７５は、好適例として消費電力を抑えた近距離無線アダプターであり、記憶部６０に格納された端末情報６１などのデータをＰＣ（Personal Computer）、スマートフォン（多機能携帯電話）、ネットワーク上のサーバーなどに送信する。また、新たにサーバーなどで生成した作業情報や収穫判定閾値６３などの情報を受信する。近距離無線アダプターは、例えば、ブルートゥース（Bluetooth）（登録商標）アダプターであっても良い。尚、この構成に限定するものではなく、無線通信が可能な通信アダプターであれば良く、公衆無線ＬＡＮアダプターとして、ＩＰ（Internet Protocol）、および外部の他の機器と共通の通信プロトコルを有しているものであっても良い。また、通信部７５は、物理的な通信端子を含み、携帯可能な端末機器とケーブルを介して接続し、端末機器が無線通信が可能な通信アダプターを有する構成であっても良い。

時計部８０は、ＨＭＤ１の内部時計であり、水晶振動子および発振回路でなる水晶発信機等を有して構成される。時計部８０の計時時刻は、制御部４０に随時出力される。

操作部８５は、ボタンスイッチ等を有して構成される入力装置であり、眼鏡のフレーム部などに備えられ（図示は省略）、押下されたボタンの信号を制御部４０に出力する。この操作部８５の操作により、作業情報を表示するか否かなどの各種指示入力がなされる。

尚、操作部８５は、入力装置をボタンスイッチ等を有した構成としたが、その構成に限らず前述した慣性センサー２０の出力信号を検出する入力装置であっても良い。詳しくは、加速度センサーから出力される加速度信号を用いて、ＨＭＤ１の瞬間的な移動量を検出する。例えば、作業者によりＨＭＤ１が３回タップされたことを検出して、作業情報を表示するか否かなどの各種指示入力として取得する。

尚、操作部８５は、この構成に限らず、ＰＣやスマートフォンなどからＨＭＤ１の操作を行う構成であっても良い。詳しくは、ＰＣやスマートフォン側でＨＭＤ１に対する各種指示入力を行うソフトウェアを備える。当該ソフトウェアは、ＨＭＤ１に対する指示入力を指示入力コマンドとしてＨＭＤ１に送信する。操作部８５は、当該指示入力コマンドを通信部７５を介して受信し、当該指示入力コマンドが示す内容に応じた機能を実現する。この構成によれば、ＨＭＤ１に備えるハードウェア構成部品を節約することができ、より軽量なＨＭＤ１を構成することができる。また、ＨＭＤ１に対する各種機能を、ＨＭＤ１を装着している作業者以外の作業管理者などから遠隔操作により実現することができる。

（制御プログラムのフロー）
図５は、制御プログラム６５の処理の流れを表すフローチャート図である。以下のフローは、記憶部６０の制御プログラム６５に基づいて、制御部４０が測位センサー１０、慣性センサー２０、物質センサー３０を含む各部を制御することにより実行される。以降、図５を中心に図２を含む各図を交えて説明する。

図５のフローは、制御プログラム６５の処理全般を概略的に表したフローである。本フロー開始にあたり、ＨＭＤ１は、作業者に装着された状態であり、測位センサー１０、慣性センサー２０、物質センサー３０の各センサーは、制御部４０により起動された状態である。

ステップＳ１０では、キャリブレーションが行われる。詳しくは、物質センサー３０に備えられたズーム機能を制御して、撮像画像６１１の画角と、表示部の視界７１に含まれる景色の視野角との位置を合わせる（キャリブレーションする）。キャリブレーションでは、物質センサー３０からＲＧＢ色空間の撮像画像６１１を取得し、表示部７０のハーフミラー７２に投影させる。キャリブレーションされていない間は、撮像画像６１１を投影した投影画像の画角と、景色の視野角が異なるため、表示部の視界７１に含まれる透けて見える対象物と同じ対象物が撮像された撮像画像６１１の投影画像の対象物が、横にずれるか、大きさが異なって２つに視認される。

本ステップでは、音声等で作業者に、表示部の視界７１に含まれる対象物が略一つに重なって見える（キャリブレーションできている）か問い合わせ、キャリブレーションできない間は、撮像画像６１１の投影画像の画角を変更する。画角の変更は、ズーム機能により行われる。ズーム機能は、撮像画像６１１の一部の矩形をクリッピングする方法、または物質センサー３０の光学系部のズームレンズを制御し画角の範囲を変更する方法であっても良い。

作業者により、表示部の視界７１に含まれる撮像画像６１１が投影された対象物と景色の対象物が略一致して視認されると、操作部８５を介してキャリブレーションが成功したことが通知される。本ステップでは、キャリブレーションの成功の通知を受けて、撮像画像６１１の投影画像の画角を決定し、以降の撮像に関する情報はすべてこの画角が適用される。

このキャリブレーションが終了すると、制御部４０は以降のステップにおいて、表示部の視界７１で視認している景色に含まれる対象物の位置と、撮像画像６１１上の各画素とを対応付けて管理することができる。

ステップＳ２０では、撮像画像６１１を取得する。詳しくは、作業者により操作部８５が操作され、作業情報の取得要求が上がると、物質センサー３０により表示部の視界７１を撮像し、撮像画像６１１を記憶部６０に格納する。

ステップＳ３０では、位置情報と方向情報を取得する。詳しくは、測位センサー１０から、緯度Ｌｔ６１３と経度Ｌｇ６１５を取得する。慣性センサー２０の地磁気センサーから、方位Ｄｈ６１７を取得し、加速度センサーおよびジャイロセンサーから縦方向角度Ｄｖ６１９を取得する。また、記憶部６０に予め格納された高さＨｔ６２１を取得する。尚、ステップＳ３０においては、ステップＳ２０からステップＳ７０における各ステップを処理している最中にＨＭＤ１の位置情報と方向情報が変わらないことを監視している。位置情報と方向情報に変更があった場合は、ステップＳ２０に戻り、ステップＳ７０までの各ステップを処理する。

ステップＳ４０では、対象物を検出する。詳しくは、撮像画像６１１のＲＧＢ色空間の画像、ＹＣｂＣｒ色空間の画像、特定波長の受光量の画像から対象物位置６２３、および対象物範囲６２５を算出する。対象物位置６２３および対象物範囲６２５は、画像データを構成する画素の位置として取得される。

ステップＳ５０では、対象物を分析する。詳しくは、撮像画像６１１の特定波長の受光量の画像から対象物成分６２７を算出する。算出された対象物成分６２７は、対象物位置６２３および対象物範囲６２５に対応付けられて記憶部６０に格納される。

ステップＳ６０では、対象物の作業情報を生成する。詳しくは、対象物毎に対象物成分６２７を記憶部６０にあらかじめ格納されている収穫判定閾値６３と比較し、収穫作業に関する作業情報を生成する。生成した作業情報は、対象物毎に対象物位置６２３、対象物範囲６２５、対象物成分６２７と対応付けられて記憶部６０に格納される。

ステップＳ７０では、対象物の作業情報を表示する。詳しくは、ステップＳ６０において生成された作業情報を、対象物毎に対象物位置６２３が示す画素の近辺に他の作業情報と重ならないように表示部７０の液晶パネルに表示する。液晶パネルに表示された作業情報は、ハーフミラー７２に投影され作業者の瞳に導かれる。作業者の瞳には、表示部の視界７１に含まれる対象物の近辺に液晶パネルに表示された作業情報が重畳されて映される。

以上述べたように、本実施形態に係わるＨＭＤ１によれば、以下の効果を得ることができる。
ＨＭＤ１によれば、操作部８５の操作により作業情報が所望されると、表示部の視界７１に、視認している景色に含まれる作業対象の対象物毎に作業情報が表示される。作業者は、作業する対象物を容易に判別でき、表示された作業情報を同一視界内で視認することができる。経験の浅い作業者であっても、対象物と作業内容を視覚で捉え、透過する景色に入る作業者自身の両手の動きを確認しながら作業をすることが可能になる。従って、経験の浅い作業者であっても間違いが少なく、効率良く作業ができるようになり、農作業の生産効率を向上させる農作業補助装置を提供することができる。

また、作業者は作業情報を得るまでに対象物に直接手を触れることなく一定の距離を保って作業をすることができる。従って、未作業の対象物に対して品質を損ねる虞が少なくなる。更に、作業者は作業情報によって作業する必要のない対象物に接近する必要がなくなるため、移動距離も少なくなり作業効率が良くなる。

（実施形態２）
図６は、農作業補助システム２の概略構成を示すブロック図である。
上述の実施形態では、ＨＭＤ１において対象物に対する作業情報を生成するとして説明したが、ＨＭＤ１の作業現場だけでは収集できない情報が加味された作業情報などを生成するサーバー１００を備えた農作業補助システム２を構成しても良い。以降、図６を中心に適宜図１および図２を交えて説明する。

本実施形態に係わる農作業補助システム２は、ＨＭＤ１、ネットワーク３、サーバー１００などから構成されている。ＨＭＤ１とサーバー１００は、ネットワーク３経由で接続されている。好適例において、ネットワーク３は、ＨＭＤ１が接続されている公衆無線ＬＡＮなどを利用してインターネット接続されている。

ネットワーク３では、端末情報６１がＨＭＤ１からサーバー１００に送信され、更新作業情報１２３（後述する）がサーバー１００からＨＭＤ１に送信される。

ＨＭＤ１は、実施形態１で説明したヘッドマウントディスプレイであり、ＨＭＤ１の通信部７５（図２）を介して端末情報６１がサーバー１００に送信され、更新作業情報１２３が受信される。ＨＭＤ１では、受信した更新作業情報１２３が作業情報６２９（図３）の代わりに表示部７０に表示される。尚、本実施形態における作業情報６２９は、端末作業情報に相当し、当該端末作業情報を生成する作業情報生成部５３は、端末作業情報生成部に相当し、通信部７５は、端末通信部に相当する。

サーバー１００は、通信部１１０、制御部１２０、記憶部１３０、表示部１４０、操作部１５０などから構成される。

通信部１１０は、ネットワークアダプターであり、ＨＭＤ１とサーバー１００との間において、端末情報６１や更新作業情報１２３などを送受信する。また、インターネット上の様々なサービスに接続して、作業に係わる気象情報や圃場の地図データなどの情報を取得する。尚、通信部１１０は、サーバー通信部に相当する。

制御部１２０は、ＣＰＵであり、サーバー１００を構成する通信部１１０、記憶部１３０、表示部１４０、操作部１５０などの各部を制御する。また、制御部１２０では、機能部として作業情報編集部１２１を含み構成されている。

作業情報編集部１２１は、更新作業情報１２３を生成する。詳しくは、受信した端末情報６１、後述する気象情報１３１、圃場マップ１３３、作業管理情報１３５を参照して端末情報６１に含まれる作業情報６２９を編集する。例えば、気象情報１３１により作業翌日から雨天が続くような場合では、雨天中による収穫量の減少を見越して、作業情報６２９では収穫に不適とされていても、対象物成分６２７を参照し糖度がある程度以上あれば、収穫に適するとして修正することができる。このようにして編集された作業情報は、更新作業情報１２３としてＨＭＤ１に送信される。尚、本実施形態における更新作業情報１２３は、サーバー作業情報に相当し、作業情報編集部１２１は、サーバー作業情報生成部に相当する。

記憶部１３０は、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＤＤ）であり、制御部１２０により実行される各種プログラム、各種プログラムより出力されるデータ、インターネット上のサービスから収集したデータなどが格納されている。また、記憶部１３０には、気象情報１３１、圃場マップ１３３、作業管理情報１３５などが格納されている。

気象情報１３１は、インターネット上の気象情報提供サービスから取得した気象情報であり、農作物の圃場近辺の詳細な気象データが格納されている。

圃場マップ１３３は、インターネット上の地図情報提供サービスから取得した地図に、果樹園や菜園などの作物を栽培する農作業場としての圃場の範囲、圃場において生育している果樹の種類、果樹の配置などの位置情報と圃場に関連する属性情報が記憶された地図データである。また、制御部１２０により受信された端末情報６１に基づいて作業者の位置が圃場マップ１３３上に記憶されている。圃場マップ１３３は、制御部１２０により表示部１４０に地図形式で表示される。表示された圃場マップ１３３には、作業者の視線方向や作業者が視認している画像のサムネイルなどが、圃場マップ１３３上の作業者が作業している位置に表示される。

作業管理情報１３５は、作業者の作業状況が管理されているテーブル形式のデータである。作業管理情報１３５には、作業者毎に作業計画、作業実績に関するデータ項目が定義されており、作業進捗状況や作業効率などがリアルタイムに記憶されている。

表示部１４０は、好適例として液晶パネルを採用している。尚、表示面にタッチパネルを備えていても良い。表示部１４０には、制御部１２０の制御により、気象情報１３１、圃場マップ１３３、作業管理情報１３５などが表示される。

操作部１５０は、キーボード、マウスなどの入力装置である。

以上述べたように、本実施形態に係わる農作業補助システム２によれば、実施形態１での効果に加えて、以下の効果を得ることができる。
本実施形態の農作業補助システム２によれば、ＨＭＤ１の端末情報６１による作業現場の情報に加え、サーバー１００において管理される気象情報１３１、圃場マップ１３３、作業管理情報１３５といった作業の進捗や成果に大きな影響を与える可能性のある環境情報が加味された更新作業情報１２３が生成されている。

このような更新作業情報１２３に基づいた作業が実施されることによって、対応を誤れば大きな損害を生んでしまう虞のある自然環境の変化であっても、事前に予測された作業によって安定した収益を得ることができる。また、作業管理情報１３５により各作業者の進捗状況が加味された更新作業情報１２３によって、作業者毎に的確な作業指示をすることができ、全体最適の観点で作業が実施され、作業効率を向上させることができる。

（変形例１）
上述の実施形態では、ＨＭＤ１の物質センサー３０により撮像される撮像画像６１１を静止画像として説明したが、この構成に限定されるものではなく、物質センサー３０は動画を撮像する構成を含めても良い。更に、撮像された動画は、サーバー１００に送信され、サーバー１００の表示部１４０に表示される構成を備えても良い。

これらの構成によれば、作業者の作業状況が動画で表示部１４０に表示されることによって、静止画では判別できなかった作業者の作業手順など動的動作の評価が可能になる。作業熟練者により多数の作業者に対して遠隔操作で指導することができ、個々の作業者における作業手順が改善されるため、作業効率の向上と全体の生産性向上につながる。

（変形例２）
上述の実施形態および変形例では、ＨＭＤ１に備えられた物質センサー３０によって作業現場を撮像する構成であったが、作業現場の複数個所に物質センサー３０を備えた装置を備え付ける構成を含めても良い。
この構成によれば、ＨＭＤ１を装着した作業者が作業現場にいない状況であっても、作業現場に備え付けられた装置により作業対象物の果物等を監視することができる。広大な圃場であった場合は、サーバー１００の表示部１４０に表示された作業現場に備え付けられた物質センサー３０の出力画像や果物の成分等を監視することで、日々の収穫作業等において作業場所を速やかに特定することができる。

（変形例３）
上述の実施形態および変形例の構成に限定されるものではなく、ＨＭＤ１に複数の物質センサー３０を備え、複数方向から撮像することにより３Ｄの画像を生成する構成であっても良い。撮像された３Ｄの画像は、サーバー１００に送信され、サーバー１００の表示部１４０において表示される。
この構成によれば、サーバー１００の表示部１４０において作業を監視する管理者は３Ｄ画像によって対象物への距離感を画像イメージで捉えることができる。
また、ＨＭＤ１においては、複数の物質センサー３０を備えることにより、ＨＭＤ１と撮像された対象物までの距離を正確に測定することができる。端末情報６１に更に撮像された対象物との距離情報を付加し、サーバー１００に送信する。サーバー１００では、送信された情報を用いて、圃場マップ１３３に対象物の位置を正確に記録することができる。

１…ＨＭＤ、２…農作業補助システム、３…ネットワーク、５…表示部周辺の景色、１０…測位センサー、１１…測位用アンテナ、２０…慣性センサー、３０…物質センサー、４０…制御部、４１…撮像画像取得部、４３…位置算出部、４５…水平方向算出部、４７…垂直方向算出部、４９…対象検出部、５１…対象分析部、５３…作業情報生成部、６０…記憶部、６１…端末情報、６３…収穫判定閾値、６５…制御プログラム、７０…表示部、７１…表示部の視界、７２…ハーフミラー、７５…通信部、８０…時計部、８５…操作部、１００…サーバー、１１０…通信部、１２０…制御部、１２１…作業情報編集部、１２３…更新作業情報、１３０…記憶部、１３１…気象情報、１３３…圃場マップ、１３５…作業管理情報、１４０…表示部、１５０…操作部、５００〜５０２…対象物、６１１…撮像画像、６１３…緯度Ｌｔ、６１５…経度Ｌｇ、６１７…方位Ｄｈ、６１９…縦方向角度Ｄｖ、６２１…高さＨｔ、６２３…対象物位置、６２５…対象物範囲、６２７…対象物成分、６２９…作業情報、７００〜７０２…対象物、７１０〜７１２…作業情報。

Claims (5)

1. ヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイを装着した状態における作業者の視界方向の景色の少なくとも一部を撮像する撮像部と、
   前記撮像部が撮像した撮像情報に基づいて生成された、前記景色に含まれる対象物に対して行われる作業に関する作業情報を、前記景色の前記対象物に対応する位置に表示する透過型の表示部と、
   を備えた、ヘッドマウントディスプレイ。
2. 前記撮像部は、前記景色から反射される反射光を分光する分光素子と、
   前記分光素子が分光した分光光を受光する受光素子と、を含み、
   前記受光素子の受光結果に基づいて前記作業情報を生成する、請求項１に記載のヘッドマウントディスプレイ。
3. 前記撮像情報に含まれる前記対象物を検出する検出部と、
   前記受光結果に基づいて、前記検出部が検出した前記対象物の成分を分析する分析部と、
   前記成分に基づいて、前記検出部が検出した前記対象物に関する作業情報を生成する作業情報生成部と、
   を更に備える請求項２に記載のヘッドマウントディスプレイ。
4. 測位用情報を取得し、前記測位用情報に基づいて前記ヘッドマウントディスプレイの位置を算出する位置算出部と、
   前記ヘッドマウントディスプレイに対して前記景色が存在する方向を算出する方向算出部と、
   を更に備え、
   前記撮像部は、前記位置または前記方向が変化した場合に撮像を行う請求項１から請求項３のいずれかに記載のヘッドマウントディスプレイ。
5. ヘッドマウントディスプレイおよびサーバーを含む農作業補助システムであって、
   前記ヘッドマウントディスプレイは、
   前記ヘッドマウントディスプレイを装着した状態における作業者の視界方向の景色の少なくとも一部を撮像する撮像部と、
   前記撮像部が撮像した撮像情報に基づいて、前記景色に含まれる対象物に対して行われる作業に関する端末作業情報を生成する端末作業情報生成部と、
   前記端末作業情報を前記景色の前記対象物に対応する位置に表示する透過型の表示部と、
   測位用情報を取得し、前記測位用情報に基づいて前記ヘッドマウントディスプレイの位置情報を算出する位置算出部と、
   前記位置情報を前記サーバーに送信し、前記サーバーからサーバー作業情報を受信する端末通信部と、
   を備え、
   前記サーバーは、
   前記ヘッドマウントディスプレイから前記位置情報を受信し、前記サーバー作業情報を送信するサーバー通信部と、
   前記位置情報に基づいて、前記位置情報が示す農作業場における作業に関する前記サーバー作業情報を生成するサーバー作業情報生成部と、
   を備え、
   前記表示部は、前記サーバー作業情報を表示する、農作業補助システム。

Images