JP2017151786A - 翻訳プログラム及び情報処理装置 - Google Patents

翻訳プログラム及び情報処理装置 Download PDF

Info

Publication number
JP2017151786A
JP2017151786A JP2016034460A JP2016034460A JP2017151786A JP 2017151786 A JP2017151786 A JP 2017151786A JP 2016034460 A JP2016034460 A JP 2016034460A JP 2016034460 A JP2016034460 A JP 2016034460A JP 2017151786 A JP2017151786 A JP 2017151786A
Authority
JP
Japan
Prior art keywords
text
original
translation
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016034460A
Other languages
English (en)
Other versions
JP6746947B2 (ja
Inventor
透 大塚
Toru Otsuka
透 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016034460A priority Critical patent/JP6746947B2/ja
Priority to US15/211,562 priority patent/US20170249301A1/en
Publication of JP2017151786A publication Critical patent/JP2017151786A/ja
Application granted granted Critical
Publication of JP6746947B2 publication Critical patent/JP6746947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

【課題】画像から原文となるテキストを抽出して翻訳し、訳文を表示する場合に、画像中の抽出箇所、原文及び訳文の対応関係を提示する翻訳プログラム及び情報処理装置を提供する。【解決手段】情報処理装置１は、画像情報を受け付ける文書受付手段１００と、テキストが含まれるテキスト領域を画像情報から抽出するテキスト領域抽出手段１０１と、テキスト領域に含まれるテキストを文字認識するテキスト認識手段１０２と、テキスト認識手段１０２が認識したテキストを原文とし、原文を翻訳する翻訳手段１０３と、テキスト領域と原文と訳文とを対応付けて表示する表示制御手段１０４とを有する。【選択図】図１

Description

本発明は、翻訳プログラム及び情報処理装置に関する。
従来の技術として、翻訳される原文と翻訳結果である訳文を対訳表示する情報処理装置が提案されている（例えば、特許文献１参照）。
特許文献１に開示された情報処理装置は、ひとまとまりの文章を識別するための文番号を表示する文番号ウインドウと、文番号ウインドウで選択された文番号に該当する日本語の原文を表示する日本語原文ウインドウと、日本語原文ウインドウに表示された日本語の原文を翻訳した結果である英語の訳文を表示する英語訳文ウインドウとを有し、文番号を選択されることで対応する原文と訳文とを対訳表示する。
特開２００６−１２７２７０号公報
画像から原文となるテキストを抽出して翻訳し、その訳文が適切か否か確認する際、該訳文が画像中のどこの原文に対する訳文なのかを、ユーザーはまず把握する必要がある。
従って、本発明の目的は、画像から原文となるテキストを抽出して翻訳し、訳文を表示する場合に、画像中の抽出箇所、原文及び訳文の対応関係を提示する翻訳プログラム及び情報処理装置を提供することにある。
本発明の一態様は、上記目的を達成するため、以下の翻訳プログラム及び情報処理装置を提供する。
［１］コンピュータを、
画像情報からテキストの画像が含まれる領域を抽出したテキスト領域と、前記テキスト領域に含まれるテキストの画像を文字認識した原文と、前記原文を翻訳した訳文とを対応付けて表示する表示制御手段として機能させるための翻訳プログラム。
［２］前記表示制御手段は、前記画像情報上の前記テキスト領域に該当する範囲と、前記原文と、前記訳文との組みのうち、選択された組みを強調表示する前記［１］に記載の翻訳プログラム。
［３］画像情報からテキストの画像が含まれる領域を抽出したテキスト領域と、前記テキスト領域に含まれるテキストの画像を文字認識した原文と、前記原文を翻訳した訳文とを対応付けて表示する表示制御手段とを有する情報処理装置。
請求項１又は３に係る発明によれば、画像から原文となるテキストを抽出して翻訳し、訳文を表示する場合に、画像中の抽出箇所、原文及び訳文の対応関係を提示することができる。
請求項２に係る発明によれば、画像上の前記テキスト領域と、原文と、訳文との対のうち選択された対を強調表示することができる。
図１は、実施の形態に係る情報処理装置の構成例を示すブロック図である。 図２は、文書の翻訳を受け付ける際に表示する画面の構成の一例を示す概略図である。 図３は、文書受付手段が受け付けた画像情報の構成の一例を示す概略図である。 図４は、テキスト領域抽出手段が抽出したテキスト領域の例を示す概略図である。 図５は、原文訳文対照情報の構成例を示す表である。 図６は、表示制御手段によって表示される画面の構成例を示す概略図である。 図７は、情報処理装置の動作例を示すフローチャートである。 図８は、表示制御手段によって表示される画面の構成の他の例を示す概略図である。
［実施の形態］
（情報処理装置の構成）
図１は、実施の形態に係る情報処理装置の構成例を示すブロック図である。
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。
制御部１０は、後述する翻訳プログラム１１０を実行することで、文書受付手段１００、テキスト領域抽出手段１０１、テキスト認識手段１０２、翻訳手段１０３、及び表示制御手段１０４等として機能する。
文書受付手段１００は、通信部１２を介して外部から文書情報を受け付ける。なお、文書情報は文字や画像を含んだ印刷物をスキャンした画像情報又は文字や画像を含んだ画像情報である。
テキスト領域抽出手段１０１は、文書受付手段１００が受け付けた画像情報にテキストが含まれる場合にテキストが配置された領域をテキスト領域として抽出する。なお、テキスト領域抽出手段１０１は、抽出したテキスト領域の座標、高さ及び幅を原文訳文対照情報１１１に登録する。
テキスト認識手段１０２は、テキスト領域抽出手段１０１が抽出したテキスト領域に含まれるテキストをＯＣＲ等の技術により認識し、テキスト情報を生成する。また、テキスト認識手段１０２は、生成したテキスト情報を原文として原文訳文対照情報１１１に登録する。
翻訳手段１０３は、テキスト認識手段１０２が生成したテキスト情報を原文とし、他の言語へ翻訳して訳文を生成する。また、翻訳手段１０３は、生成した訳文を原文訳文対照情報１１１に登録する。
表示制御手段１０４は、操作用の画面を表示したり、原文訳文対照情報１１１を参照したりして、受け付けた画像情報と、原文と、訳文とを対応付けて表示する。
記憶部１１は、制御部１０を上述した各手段１００−１０４として動作させる翻訳プログラム１１０、原文訳文対照情報１１１等を記憶する。
また、情報処理装置１は、通信部１２を介して図示しない端末等にネットワークを介して接続され、端末の要求に応じて動作し、動作結果を端末に送信する。端末は動作結果を受信して後述する画面を表示部に表示する。
（情報処理装置の動作）
次に、本実施の形態の作用を説明する。
まず、利用者は図示しない端末を操作して情報処理装置１にアクセスし、文書の翻訳を要求する。
情報処理装置１は、端末から要求を受け付けて、以下に示す画面を端末の表示部に表示させる。
図２は、文書の翻訳を受け付ける際に表示する画面の構成の一例を示す概略図である。
画面１０４ａは、原文の言語を選択するための選択欄１０４ａ１と、訳文の言語を選択するための選択欄１０４ａ２と、翻訳する文書を選択するための選択欄１０４ａ３と、翻訳対象とする文書のページを選択する選択欄１０４ａ４と、翻訳の実行又はキャンセルを行うためのボタン１０４ａ５とを有する。
利用者は、原文の言語を選択欄１０４ａ１で選択し、訳文となる言語を選択欄１０４ａ２で選択し、対象となる文書情報を選択欄１０４ａ３で指定して、ページを選択欄１０４ａ４で選択した後、翻訳を実行するボタン１０４ａ５を押下する。
図７は、情報処理装置１の動作例を示すフローチャートである。
まず、文書受付手段１００は、選択欄１０４ａ３で指定された文書情報を受け付ける（Ｓ１）。文書情報は、例えば、以下に示すような画像情報である。
図３は、文書受付手段１００が受け付けた画像情報の構成の一例を示す概略図である。
画像情報１００ａは、「５．Ｃｏｒｒｅｌａｔｉｏｎ ｏｆ ｄｉａｇｒａｍ ｏｆ ｓｅｌｌｅｒ ａｎｄ ｂｕｙｅｒ」と記載されたタイトル部と、「Ｋｅｙ Ｉｓｓｕｅ」及び「ｅｎｖｉｒｏｎｍｅｎｔ」の項目からなる表組部とを有する。
次に、テキスト領域抽出手段１０１は、文書受付手段１００が受け付けた画像情報１００ａの１ページ目から（Ｓ２）、テキストが配置された領域をテキスト領域として抽出する（Ｓ３）。なお、テキスト領域の抽出には文書のレイアウト構造認識等の技術を用いる。
図４は、テキスト領域抽出手段１０１が抽出したテキスト領域の例を示す概略図である。
テキスト領域１０１ａ１、１０１ａ２、…、１０１ａ１０…１０１ａ１５は、画像情報１００ａからテキスト領域抽出手段１０１によって抽出された領域である。テキスト領域１０１ａ１０…１０１ａ１５のように、単語単位やフレーズ単位で抽出されるべきであるが、テキスト領域１０１ａ１、１０１ａ２、…のように文字単位で抽出される場合もある。
次に、テキスト認識手段１０２は、テキスト領域抽出手段１０１が抽出したテキスト領域に含まれるテキストをＯＣＲ等の技術により認識し（Ｓ４）、テキスト情報を生成する。
次に、翻訳手段１０３は、テキスト認識手段１０２が生成した文字、単語、フレーズ、文や文章等のテキスト情報を原文とし、当該原文を他の言語へ翻訳して訳文を生成する（Ｓ５）。
なお、テキスト領域抽出手段１０１は抽出したテキスト領域の座標、高さ及び幅を、テキスト認識手段１０２は生成したテキスト情報を、翻訳手段１０３は生成した訳文を原文訳文対照情報１１１に登録する（Ｓ６）。
図５は、原文訳文対照情報１１１の構成例を示す表である。
原文訳文対照情報１１１は、テキスト領域中の画像を文字認識した結果である原文と、原文を翻訳した訳文と、テキスト領域の座標、幅及び高さと、テキスト領域に含まれるテキストの画像とを有する。図５に示すように、テキストの画像が影付き文字のような場合、「Ｃ」が「＠」と誤って文字認識される場合もあり、利用者は原文や訳文だけを確認しても、画像中のいずれの文字の認識結果か判別できない場合がある。
上記したステップＳ３−Ｓ６は、文書情報のすべてのページについて繰り返される（Ｓ７、Ｓ８）。
次に、表示制御手段１０４は、原文訳文対照情報１１１を参照して、受け付けた画像情報と、原文と、訳文とを対応付けて表示する（Ｓ９）。
図６は、表示制御手段１０４によって表示される画面の構成例を示す概略図である。
画面１０４ｂは、受け付けた画像情報及び抽出したテキスト領域を表示する文書表示領域１０４ｂ１と、原文及び訳文を対にして表示する翻訳結果表示領域１０４ｂ２と、文書情報のページが複数ある場合にページを切り替えるためのページ切替ボタン１０４ｂ３と、画面１０４ｂの表示を終了するためのＯＫボタン１０４ｂ４と、画像情報のテキスト領域を選択することで表示される選択枠１０４ｂ５と、原文及び訳文の対を選択することで表示される選択枠１０４ｂ６とを有する。
選択枠１０４ｂ５と選択枠１０４ｂ６は、一方を選択することで対応する他方が自動的に選択される。つまり、画像中のテキスト領域を選択枠１０４ｂ５で選択すれば、利用者は、当該テキスト領域に含まれるテキストがどのような文字として認識され、その認識結果がどのように翻訳されたのかがわかる。また、原文及び訳文を選択枠１０４ｂ６で選択すれば、利用者は、当該原文及び訳文が画像中のいずれのテキスト領域に含まれるテキストであるのかがわかる。
テキスト領域と、当該テキスト領域に対応する原文及び訳文の対とに、共通する符号を付して対応関係を示してもよいし、共通する色の枠や矢印を付して対応関係を示すものであってもよい。
（実施の形態の効果）
上記した実施の形態によれば、画像からテキストを抽出した領域であるテキスト領域と、原文及び訳文との対応を、選択枠を用いて対応表示するようにしたため、画像中の抽出箇所、原文及び訳文の対応関係を提示することができる。つまり、テキスト領域の抽出箇所が誤っている、又はテキスト認識の結果が誤ったものであっても、画像中のいずれのテキスト領域から抽出した原文及び訳文であるかを利用者が認識でき、原文及び訳文の編集時に、誤った文字列を編集してしまう頻度を抑制することができる。
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、図６に示した文書表示領域１０４ｂ１を省略し、以下の図８に示すように、テキスト領域に含まれる画像を、原文及び訳文と対にして表示するようにしてもよい。
図８は、表示制御手段１０４によって表示される画面の構成の他の例を示す概略図である。
画面１０４ｃは、テキスト領域に含まれる画像を示すテキスト領域１０４ｃ１と、テキスト領域から認識されたテキストを示す原文１０４ｃ２と、原文を翻訳した訳文を示す訳文１０４ｃ３と、文書情報のページが複数である場合にページを切り替えるためのページ切替ボタン１０４ｃ４と、画面１０４ｃの表示を終了するためのＯＫボタン１０４ｃ５とを有する。
上記実施の形態では制御部１０の各手段１００〜１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
１ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ 文書受付手段
１０１ テキスト領域抽出手段
１０２ テキスト認識手段
１０３ 翻訳手段
１０４ 表示制御手段
１１０ 翻訳プログラム
１１１ 原文訳文対照情報

Claims (3)

  1. コンピュータを、
    画像情報からテキストの画像が含まれる領域を抽出したテキスト領域と、前記テキスト領域に含まれるテキストの画像を文字認識した原文と、前記原文を翻訳した訳文とを対応付けて表示する表示制御手段として機能させるための翻訳プログラム。
  2. 前記表示制御手段は、前記画像情報上の前記テキスト領域に該当する範囲と、前記原文と、前記訳文との組みのうち、選択された組みを強調表示する請求項１に記載の翻訳プログラム。
  3. 画像情報からテキストの画像が含まれる領域を抽出したテキスト領域と、前記テキスト領域に含まれるテキストの画像を文字認識した原文と、前記原文を翻訳した訳文とを対応付けて表示する表示制御手段とを有する情報処理装置。

JP2016034460A 2016-02-25 2016-02-25 翻訳プログラム及び情報処理装置 Active JP6746947B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016034460A JP6746947B2 (ja) 2016-02-25 2016-02-25 翻訳プログラム及び情報処理装置
US15/211,562 US20170249301A1 (en) 2016-02-25 2016-07-15 Information processing apparatus, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016034460A JP6746947B2 (ja) 2016-02-25 2016-02-25 翻訳プログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2017151786A true JP2017151786A (ja) 2017-08-31
JP6746947B2 JP6746947B2 (ja) 2020-08-26

Family

ID=59678494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016034460A Active JP6746947B2 (ja) 2016-02-25 2016-02-25 翻訳プログラム及び情報処理装置

Country Status (2)

Country Link
US (1) US20170249301A1 (ja)
JP (1) JP6746947B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593570B2 (en) * 2019-04-18 2023-02-28 Consumer Ledger, Inc. System and method for translating text
CN115543495A (zh) * 2021-06-30 2022-12-30 腾讯科技（深圳）有限公司 界面管理方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756924A (ja) * 1993-06-30 1995-03-03 Ricoh Co Ltd 対訳装置
JP2002230480A (ja) * 2001-01-30 2002-08-16 Toshiba Corp 文字認識装置および文字認識結果修正方法
JP2003016065A (ja) * 2002-04-01 2003-01-17 Ricoh Co Ltd 対訳画像形成装置
JP2005135210A (ja) * 2003-10-31 2005-05-26 Hitachi Ltd 文字認識機能を有する携帯機器
US20140180670A1 (en) * 2012-12-21 2014-06-26 Maria Osipova General Dictionary for All Languages
JP2014238808A (ja) * 2013-11-22 2014-12-18 株式会社バイトルヒクマ 翻訳システム及び翻訳プログラム、並びに翻訳方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1697515A (zh) * 2004-05-14 2005-11-16 创新科技有限公司 字幕翻译引擎
US9262409B2 (en) * 2008-08-06 2016-02-16 Abbyy Infopoisk Llc Translation of a selected text fragment of a screen
US9064191B2 (en) * 2012-01-26 2015-06-23 Qualcomm Incorporated Lower modifier detection and extraction from devanagari text images to improve OCR performance
US9087046B2 (en) * 2012-09-18 2015-07-21 Abbyy Development Llc Swiping action for displaying a translation of a textual image
US9582913B1 (en) * 2013-09-25 2017-02-28 A9.Com, Inc. Automated highlighting of identified text

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756924A (ja) * 1993-06-30 1995-03-03 Ricoh Co Ltd 対訳装置
JP2002230480A (ja) * 2001-01-30 2002-08-16 Toshiba Corp 文字認識装置および文字認識結果修正方法
JP2003016065A (ja) * 2002-04-01 2003-01-17 Ricoh Co Ltd 対訳画像形成装置
JP2005135210A (ja) * 2003-10-31 2005-05-26 Hitachi Ltd 文字認識機能を有する携帯機器
US20140180670A1 (en) * 2012-12-21 2014-06-26 Maria Osipova General Dictionary for All Languages
JP2014238808A (ja) * 2013-11-22 2014-12-18 株式会社バイトルヒクマ 翻訳システム及び翻訳プログラム、並びに翻訳方法

Also Published As

Publication number Publication date
JP6746947B2 (ja) 2020-08-26
US20170249301A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
US9811171B2 (en) Multimodal text input by a keyboard/camera text input module replacing a conventional keyboard text input module on a mobile device
US11062096B2 (en) Displaying information in multiple languages based on optical code reading
US9019308B2 (en) Display apparatus and computer-readable medium
US20140298164A1 (en) Electronic book production apparatus, electronic book system, electronic book production method, and non-transitory computer-readable medium
US20130339002A1 (en) Image processing device, image processing method and non-transitory computer readable recording medium
JP2017151786A (ja) 翻訳プログラム及び情報処理装置
JPWO2018198807A1 (ja) 翻訳装置
CN109445900B (zh) 用于图片显示的翻译方法和装置
US9736323B2 (en) Method of using address book of image forming apparatus on web browser and image forming apparatus for performing the same
JP7027757B2 (ja) 情報処理装置及び情報処理プログラム
US20170249299A1 (en) Non-transitory computer readable medium and information processing apparatus and method
JP2009098741A (ja) 情報処理装置
JP7160327B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7098897B2 (ja) 画像処理装置、プログラム及び画像データ
JP5959460B2 (ja) データ処理装置、データ処理方法及びプログラム
JP6425989B2 (ja) 文字認識支援プログラム、文字認識支援方法及び文字認識支援装置
JP6203083B2 (ja) 未知語抽出装置及び未知語抽出方法
JP2019215936A (ja) 自動翻訳装置及び自動翻訳プログラム
JP2012173785A (ja) 翻訳結果表示方法、翻訳結果表示システム、翻訳結果生成装置および翻訳結果表示プログラム
JP2019096173A (ja) 和文字変換プログラム及び和文字変換装置
JP7333526B2 (ja) 漫画の機械翻訳装置、漫画の対訳データベース生成装置、漫画の機械翻訳方法およびプログラム
JP2013182459A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018163413A (ja) 情報処理装置、プログラムおよび情報処理方法
JP2020030820A (ja) 文献解析装置、文献解析方法、文献解析プログラム及び文献解析システム
JP2020042743A (ja) 情報処理システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190918

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6746947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350